Publication

Geometrically-Conditioned Point Diffusion Models

Résumé

Diffusion models generating images conditionally on text, such as Dall-E 2 [51] and Stable Diffusion[53], have recently made a splash far beyond the computer vision com- munity. Here, we tackle the related problem of generating point clouds, both unconditionally, and conditionally with images. For the latter, we introduce a novel geometrically- motivated conditioning scheme based on projecting sparse image features into the point cloud and attaching them to each individual point, at every step in the denoising process. This approach improves geometric consistency and yields greater fidelity than current methods relying on unstruc- tured, global latent codes. Additionally, we show how to ap- ply recent continuous-time diffusion schemes [59, 21]. Our method performs on par or above the state of art on con- ditional and unconditional experiments on synthetic data, while being faster, lighter, and delivering tractable likeli- hoods. We show it can also scale to diverse indoors scenes.

À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.
Concepts associés (31)
Nuage
Un nuage est en météorologie une masse visible constituée initialement d'une grande quantité de gouttelettes d’eau (parfois de cristaux de glace associés à des aérosols chimiques ou des minéraux) en suspension dans l’atmosphère au-dessus de la surface d'une planète. L’aspect d'un nuage dépend de sa nature, de sa dimension, de la lumière qu’il reçoit, ainsi que du nombre et de la répartition des particules qui le constituent. Les gouttelettes d’eau d’un nuage proviennent de la condensation de la vapeur d'eau contenue dans l’air.
Physique des nuages
La physique des nuages est l’étude des processus physiques et dynamiques de formation des nuages et des précipitations qui les accompagnent. Les nuages chauds sont formés de microscopiques gouttelettes et les froids de cristaux de glace ou parfois des deux types. Leur formation est contrôlée par la disponibilité de vapeur d'eau dans l’air et des mouvements verticaux dans celui-ci. Le mouvement vertical peut être induit par une ascendance à grande échelle, comme dans le cas des dépressions synoptiques, ou à méso-échelle comme dans le cas des orages.
Probabilité conditionnelle
vignette|Illustration des probabilités conditionnelles avec un diagramme d'Euler. On a la probabilité a priori et les probabilités conditionnelles , et .|320x320px En théorie des probabilités, une probabilité conditionnelle est la probabilité d'un événement sachant qu'un autre événement a eu lieu. Par exemple, si une carte d'un jeu est tirée au hasard, on estime qu'il y a une chance sur quatre d'obtenir un cœur ; mais si on aperçoit un reflet rouge sur la table, il y a maintenant une chance sur deux d'obtenir un cœur.
Afficher plus
Publications associées (32)

GECCO: Geometrically-Conditioned Point Diffusion Models

Pascal Fua, Eduard Trulls Fortuny, Michal Jan Tyszkiewicz

Diffusion models generating images conditionally on text, such as Dall-E 2 [51] and Stable Diffusion[53], have recently made a splash far beyond the computer vision community. Here, we tackle the related problem of generating point clouds, both uncondition ...
Ieee Computer Soc2023

The role of secondary ice production in mixed-phase clouds

Paraskevi Georgakaki

Clouds are omnipresent in the Earth's atmosphere. Their phase composition significantly modulates their interaction with solar and terrestrial radiation, as well as precipitation formation. Particularly for clouds containing both phases, known as mixed-pha ...
EPFL2023

A Wasserstein-based measure of conditional dependence

Negar Kiyavash, Seyed Jalal Etesami, Kun Zhang

Measuring conditional dependencies among the variables of a network is of great interest to many disciplines. This paper studies some shortcomings of the existing dependency measures in detecting direct causal influences or their lack of ability for group ...
2022
Afficher plus