Calcul apportant 3

Autrefois, la photographie se limitait à des images plates en deux dimensions. Aujourd'hui, l'art et la science de la capture d'images sont stimulés par l'optique, le calcul et l'électronique, et les ingénieurs de Cornell travaillent à la pointe de l'imagerie 3D.

Suren Jayasuriya, un étudiant diplômé du laboratoire d'Alyosha Molnar, professeur agrégé de génie électrique et informatique, développe une caméra 3D avec des capteurs d'image spécialement conçus qui pourraient conduire à des applications jusque-là inimaginables, des voitures intelligentes à l'imagerie médicale en passant par des infographies visuellement époustouflantes.

Les capteurs, constitués de pixels capables de détecter à la fois l'intensité et l'angle d'incidence de la lumière, peuvent refocaliser numériquement une photographie après la prise d'une image, obtenir différentes vues en perspective d'une scène à partir d'une seule prise de vue et calculer une carte de profondeur d'image.

Pour soutenir le travail, Jayasuriya a récemment reçu une bourse d'innovation Qualcomm de 100 000 $ pour sa proposition conjointe avec Achuta Kadambi, doctorant du groupe MIT Media Lab Camera Culture de Ramesh Raskar. Leur proposition s'intitule "Nanophotographie : conception de capteurs CMOS computationnels pour l'imagerie 3D".

"Ce qui est excitant avec les pixels sensibles à l'angle, c'est qu'ils innovent du côté des détecteurs, pour aider à motiver de nouvelles applications en infographie et en vision, où nous donnons plus de dimensionnalité à nos données, au prix d'un calcul", a déclaré Jayasuriya. "Mais la façon dont les choses évoluent, avec la loi de Moore et [les unités de traitement graphique] et le calcul parallèle, le calcul devient de moins en moins un problème. L'ère des mégadonnées est arrivée. Maintenant, c'est plutôt, quelles données présentons-nous à ces algorithmes pour les rendre plus intelligents ? »

En d'autres termes, la capture d'image ne consiste plus seulement à prendre une photo. Il s'agit de capturer une image et d'utiliser l'apprentissage automatique et le calcul pour post-traiter l'image, en un clin d'œil.

Pour le projet Qualcomm, ils travaillent sur un capteur de profondeur basé sur une technique d'imagerie appelée "temps de vol", de plus en plus populaire et utilisée notamment dans les caméras Microsoft Kinect. L'imagerie par temps de vol mesure le temps qu'il faut aux photons pour se refléter sur les objets d'une scène. Les chercheurs ajoutent un codage du temps de vol pour permettre à leur système d'imagerie de visualiser la lumière lorsqu'elle se déplace à travers une scène et de voir dans les coins. En capturant la lumière en vol, les chercheurs peuvent créer une caméra qui fonctionne - efficacement - à 1 milliard d'images par seconde, grâce au calcul de post-traitement.

Les capteurs d'image à pixels sensibles à l'angle sont fabriqués à partir de ce qu'on appelle un procédé CMOS (complémentaire métal-oxyde-semi-conducteur), une technique de fabrication de puces bien établie. C'est l'un des avantages que Jayasuriya apporte au projet ; Son conseiller, Molnar, possède de nombreuses années d'expérience dans la conception de puces CMOS pour les applications d'imagerie, biomédicales et radiofréquences.

Le projet de Jayasuriya et Kadambi était l'un des huit lauréats de la bourse Qualcomm, sur 146 candidats. Ils se partageront le prix de 100 000 $.

Recevez les nouvelles de Cornell directement dans votre boîte de réception.