Van foto naar bewerkbaar 3D-model: Nvidia MoMa AI-techniek maakt het mogelijk

Pieter Soethout - 21 juni 2022, 15:00

Nvidia's nieuwe 3D MoMa technologie keert de manier waarop 3D graphics tot stand komen om. Het maakt 3D-objecten van tweedimensionale foto's, waar een klassieke 3D engine juist dat platte beeld op het scherm als eindresultaat heeft. Met de techniek moeten gebrujikers (veel) sneller 3D-objecten tot hun beschikking krijgen.

De Nvidia 3D moma technologie maakt gebruik van ‘inverse rendering’. Klinkt ingewikkeld, maar het komt neer op het omzetten van meerdere foto's tot een 3D-model. Nvidia noemt het 'inverse rendering' omdat de standaard manier van rendering juist resulteert in een plat plaatje - namelijk het beeld op je beeldscherm. Dat kan in een game zijn, maar ook in de 3D-weergave van een landkaart, of bij het bekijken van een 3D-model. Nvidia gebruikt nieuwe AI-technologie en krachtige hardware om snel, binnen een uurtje, een 3D-object te genereren. Dat kan de gebruiker vervolgens importeren in bestaande tools om het aan te passen of uit te breiden.

Makkelijk aan te passen

Elk 3D-object in 3D-bewerkings software is opgebouwd uit driehoeken. In het Engels: triangles. Dat geheel van driehoeken noemt Nvidia een triangle mesh. De klassieke manier is om die van de grond af aan, uit afzonderlijke punten, op te bouwen. Wat dus bijzonder is aan Nivdia's nieuwe techniek is dat die juist op andere wijze zo'n triangle mesh genereert.

Dat gaat dus met behulp van de nieuwe 3D MoMa techniek. Een enkele Nvidia Tensor Core GPU doet er een uurtje over. Eerder was het al mogelijk om een snel een 3D-object te creëren, met behulp van eveneens door Nvidia ontwikkelde neural radiance fields. Het nadeel hiervan is dat deze objecten niet opgebouwd zijn uit driehoeken en daardoor niet eenvoudig aan te passen zijn in klassieke 3D-editing software.

Een eerste kijk op Nvidia 3D moma technologie

Om te laten zien wat dit nu eigenlijk allemaal betekent, heeft Nvidia een voorbeeld getoond tijdens de Conference on Computer Vision and Pattern Recognition in New Orleans. Hier hebben zij door middel van foto’s van vijf instrumenten een virtueel concert georganiseerd.

Hierbij toverde de Nvidia 3D MoMa technologie foto’s van een trompet, trombone, saxofoon, drumstel en klarinet om tot 3D-objecten. Vervolgens haalde het team van Nvidia deze objecten uit hun oorspronkelijke 'scène' (achtergrond) en importeerde ze in Nvidia Omniverse om deze te bewerken. Hiermee paste men kleur en materiaal van de instrumenten aan, net zoals mogelijk is in traditionele 3D editing tools. Zo was het eenvoudig om de trombone uit te voeren in hout of kurk, bijvoorbeeld. Ook het aanpassen van de lichtinval en reflectie was zo mogelijk. De video hiervan is hieronder te zien.

Het wetenschappelijke artikel achter deze technologie wordt morgenavond, woensdag 22 juni, uitgebracht. Het is een van de 38 artikelen waar mensen van Nvidia aan hebben gewerkt.