Nvidia ponovno razmišlja o osnovah grafike za 3D internet

Nvidia ponovno razmišlja o osnovah grafike za 3D internet

Nvidia izvaja velike spremembe v temeljnih grafičnih tehnologijah, saj si prizadeva za vlogo vodilnega proizvajalca pri pretvorbi interneta iz 2D-vesolja v interaktivni 3D-svet.

Nekatere tehnologije, ki se pripravljajo v laboratorijih Nvidia, so osredotočene na ustvarjanje novih temeljev za ustvarjanje, upodabljanje in obdelavo 3D slik in videa ter dostavo te vsebine v naprave.

Tehnologije, ki prepletajo umetno inteligenco z upodabljanjem videa in slik, so opredeljene kot napeljave za novo generacijo 3D-grafičnih orodij.

Da bi spodbudila nekatere od teh idej naprej, Nvidia predstavlja več kot ducat člankov na konferenci SIGGRAPH tega tedna, ki poteka ta teden v Vancouvru v Kanadi.

“Grafika se resnično preoblikuje z umetno inteligenco, kar vodi do pomembnega napredka na tem področju,” je na novinarski konferenci povedala Sanja Fidler, podpredsednica raziskave umetne inteligence pri Nvidii.

Nvidia umešča svoje novodobne izboljšave 3D grafike pod “nevronsko grafiko”, izraz, ki ga je skovala, da bi umetno inteligenco uvedla kot ključno sestavino v potek dela grafike. Podjetje že ima tehnologije AI, kot je DLSS (Deep Learning Super Sampling), ki je tehnologija sledenja žarkom za izboljšanje grafike v realnem času.

Ilustracija poteka dela nevronske grafike (Zasluge: Nvidia)

Podjetje uvaja sprotno ustvarjanje, izboljšavo in podobe za virtualne 3D svetove ter doda zdrav odmerek umetne inteligence za odlične rezultate. Namizni računalniki bi lahko zagotovili prvo plast izboljšav, ko se grafika, kot slike iz resničnega sveta, dovaja v oblak. Ponudniki spletnih storitev bodo to grafiko še izboljšali s tehnologijami umetne inteligence v oblaku ali podatkovnem centru.

Nvidia se prav tako osredotoča na zmanjševanje velikosti datotek za pakiranje več slikovnih podatkov 3D, kar zmanjša stroške in čas za obdelavo grafičnih informacij.

“Lahko vzamem vso vsebino igre in … ustvarim veliko močnejše vizualizacije današnje grafike in ponudim nove priložnosti za umetnike in ustvarjalce, ki si jih v preteklosti morda sploh niso predstavljali,” je dejal Fidler.

Vendar so priloženi nizi – vsa obdelava za predlagane 3D-grafične tehnike, ki temeljijo na umetni inteligenci, mora iti skozi grafične procesorje Nvidia, ki vsebujejo kljuke za takšno pospeševanje. Nvidia ima zaprtokodni pristop, pri katerem izboljšave programske opreme najbolje delujejo na njeni strojni opremi.

“Čeprav [3D] je ena dimenzija več kot 2D… morda mislite, da je le 50% težji. Je stokrat ali tisočkrat težje in ima nenasitno željo po računalniški moči,« je med pogovorom z novinarji dejal prečasni Lebaredian, podpredsednik Omniverse in simulacijske tehnologije pri Nvidii.

Grafika za 3D internet se bo preselila v oblak, ker so stranke “vedno omejene s količino računalništva, ki ga imate na napravi, zlasti tisti, ki jo postavite na glavo ali v žep,” je dejal Lebaredian.

Nvidijini predlogi rešujejo nekatere izzive pri implementaciji umetne inteligence v današnji 2D grafični potek dela. Povečanje velikosti 2D-grafike na osnovi umetne inteligence podjetij, kot je Topaz Labs, postaja priljubljeno zaradi preprostega grafičnega uporabniškega vmesnika, v katerega uporabniki naložijo video, umetna inteligenca pa naredi ostalo.

Toda prizadevanja za bolj prilagodljivo odstranjevanje hrupa in povečanje grafične velikosti zahtevajo poznavanje nevronskih mrež, naborov video podatkov in skriptiranja. Poleg tega so potrebni vrhunski grafični procesorji, ki so za namizne računalnike lahko dragi. Prenosni računalnik Video2X Colab v Googlu ponuja dostop do grafičnih procesorjev v oblaku za nadgradnjo videa, vendar to ni tako preprosto kot nalaganje datoteke. Nvidia ponuja dostop do svojih grafičnih procesorjev v oblaku prek storitve Launchpad, vendar je večinoma namenjena poslovnim uporabnikom.

Nvidijin Fidler je delil več podrobnosti o cevovodu za obdelavo nevronske grafike za dovajanje 2D podatkov in zagotavljanje izboljšane 3D vsebine. Cevovod vključuje usmerjanje 2D elementov grafike, kot je animacija ali osvetlitev, prek jeder GPU, namenjenih senčnikom, sledenju žarkov in umetni inteligenci, ki pomaga ustvariti 3D sceno. Orodja, kot je DLSS, lahko nato uporabite za izboljšanje 3D slike ali videa.

Na SIGGRAPH se Nvidia ukvarja z izzivi pri ustvarjanju vsebine za virtualne svetove. Slike je mogoče ustvariti s podajanjem 2D ali 3D slik iz resničnega sveta, ki jih je mogoče rekonstruirati v 3D svet. Orodja za to že obstajajo, vendar je za umetnike nekoliko okorna in vključuje veliko različnih orodij, je dejal Fidler.

Nvidia je dejala, da bo govorila o orodjih za pospešitev procesa, tako da “lahko razvijalci to naredijo v nekaj sekundah. To je res velik preboj,” je dejal Fidler in dodal, “lahko ga enostavno priključite v katero koli grafično programsko opremo, ki jo imate . . . In to je le nekaj sekund in videti je čudovito.”

Podjetje povezuje svoja orodja za ustvarjanje 3D vsebine z Metaverse, vzporednim animiranim vesoljem, ki podvaja resnični svet. Umetna inteligenca je “eksistencialna za ustvarjanje 3D vsebine, zlasti za metaverzum, kjer preprosto nimamo dovolj strokovnjakov, da bi napolnili vso vsebino, ki jo potrebujemo za metaverzum,” je dejal Fidler.

Raziskovalci Nvidia predstavljajo tudi članek o uporabi učenja z okrepitvijo za avtomatizacijo ustvarjanja virtualnih likov, ki se učijo, kako se premikati v fizično simuliranem okolju, s pomočjo podatkov o gibanju ljudi. AI nadzoruje ta lik, ki se odziva na fiziko okolja.

“Na visoki ravni je to nekako tako, kot da se dojenčki učijo tako, da opazujejo svoje starše, kako se premikajo,” je dejal Fidler in dodal: “To samo naredi velik preskok v kakovosti in zmogljivosti animacije ter oblikuje različne spretnosti za lik.”

Nvidia cilja tudi na uporabniško izkušnjo Metaverse v strojni opremi, kot so očala in slušalke VR, in bo govorila o prebojih pri optimizaciji oblikovanja optike za strojno opremo 3D.

“V tem najnovejšem delu podjetja Nvidia smo pokazali, da lahko ta optimizirana zasnova zagotavlja polnobarvne 3D holografske slike v manj kot polovici velikosti obstoječih zaslonov VR. To je … [a] resnično prebojen dosežek na strani izkušenj,« je dejal Fidler.

Nvidia razvija skupen nabor orodij za hitro dostavo 3D grafike v slušalke z zmanjšanjem velikosti datotek. Nvidia spodbuja NeuralVDB, ki je AI in 3D-svetovna različica OpenVDB, ki je industrijski standard za predstavitev volumetričnega shranjevanja, nominiran za oskarja.

Optimizacija umetne inteligence in grafičnega procesorja prek NeuralVDB za redke nize podatkov zmanjša pomnilniški odtis do stokrat. “Z uporabo strojnega učenja NeuralVDB … drastično zmanjša pomnilniški odtis, kar pomeni, da lahko zdaj predstavljamo 3D podatke veliko, veliko višje ločljivosti,” je dejal Fidler.

NeuralVDB je kot “lahko vzamemo slike PNG in jih pretvorimo v JPEG in so veliko manjše in če to naredite pravilno, se v resnici ne razlikuje od izvirnika,” je dejal Lebaredian.

Nvidia je napovedala tudi naložbe v USD, format datoteke, za katerega podjetje meni, da je temelj 3D interneta, kot je bil HTML za 2D internet.

Nvidijin vmesnik Avatar Cloud Engine (Zasluge: Nvidia)

Format datoteke USD je bil prvotno razvit pri Pixarju, vendar ga Nvidia agresivno promovira, da bi pridobila zgodnjo prednost v bližajoči se bitki za oblike datotek metaverse. Številna podjetja že ustvarjajo 3D-vsebine okoli formata glTF, ki ga podpira skupina Khronos Group, ki je konkurenčni format, ki se imenuje JPEG vesolja 3D.

Nvidia združuje vse svoje ponudbe metaverse v platformo, imenovano Omniverse.

“Postopoma smo posodobili USD v sodelovanju s Pixarjem, da bi spremenili njegove API-je in dodali nove funkcije. Omniverse in naš Omniverse Kit ter simulacijski mehanizem in komplet orodij so zgrajeni na USD,” je dejal Lebaredian.

Podjetje je tudi napovedalo številne posodobitve orodij za ustvarjanje, simulacijo in upodabljanje Omniverse. Nova ponudba je Omniverse Avatar Cloud Engine (ACE), ki lahko ustvari bolj realistične avatarje. ACE deluje v javnih oblakih (Azure in Oracle sta prikazana na diapozitivu) ali v vgrajenih sistemih. Ponudba Avatar združuje Nvidijine tehnologije umetne inteligence, namenjene računalniškemu vidu, ki temelji na umetni inteligenci, obdelavi naravnega jezika, govoru, priporočilom in motorjem za animacijo.

Leave a Comment

Your email address will not be published.