Brug af fotogrammetri til at oprette modeller: 9 trin

2024 Forfatter: John Day | [email protected]. Sidst ændret: 2024-01-30 08:26

Hvem er jeg?

Jeg er Samuel Conklin, og jeg er en sophomore på E. L. Meyers High School. Jeg har eksperimenteret med fotogrammetri i de sidste par måneder, og jeg håber at kunne hjælpe dig, hvis du vælger at genskabe dette produkt. Jeg er interesseret i at se, hvordan andre mennesker kan bruge denne nye og stadigt udviklede teknologi.

Hvad er Virtual Reality og SteamVR?

Virtual Reality er en ny form for kunstnerisk udtryk og oplevelse. Det er stadig en ny grænse for teknologi, da utallige virksomheder og mennesker arbejder på at forbedre mediet. Du gør dig selv en stor bjørnetjeneste, hvis du aldrig har prøvet VR, da det fuldstændig indkapsler brugerens sans for syn og lyd. En af de store platforme for Virtual Reality er Valves SteamVR. SteamVR giver brugerne mulighed for frit at dele miljøer og brikker med hinanden uden omkostninger. Det er for det meste open source og giver mulighed for et utal af headsets. Disse omfatter, men er ikke begrænset til, HTC Vive -serien, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality osv. SteamVR er den platform, vi bruger til at skabe vores miljø.

Hvad er fotogrammetri, og hvordan kan den bruges?

Fotogrammetri er processen med at tage fotos eller videoer og omdanne billederne til en 3D -model. Det mest berømte eksempel på brugen af denne teknologi er Google Earth. Google bruger satellitbilleder og gadeudsigter til at rekonstruere landskaber og bygninger. Når man ser på Google Earth, er det klart, at de havde få billeder at arbejde ud fra, så nogle bygninger vil se uformede ud. Når den bruges korrekt, er fotogrammetri en yderst overbevisende måde at oprette 3D -modeller på. Dette projekt bruger denne teknologi til at bevare historiske vartegn. Erosion og at blive udsat for elementerne betyder, at historiske vartegn i sidste ende vil forfalde, og folk vil glemme dem. Ved hjælp af fotogrammetri kan vi bevare alt digitalt, så fremtidige generationer vil kunne opleve og værdsætte disse strukturer. Dette betyder også, at flere mennesker verden over kunne opleve andre kulturer uden omkostninger eller risiko ved at rejse.

Hvilke forsyninger har jeg brug for?

Til dette projekt brugte jeg Reality Capture, SteamVR og Krita. Der er Autodesk-, Agisoft- og Zephyr -programmer, der kan bruges i stedet for Reality Capture, hvis du ikke har den nødvendige Nvidia GPU til at køre den. Photoshop eller andre fotoredigeringsprogrammer kan bruges i stedet for Krita, men da det er gratis og offentligt at bruge, valgte jeg at bruge det til dette projekt. Du skal også bruge et Desktop VR -headset, der kan tilsluttes direkte til din computer. Endelig er der brug for et kamera i høj kvalitet. Et mobilkamera er anstændigt, men jeg brugte en Nikon D7000, da Reality Capture automatisk kan registrere kameraets blænde, hvilket fører til modeller af højere kvalitet.

Trin 1: Tag fotos

Dette er den vigtigste del af dette projekt, da du har brug for at få det korrekt i ét skud. Hvis du ikke gør det, skal du gå tilbage til stedet og tage alt igen.

Først skal du finde en passende placering og struktur. Strukturen skal være stor og let identificerbar. Hvad dette betyder betyder, at fotogrammetri -softwaren vil være i stand til at registrere forskellene mellem strukturen og baggrunden.

Normalt er det den bedste måde at tage billeder på en overskyet dag. Dette skyldes, at en solskinsdag har mulighed for at overeksponere nogle fotos og undereksponere andre. Det kan også skabe uønskede skygger. En model med få eller ingen skygger vil gøre belysningen lettere i niveauudviklingsafsnittet. Derudover har softwaren brug for, at farvebalancen forbliver den samme med hvert foto, da den bruger farver til at beregne objektets størrelse. At tage billeder på en overskyet dag vil imidlertid forbedre kvaliteten af strukturen. Skyerne på himlen vil fungere som en naturlig diffusor til kameraet. Det vil fordele lyset mere jævnt og betyder, at modellen bliver præcis under gengivelsesprocessen.

Det sidste råd er at tage så mange fotos som muligt. De fleste programmer vælger, hvilke fotos det skal bruge til det endelige produkt. Ved at tage flere fotos bliver alt mere præcist og giver programmet lidt åndedrætsrum. Jeg havde omkring 150-300 fotos til hver model.

Trin 2: Kom godt i gang med fotogrammetri -softwaren

Nu skal vi importere billederne til softwaren. Bemærk, at Reality Capture kræver et Nvidia -grafikkort. Du kan ikke komme forbi sektionen Juster billeder uden det.

Hvis du har en mappe med alle de billeder, du vil bruge, skal du vælge indstillingen Mappe i øverste venstre hjørne. Dette fører dig til Filhåndtering, og du kan vælge mappen. Input giver dig mulighed for at vælge individuelle fotos med Filhåndtering.

Dernæst starter vi processen med at bygge modellen. Øverst på skærmen, under Workflow, er der en procesafdeling. Vi vil trykke på den større Start -knap. Dette vil begynde at justere billederne. Det fjerde foto viser kort, hvad der foregår under denne proces. Det vil genkende hjortens venstre øje og sammenligne afstanden med andre fotos. Det vil fortsætte med at sammenligne forskellige fotos, indtil det er gået igennem alle de mulige kombinationer. Dette trin er fuldført, hvis du kan se små prikker, der ligner strukturen.

Trin 3: Beregn og forenkle

Det næste trin er at beregne modellen. For at gøre dette klikker vi på Beregn model i afsnittet Proces. Dette vil direkte oversætte det, det finder på billederne, til 3D -form. Resultaterne er anstændigt tæt på, hvordan vi vil have modellen til at se ud, men der er tre problemer med denne version af modellen. For det første er der huller i modellen, der ikke er i den virkelige struktur. For det andet er overfladen alt for ujævn. Da programmet tilnærmer sine beregninger, vil det fejlagtigt gøre nogle glatte overflader ujævn. For det tredje er der for mange trekanter. Hver model i Reality Capture er skabt med små trekanter. Hver trekant repræsenterer en lille overflade af modellen. Vi ønsker mindst mulige trekanter for at optimere modellen. Hvis der er for mange trekanter, kan det forårsage nogle ydelsesproblemer.

Disse problemer kan løses med værktøjet Simplify. Alle modeller vil have 3.000.000 trekanter efter beregningsmodellen, og vi kan vælge at gøre det tal højere eller lavere. For alle modeller som dem, der findes i dette projekt, sænkede jeg trekantsantallet til 1, 000, 000. Resultatet kan findes i det andet billede, hvor alle de ujævne overflader er glattere og der er færre huller. Yderligere, med færre trekanter at gengive, bliver ydelsen bedre, når vi kommer ind i VR.

Trin 4: Farve og tekstur

Nu skal modellen have farve og tekstur for at gøre den endnu mere virkelighedstro. Disse to dele ligner hinanden, hvad de opnår, men er forskellige i deres måde at arbejde på. Ved hjælp af farve, som findes i afsnittet Proces, farver programmet modellen. Værktøjet vil tage de billeder, det brugte til at oprette modellen og vikle dine billeder rundt om de forskellige overflader af din model. Tekstur vil derimod farve de forenklede dele af modellen ind. Når man ser på det første billede, er det tydeligt synligt, hvordan programmet pakkede billederne rundt om modellen, men i det andet billede efter teksturprocessen glattes de skarpe sider af billederne nu.

Trin 5: Eksport og SteamVR

I Reality Capture skal vi overføre modellerne til SteamVR. Øverst på skærmen, under Eksport, skal du vælge Mesh, som er placeret ved siden af afsnittet Process. Du skulle se denne pop-up, som giver dig mulighed for at ændre indstillingerne og parametrene for modellen. Det er bedst at holde alle indstillinger sat til standard, undtagen for at ændre teksturformatet JPEG. Programmet eksporterer nu en fil i OBJ -formatet, som er mesh -filen, og en JPEG, som er teksturfilen for modellen. Til referenceformål skal JPEG ligne det andet billede i dette trin.

Nu skal vi importere vores modeller til SteamVR. Åbn først SteamVR, og naviger derefter til Opret/rediger et miljø, som er under fanen Workshop. SteamVR -værkstedsværktøjerne åbnes nu. Vælg Opret tom tilføjelse, og klik på Launch Tools.

Assetbrowseren åbnes nu med forskellige materialer og modeller, der allerede er inkluderet. Øverst til venstre er der et ikon med et Hammer -symbol. Dette er den indbyggede SteamVR Hammer-editor, som giver dig mulighed for at oprette kort. Kort er det miljø, VR -brugeren vil bo i under gameplay.

Trin 6: Oprettelse af dit SteamVR -kort

Med Hammer -editoren åben i SteamVR kan vi nu oprette en terning. Vi ønsker at oprette en terning for at begynde at bygge miljøet. Programmet giver dig mulighed for at ændre størrelsen på terningen, før den fastgøres på plads. Lige nu er det kun de ydre overflader af terningen, der er synlige. Ved at trykke på CTRL+F vil overfladerne alle blive omvendt og gøre terningen til et rum. Derudover skal du tilføje et objekt kaldet info_player_start, som vil fortælle Hammer, hvor brugeren skal spawnes, når programmet indlæses.

For at gøre rummet mere realistisk skal vi også tilføje teksturer. Vi kan tilføje nogle brugerdefinerede billeder via Materialeditor. Dette er det cirkulære ikon til højre for Hammer -knappen i aktivbrowseren. Når du vælger Materialeditor, kommer du til et nyt vindue, som giver dig mulighed for at importere et billede, der skal laves til en tekstur. Du kan bruge dine egne billeder eller få billeder fra websteder med tekstur, f.eks. Textures.com. Klik på knappen Fil under Farvevalg for at vælge det billede, du vil bruge. Når du har valgt dit billede, skal du sørge for at gemme det ved at trykke på ikonet Floppy Disk øverst til venstre i vinduet Materialeditor. Luk nu Materialeditoren og naviger tilbage til aktivbrowseren. Her skal du søge efter den teksturfil, du vil bruge, og derefter klikke og trække den ind i Hammer Editor. I dette vindue kan du anvende din tekstur på terningens forskellige ansigter.

Vi skal også tilføje belysning til rummet. For at gøre dette satte vi et light_omni eller et light_spot på vores kort, som findes i Entity -sektionen til venstre for kortvisningen. En light_omni vil skinne et lys i alle retninger, mens et light_spot skinner lys i en bestemt retning. Til dette projekt brugte jeg mindst to light_spots til hvert objekt og en light_omni til at hjælpe med at oplyse rummet.

Trin 7: Tilføjelse af vores objekter til kortet

Nu er det tid til at begynde at flytte vores objekter ind på vores kort. I Asset Browser til højre for ikonet Materialeditor er Model Editor, der ligner et humanoid -ikon. Når du åbner Model Editor, får du mulighed for at gennemse eller lave en ny VDML, som er Hammer Editor's version af en OBJ -fil. Vælg muligheden for at lave en ny VDML, og det vil kræve, at du opretter en mappe. Denne mappe gemmer VDML -filen. Sørg for, at den er i mappen Tilføj til, og tryk på Fortsæt.

Dette fører dig til en skærm med din model, som har en hvid tekstur. Hvis du vil tilføje tekstur til denne model, skal du vælge Materialer fra værktøjslinjen til venstre. Dette fører dig til Materialeditor, og du kan vælge JPEG fra Reality Capture -eksporten. Sørg for at gemme teksturen og modellen ved at klikke på ikonet Floppy Disk. Tilbage til Hammer Editor.

I Hammer kan du trække og slippe modellen fra aktivbrowseren til kortet. Modellen vil sandsynligvis være lille, og du skal ændre størrelsen på den. Ved at trykke på T på dit tastatur kan du ændre dets position på kortet. Hvis du trykker på E, ændres modelproportionerne, mens R vil rotere den.

Trin 8: Lav objektmærkerne

Objektetiketterne ved siden af hvert vartegn giver kontekst og historik for at forbedre brugerens oplevelse. Til mine objektetiketter tog jeg simpelthen fotos af informationsplakaterne på hvert sted for let at registrere vigtige oplysninger, jeg senere ville bruge. Jeg brugte derefter Krita, et gratis fotoredigeringssoftwareprogram, for at oprette objektetiketterne, herunder ekstra billeder og tekst.

For Miner Park og Anchor side af rummet var der ingen problemer med at tilføje etiketter som teksturer. Du skal blot tilføje dem til din Asset Browser via Material Editor og tilføje billedet til en blok, der kan oprettes i Hammer Editor. Problemer opstod, da jeg lavede brædder til den anden side af rummet. Al tekst og billeder var bagud, og der var ingen klar måde at vende teksturerne i editoren på. For at løse dette gik jeg tilbage til Krita og vendte brædderne for hjorten og bjørnen og heldigvis fikser det dette problem.

Derudover tilføjede jeg diverse billeder af Wilkes-Barre, da jeg ville skabe et værelse, der havde fornemmelsen og stemningen af et boutique-museum.

Trin 9: Konklusion

Afslutningsvis har både Virtual Reality og Photogrammetry magt til betydeligt at forbedre utallige industrier, herunder men ikke begrænset til sport, fast ejendom og retsmedicin. I dag brugte jeg fotogrammetri til at bevare nogle små, men vigtige dele af min hjembys lokale historie. VR og fotogrammetri er begge stadig eksperimentelle teknologier, der nogle gange kan udfordre dig. På trods af nogle mangler er mængden af innovative anvendelser til begge processer spændende og ubegrænset. Jeg takker dig, fordi du læste om dette projekt, og jeg håber, at dette inspirerede dig til at prøve noget nyt med Virtual Reality.

Downloadlinket til projektet findes her.