3D -modeller fra Freestyle Drone -optagelser: 4 trin

2024 Forfatter: John Day | [email protected]. Sidst ændret: 2024-01-30 08:29

Drone videografi er virkelig eksploderet i de seneste år, og der er et stort antal talentfulde piloter, der laver de mest akrobatiske videoer ved hjælp af deres quadcopters og first-person-view headsets. Min bror Johnny FPV er en af disse piloter, så jeg ville se, om det var muligt at rekonstruere de miljøer, han flyver i fra sine freestyle -optagelser.

Steady, interessant interesse låst drone optagelser kan helt sikkert producere en high fidelity 3D-model, som diskuteret her, men hvad sker der, når optagelserne er så vanvittige som dette?

Trin 1: Forbehandling din video

Når du har fået nogle luftoptagelser, kræves noget forbehandling. Jeg bruger Adobe Media Encoder, men næsten enhver videoredigeringssoftware burde kunne tage sig af dette.

Jeg valgte et kort klip (~ 11 sekunder) og ændrede billedhastigheden fra 29,77 til 30 bps og gemte den nye video i min ønskede mappe.

Dernæst bruger jeg FFMPEG til at eksportere alle andre rammer i videoen som en jpg. Hvis du ikke er bekendt, er FFMPEG et sæt kommandolinjeværktøjer, der tillader behandling og konvertering af næsten ALLE former for lyd eller video, du kan tænke på. Der er betalt software, der giver dig mulighed for at gøre mange af de samme ting, men hvis du er villig til at arbejde lidt med kommandolinjen, kan det være et utroligt kraftfuldt værktøj.

En god guide til installation af FFMPEG er tilgængelig her.

Du vil ændre dit bibliotek til placeringen af din billedfil (cd) og derefter bruge følgende script:

ffmpeg -i (navnet på din videofil) -vf fps = 15 exp%03d.jpg

Ændring af fps ændrer naturligvis antallet af billeder, der eksporteres pr. Sekund af video. Dette går tilbage til, hvorfor jeg ændrede videoens fps fra 29.97 til 30- at tage 15 billeder i sekundet nu simpelthen vil gribe hver anden ramme fra videoen. Hvis du ville have hver sjette ramme, ville du indstille den til 5 fps … osv.

"exp %03d.jpg" vil resultere i, at billederne gemmes som exp000.jpg, hvor billederne nummereres i rækkefølge med tre cifre- hvis du har et længere videoklip og vil eksportere mere end 999 billeder, ville skrive %04d nummerere alle billederne med fire cifre; du kunne eksportere op til 9999.

(Bemærk: "ffmpeg -i (navn på din videofil) -r (framerate) -f image2 exp%03d.jpg" fungerer også til udtrækning af rammer fra video, men uanset årsagen får jeg bedre punktskyer fra billeder behandlet i den tidligere metode)

Trin 2: Importer fotos og opbyg en Point Cloud

Når du har et sæt billeder, kan du starte en normal fotogrammetri -arbejdsgang. Jeg bruger Agisoft PhotoScanPro, men andre programmer som Autodesk Remake ville sandsynligvis være lige så vellykkede (hvis ikke mere).

Efter at have importeret mine fotos, indstillede jeg også kamerakalibreringen til Fisheye, da denne optagelse oprindeligt kom fra en GoPro. Et par minutters behandling senere, og nogle 3D -oplysninger begynder at dukke op! Punktskyen ligner måske ikke meget og består kun af et par tusinde punkter, så det er ikke helt nok til at beregne et net endnu. Fra dette byggede jeg en tæt punktsky, og har nu omkring 200k punkter at arbejde med.

Trin 3: Byg et net

Nu hvor vi har alle disse punkter at arbejde med, kan et net beregnes. Jeg bruger et relativt højt ansigtstal, og muliggør interpolation- dette vil gøre masken lidt "fuzzier", men der vil være langt færre manglende overflader og huller i masken til sidst. Efter et par minutters behandling begynder vi at få et resultat, der ligner den arkitektur, dronen fløj rundt!

Trin 4: Tekstur og endelige resultater

Photoscan giver dig også mulighed for at bygge en tekstur til dit net ud fra inputbillederne, hvilket giver det sidste strejf af detaljer for modellen. Jeg har blandede følelser om resultaterne af denne proces (der er langt bedre måder at producere en præcis model på), men generelt synes jeg, at det er fantastisk, at enhver model overhovedet kan komme ud af sådanne nutty optagelser!

Yderligere anvisninger, jeg kan tage dette projekt, kan være at tykke overfladerne til vandtætte modeller til 3D -udskrivning, eller de kan blive en del af et surrealistisk VR -landskab.