Bruke fotogrammetri til å lage modeller: 9 trinn

2024 Forfatter: John Day | [email protected]. Sist endret: 2024-01-30 11:21

Hvem er jeg?

Jeg er Samuel Conklin og jeg er en sophomore på E. L. Meyers videregående skole. Jeg har eksperimentert med fotogrammetri de siste par månedene, og jeg håper å hjelpe deg hvis du velger å gjenskape dette produktet. Jeg er interessert i å se hvordan andre mennesker kan bruke denne nye og stadig utviklende teknologien.

Hva er Virtual Reality og SteamVR?

Virtual Reality er en ny form for kunstnerisk uttrykk og opplevelse. Det er fortsatt en ny grense for teknologi ettersom utallige selskaper og mennesker jobber for å forbedre mediet. Du gjør deg selv en stor bjørnetjeneste hvis du aldri har prøvd VR, ettersom det totalt innkapsler brukerens sans for syn og lyd. En av de viktigste plattformene for Virtual Reality er Valves SteamVR. SteamVR lar brukerne fritt dele miljøer og sette stykker med hverandre uten kostnad. Det er for det meste åpen kildekode og tillater et mylder av hodesett. Disse inkluderer, men er ikke begrenset til, HTC Vive -serien, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality, etc. SteamVR er plattformen vi bruker for å skape vårt miljø.

Hva er fotogrammetri og hvordan kan den brukes?

Fotogrammetri er prosessen med å ta bilder eller videoer og gjøre bildene til en 3D -modell. Det mest kjente eksemplet på bruk av denne teknologien er Google Earth. Google bruker satellittbilder og gatevisninger til å rekonstruere landskap og bygninger. Når man ser på Google Earth, er det klart at de hadde få bilder å jobbe ut fra, så noen bygninger vil se ujevne ut. Når den brukes riktig, er fotogrammetri en ekstremt overbevisende måte å lage 3D -modeller på. Dette prosjektet bruker denne teknologien til å bevare historiske landemerker. Erosjon og å bli utsatt for elementene betyr at historiske landemerker til slutt vil forfalle og folk vil glemme dem. Ved å bruke fotogrammetri kan vi bevare alt digitalt, så fremtidige generasjoner vil kunne oppleve og sette pris på disse strukturene. Dette betyr også at flere mennesker over hele verden kan oppleve andre kulturer uten kostnad eller risiko for å reise.

Hvilke forsyninger trenger jeg?

For dette prosjektet brukte jeg Reality Capture, SteamVR og Krita. Det er Autodesk, Agisoft og Zephyr programmer som kan brukes i stedet for Reality Capture hvis du ikke har den nødvendige Nvidia GPU for å kjøre den. Photoshop eller andre fotoredigeringsprogrammer kan brukes i stedet for Krita, men siden det er gratis og offentlig å bruke, valgte jeg å bruke det til dette prosjektet. Du trenger også et skrivebord VR -headset som kan kobles direkte til datamaskinen. Til slutt er det nødvendig med et kamera av høy kvalitet. Et mobilkamera er greit, men jeg brukte en Nikon D7000 siden Reality Capture automatisk kan registrere kameraets blenderåpning, noe som fører til modeller av høyere kvalitet.

Trinn 1: Ta bilder

Dette er den viktigste delen av dette prosjektet, ettersom du trenger å få det riktig i ett skudd. Hvis du ikke gjør det, må du gå tilbake til stedet og ta alt på nytt.

Først må du finne en passende plassering og struktur. Strukturen skal være stor og lett identifiserbar. Dette betyr at fotogrammetri -programvaren vil kunne oppdage forskjellene mellom strukturen og bakgrunnen.

Vanligvis er det best å ta bilder på en overskyet dag. Dette er fordi en solrik dag har mulighet til å overeksponere noen bilder og undereksponere andre. Det kan også skape uønskede skygger. En modell med få eller ingen skygger vil gjøre belysningen enklere i nivåutviklingsdelen. I tillegg trenger programvaren fargebalansen for å forbli den samme for hvert bilde, ettersom den bruker farger for å beregne størrelsen på objektet. Å ta bilder på en overskyet dag vil imidlertid forbedre kvaliteten på strukturen. Skyene på himmelen vil fungere som en naturlig diffusor for kameraet. Det vil fordele lyset jevnere og betyr at modellen blir presis under gjengivelsesprosessen.

Det siste rådet er å ta så mange bilder som mulig. De fleste programmer vil velge hvilke bilder det skal bruke for det endelige produktet. Ved å ta flere bilder blir alt mer eksakt og gir programmet litt pusterom. Jeg hadde omtrent 150-300 bilder for hver modell.

Trinn 2: Komme i gang med fotogrammetriprogramvaren

Nå skal vi importere bildene til programvaren. Vær oppmerksom på at Reality Capture krever et Nvidia -grafikkort. Du kan ikke komme forbi Align Images -delen uten den.

Hvis du har en mappe med alle bildene du vil bruke, velger du Mappe -alternativet øverst til venstre. Dette tar deg til Filbehandling, og du kan velge mappen. Innganger lar deg velge individuelle bilder med Filbehandling.

Deretter skal vi starte prosessen med å bygge modellen. Øverst på skjermen, under Workflow, er det en Process -seksjon. Vi vil trykke på den større Start -knappen. Dette vil begynne å justere bildene. Det fjerde bildet viser kort hva som skjer under denne prosessen. Det vil gjenkjenne venstre øye på hjorten og sammenligne avstanden med andre bilder. Den vil fortsette å sammenligne forskjellige bilder til den har gått gjennom alle mulige kombinasjoner. Dette trinnet er fullført hvis du kan se små prikker som ligner strukturen.

Trinn 3: Beregn og forenkle

Det neste trinnet er å beregne modellen. For å gjøre dette klikker vi på delen Beregn modell i prosessen. Dette vil direkte oversette det den finner på bildene til 3D -form. Resultatene er anstendig nær det vi vil at modellen skal se ut, men det er tre problemer med denne versjonen av modellen. For det første er det hull i modellen som ikke er i den virkelige strukturen. For det andre er overflaten altfor humpete. Siden programmet tilnærmer seg beregningene, vil det feilaktig gjøre noen glatte overflater humpete. For det tredje er det for mange trekanter. Hver modell i Reality Capture er laget med små trekanter. Hver trekant representerer en liten overflate av modellen. Vi ønsker minst mulig trekanter for å optimalisere modellen. Hvis det er for mange trekanter, kan det forårsake noen ytelsesproblemer.

Disse problemene kan løses med Simplify -verktøyet. Alle modellene vil ha 3000 000 trekanter etter beregningsmodellstadiet, og vi kan velge å gjøre dette tallet høyere eller lavere. For alle modeller som de som ble funnet i dette prosjektet, senket jeg trekanten til 1 000 000 000. Resultatet finner du i det andre bildet, der alle de humpete overflatene er jevnere og det er færre hull. I tillegg, med færre trekanter å gjengi, blir ytelsen bedre når vi kommer inn i VR.

Trinn 4: Farge og tekstur

Nå trenger modellen farge og tekstur for å gjøre den enda mer realistisk. Disse to delene er like i det de oppnår, men er forskjellige i måten de fungerer på. Ved å bruke Farge, som finnes i Prosess -delen, vil programmet farge inn modellen. Verktøyet vil ta bildene det brukte for å lage modellen og pakke bildene rundt de forskjellige overflatene på modellen din. Tekstur, derimot, vil fargelegge de forenklede delene av modellen. Når man ser på det første bildet, er det tydelig synlig hvordan programmet pakket bildene rundt modellen, men i det andre bildet etter Texture -prosessen glattes de skarpe sidene av bildene ut.

Trinn 5: Eksporter og SteamVR

I Reality Capture skal vi overføre modellene til SteamVR. Øverst på skjermen, under Eksport, velger du Mesh, som ligger ved siden av Prosess -delen. Du bør se denne forgrunnsvinduet som lar deg endre innstillingene og parametrene til modellen. Det er best å holde alle innstillingene satt til standard, bortsett fra å endre teksturformatet JPEG. Programmet vil nå eksportere en fil i OBJ -formatet, som er maskefilen, og en JPEG, som er teksturfilen for modellen. For referanseformål skal JPEG se ut som det andre bildet i dette trinnet.

Nå må vi importere modellene våre til SteamVR. Først åpner du SteamVR, og deretter navigerer du til Create/Modify an Environment, som er under Workshop -fanen. SteamVR Workshop Tools vil nå åpne. Velg Create Empty Addon, og klikk på Launch Tools.

Asset Browser åpnes nå med forskjellige materialer og modeller som allerede er inkludert. Øverst til venstre er det et ikon med et Hammer -symbol. Dette er den innebygde SteamVR Hammer-editoren, som gir deg muligheten til å lage kart. Kart er miljøet VR -brukeren vil bo i under spillingen.

Trinn 6: Opprette SteamVR -kartet ditt

Med Hammer -editoren åpen i SteamVR, kan vi nå lage en kube. Vi ønsker å lage en terning for å begynne å bygge miljøet. Programmet lar deg endre størrelsen på kuben før den festes på plass. Akkurat nå er det bare utsiden av kuben som er synlig. Ved å trykke CTRL+F vil alle overflater bli snudd og gjøre kuben til et rom. I tillegg må du legge til et objekt som heter info_player_start, som vil fortelle Hammer hvor han skal gyte brukeren når programmet lastes inn.

For å gjøre rommet mer realistisk, må vi også legge til teksturer. Vi kan legge til noen tilpassede bilder gjennom Material Editor. Dette er det sirkulære ikonet til høyre for Hammer -knappen i eiendelleseren. Ved å velge Material Editor vil du komme til et nytt vindu som lar deg importere et bilde som skal gjøres til en tekstur. Du kan bruke dine egne bilder eller få bilder fra nettsteder med tekstur som teksturer.com. Klikk på Fil -knappen under Fargevalg for å velge bildet du vil bruke. Når du har valgt bildet, må du lagre det ved å trykke på diskettikonet øverst til venstre i vinduet Materialeditor. Lukk nå Materialeditoren og naviger tilbake til eiendelleseren. Søk etter teksturfilen du vil bruke, og klikk og dra den deretter til Hammer Editor. I dette vinduet kan du bruke tekstur på de forskjellige ansiktene på kuben.

Vi må også legge til belysning i rommet. For å gjøre dette setter vi en light_omni eller en light_spot på kartet vårt, som finnes i enhetsdelen til venstre for kartvisningen. En light_omni vil skinne et lys i alle retninger mens et light_spot skinner lys i en bestemt retning. For dette prosjektet brukte jeg minst to light_spots for hvert objekt og en light_omni for å lyse opp rommet.

Trinn 7: Legge til objektene våre på kartet

Nå er det på tide å begynne å flytte objektene våre inn på kartet vårt. I Asset Browser, til høyre for Material Editor -ikonet, er Model Editor som ligner et humanoid -ikon. Når du åpner Model Editor, får du muligheten til å bla gjennom eller lage en ny VDML, som er Hammer Editor -versjonen av en OBJ -fil. Velg alternativet for å lage en ny VDML, og det vil kreve at du lager en mappe. Denne mappen lagrer VDML -filen. Sørg for at den er i Add On -mappen, og trykk på fortsett.

Dette tar deg til en skjerm med modellen din, som har en hvit tekstur. For å legge til tekstur for denne modellen, velg Materialer fra verktøylinjen til venstre. Dette tar deg til Material Editor, og du kan velge JPEG fra Reality Capture -eksporten. Sørg for å lagre teksturen og modellen ved å klikke på diskettikonet. Gå tilbake til Hammer Editor.

I Hammer kan du dra og slippe modellen fra Asset Browser til kartet. Modellen vil mest sannsynlig være liten, og du må endre størrelsen på den. Ved å trykke T på tastaturet kan du endre posisjonen på kartet. Trykk på E for å endre proporsjonene til modellen mens R vil rotere den.

Trinn 8: Lag objektetiketter

Objektetikettene ved siden av hvert landemerke gir kontekst og historie for å forbedre brukerens opplevelse. For mine objektetiketter tok jeg bare bilder av informasjonsplakatene på hvert sted for enkelt å registrere viktig informasjon jeg ønsket å bruke senere. Jeg brukte deretter Krita, et gratis fotoredigeringsprogram, for å lage objektetikettene, inkludert flere bilder og tekst.

For Miner Park og Anchor -siden av rommet var det ingen problemer med å legge til etiketter som teksturer. Bare legg dem til i ressursleseren din gjennom Material Editor og legg til bildet i en blokk som kan opprettes i Hammer Editor. Problemer oppsto da jeg laget tavler for den andre siden av rommet. All tekst og bilder var bakover, og det var ingen klar måte å reversere teksturene i redaktøren. For å fikse dette, gikk jeg tilbake til Krita og snudde brettene for hjorten og bjørnen, og heldigvis løste dette problemet.

I tillegg la jeg til diverse bilder av Wilkes-Barre, ettersom jeg ønsket å skape et rom som hadde følelsen og stemningen av et boutique-museum.

Trinn 9: Konklusjon

Avslutningsvis har både Virtual Reality og Photogrammetry kraften til å forbedre utallige bransjer, inkludert, men ikke begrenset til, sport, eiendom og rettsmedisin. I dag brukte jeg fotogrammetri for å bevare noen små, men viktige deler av hjembyens lokale historie. VR og fotogrammetri er begge fremdeles eksperimentelle teknologier som noen ganger kan utfordre deg. Til tross for noen mangler, er mengden nyskapende bruksområder for begge prosessene spennende og ubegrensede. Jeg takker deg for at du leste om dette prosjektet, og jeg håper dette inspirerte deg til å prøve noe nytt med Virtual Reality.

Nedlastingskoblingen for prosjektet finner du her.