de Chintan Trivedi

Cum să creați imagini realiste Grand Theft Auto 5 cu Deep Learning

Cum sa creati imagini realiste Grand Theft Auto 5 cu
Înainte să mă judecați, să recunoaștem, cu toții am făcut acest lucru în GTA.

Acest proiect este o continuare a mea articolul anterior. În acesta, am explicat cum putem folosi CycleGAN-uri pentru transferul stilului de imagine și cum să-l aplicăm pentru a converti grafica Fortnite și pentru a face să arate ca PUBG.

CycleGAN este un tip de rețea adversară generativă care este capabilă să imite stilul vizual al unei imagini și să o transfere pe alta. Îl putem folosi pentru a face ca grafica unui joc să arate ca cea a unui alt joc sau a lumii reale.

În acest articol, am vrut să împărtășesc câteva rezultate folosind aceleași Algoritm CycleGAN pe care l-am tratat în lucrarea anterioară. În primul rând, voi încerca să îmbunătățesc grafica GTA 5, adaptându-le pentru a arăta ca lumea reală. În continuare, voi analiza modul în care putem obține aceleași rezultate foto-realiste, fără a fi nevoie să redăm grafica GTA foarte detaliată.

Cum sa creati imagini realiste Grand Theft Auto 5 cu
Ambele seturi de date pe care le-am folosit pentru aceasta sunt disponibile la acest link pe pagina proiectului autorului original.

Pentru prima sarcină, am luat capturi de ecran ale jocului ca domeniu sursă pe care vrem să le transformăm în ceva foto-realist. Domeniul țintă provine din setul de date de peisaje urbane care reprezintă lumea reală (pe care ne propunem să le asemănăm jocului).

Rezultatele CycleGAN

1612153871 259 Cum sa creati imagini realiste Grand Theft Auto 5 cu

Bazat pe aproximativ trei zile de instruire pentru aproximativ 100 de epoci, modelul Cyclegan pare să facă o treabă foarte frumoasă de adaptare a GTA la domeniul lumii reale. Îmi place foarte mult cum detaliile mai mici nu se pierd în această traducere și imaginea își păstrează claritatea chiar și la o rezoluție atât de mică.

Principalul dezavantaj este că această rețea neuronală s-a dovedit a fi destul de materialistă: halucina un logo Mercedes peste tot, distrugând conversia aproape perfectă de la GTA la lumea reală. (Acest lucru se datorează faptului că setul de date pentru peisaje urbane a fost colectat de un proprietar Mercedes.)

Cum să obțineți aceeași grafică foto-realistă cu mai puțin efort

Deși această abordare poate părea foarte promițătoare în îmbunătățirea graficii jocului, nu cred că potențialul real constă în urmărirea acestei conducte. Prin asta vreau să spun că pare impracticabil să redați o imagine atât de detaliată și apoi să o convertiți în altceva.

Nu ar fi mai bine să sintetizăm o imagine de calitate similară, dar cu mult mai puțin timp și efort în proiectarea jocului, în primul rând? Cred că potențialul real constă în redarea obiectelor cu detalii reduse și lăsarea rețelei neuronale să sintetizeze imaginea finală din această redare.

1612153874 27 Cum sa creati imagini realiste Grand Theft Auto 5 cu

Deci, pe baza etichetelor semantice disponibile în setul de date de peisaje urbane, am segmentat obiecte într-o captură de ecran a GTA oferindu-ne o reprezentare a graficii cu detalii reduse. Luați în considerare aceasta ca o redare a jocului de doar câteva obiecte, cum ar fi drumul, mașina, casele, cerul și așa mai departe, fără a le proiecta în detaliu. Aceasta va acționa ca element de intrare pentru modelul nostru de transfer al stilului de imagine în locul capturii de ecran extrem de detaliate din joc.

Să vedem ce calitate a imaginilor finale poate fi generată din astfel de hărți semantice cu detalii reduse folosind CycleGANs.

Rezultate ale sintezei imaginilor din hărți semantice

1612153875 521 Cum sa creati imagini realiste Grand Theft Auto 5 cu
Recreerea scenelor foto-realiste din hărțile semantice ale GTA 5.

Iată câteva exemple despre cum arată când recreăm grafica GTA din hărți semantice. Rețineți că nu am creat aceste hărți manual. Acest lucru mi s-a părut plictisitor, așa că am lăsat pur și simplu un alt model CycleGAN să o facă (este antrenat să efectueze segmentarea imaginii folosind setul de date cityscapes).

Pare o conversie bună de departe, dar privirea atentă este destul de evident că imaginea este falsă și nu are niciun fel de detalii.

1612153876 497 Cum sa creati imagini realiste Grand Theft Auto 5 cu

Acum, aceste rezultate sunt de 256p și au fost generate pe un GPU cu 8 GB de memorie. Cu toate acestea, autorii lucrării originale au arătat că este posibil să se creeze o imagine mult mai detaliată de 2048 x 1024p folosind un GPU cu peste 24 GB de memorie. Folosește versiunea de învățare supravegheată a CycleGAN, numită pix2pixHD, care este instruit pentru a îndeplini aceeași sarcină. Și băiatul, imaginea falsă pare destul de drăguță de convingătoare!

1612153877 969 Cum sa creati imagini realiste Grand Theft Auto 5 cu
Iată videoclipul complet încărcat de autorii acestei lucrări.

Concluzie

GAN-urile au un mare potențial de a schimba modul în care industria de divertisment va produce conținut în viitor. Sunt capabili să producă rezultate mult mai bune decât oamenii și în mult mai puțin timp.

Același lucru este valabil și pentru industria jocurilor. Sunt sigur că în câțiva ani, acest lucru va revoluționa modul în care sunt generate grafica jocului. Va fi mult mai ușor să imiți pur și simplu lumea reală decât să recreați totul de la zero.

Odată ce vom atinge acest lucru, lansarea de noi jocuri va fi, de asemenea, mult mai rapidă. Vremuri interesante cu aceste progrese în Deep Learning!

Mai multe rezultate în format video

Toate rezultatele de mai sus și multe altele pot fi găsite pe my Canalul canalului YouTube și în videoclipul încorporat mai jos. Dacă ți-a plăcut, nu ezita să faci asta Abonati-va pe canalul meu pentru a urmări mai mult din munca mea.

Mulțumesc că ai citit! Dacă ți-a plăcut acest articol, te rog să mă urmărești Mediu, GitHub, sau abonați-vă la Canalul canalului YouTube.