Google Lumiere genereaza video din text
Lumiere genereaza video din text si este conceput pentru sintetizarea videoclipurilor.
Vă prezentăm Lumiere…
„Vă prezentăm Lumiere, un model de difuzare text-to-video conceput pentru sintetizarea videoclipurilor. EL prezintă mișcare realistă, diversă și coerentă, o provocare esențială în sinteza video. În acest scop, introducem o arhitectură Space-Time U-Net care generează întreaga durată temporală a videoclipului deodată, printr-o singură trecere în model. Acest lucru este în contrast cu modelele video existente care sintetizează cadre cheie îndepărtate urmate de super-rezoluție temporală. O abordare care face în mod inerent coerența temporală globală dificil de atins. Prin desfășurarea atât spațială, cât și (important) temporală de eșantionare în jos și în sus și prin folosirea unui model de difuzare text-la-imagine pre-antrenat, modelul nostru învață să genereze direct un videoclip cu viteză completă de cadru și cu rezoluție scăzută prin procesarea acestuia în multiple scări spațiu-timp. Demonstrăm rezultate de ultimă generație din text-to-video și arătăm că designul nostru facilitează cu ușurință o gamă largă de sarcini de creare de conținut și aplicații de editare video. Inclusiv imagine-to-video, pictura video și generarea stilizată.” Aflăm in introducerea facută pe pagina Lumiere.
Scopul principal…
Scopul principal în această lucrare este de a permite utilizatorilor începători să genereze conținut vizual într-un mod creativ și flexibil. Cu toate acestea, recunosc si ei ca „există riscul unei utilizări abuzive pentru crearea de conținut fals sau dăunător cu tehnologia noastră și considerăm că este esențial să dezvoltăm și să aplicăm instrumente pentru detectarea prejudecăților și a cazurilor de utilizare rău intenționate pentru a asigura o utilizare sigură și corectă.”
Lumiere știe cum să genereze videoclipuri din text dar și multe altele. El poate genera video din imagine, poate face stilizare video si Cinemagrafe. Modelul Lumiere este capabil să anime conținutul unei imagini într-o anumită zona selectata de utilizator. Vezi detalii video de la AI Consult:
Lumiere de la Google pare a fi unul dintre principalii concurenți ai OpenAI și în acest spațiu. Similar cu Sora de la OpenAI, le oferă utilizatorilor instrumente de transformare a textului în video și le permite, de asemenea, să creeze videoclipuri pornind de la o imagine fixă. Despre Sora cititi aici
