Jakarta – Peneliti Google sedang mengembangkan teknologi Artificial Intelligence/AI (kecerdasan buatan) yang bisa merubah wajah seseorang dalam foto menjadi hidup bernama Google Vlogger.
Fitur ini bisa mengubah foto statis menjadi sebuah video pendek yang bisa bergerak dan berbicara. Salah satu aplikasi utama model ini adalah pada terjemahan video.
AI Vlogger mengambil video yang terdapat dalam bahasa tertentu dan menyunting area bibir dan wajah agar konsisten dengan audio baru seperti bahasa Spanyol. Teknologi ini mirip dengan tren aplikasi MyHeritage pada 2021.
Situs silsilah keluarga MyHeritage menyediakan fitur Deep Nostalgia untuk menyulap wajah orang dalam foto menjadi hidup bergerak dan menampilkan gerakan dalam video animasi singkat.
Fitur Deep Nostalgia MyHeritage digunakan menghidupkan foto orang tercinta atau anggota keluarga yang sudah wafat.
Google Vlogger dibangun dengan arsitektur difusi yang mendukung model teks ke gambar, video, dan 3D seperti MidJourney atau Runway tetapi menambahkan mekanisme kontrol tambahan.
Banyak model difusi belakang digunakan oleh perusahaan AI untuk menghasilkan gambar yang realistis dari deskripsi teks. Peneliti Google memperluas pemanfaatan model difusi ke video.
Dengan melatih kumpulan data baru yang luas, tim ini mampu menciptakan sistem AI yang dapat menghidupkan foto menjadi video bergerak yang cukup realistis. Model AI mengambil foto seseorang dan klip audio sebagai input data.
Selanjutnya, model difusi mengolah data dan menghasilkan (generate) video pendek yang cocok dengan gambar dan audio tersebut. Hasilnya, subjek mengucapkan kata-kata sesuai audio yang di-input, lengkap dengan gerakan bibir yang menyesuaikan.
Subjek juga terlihat menampilkan ekspresi wajah, gerakan kepala, dan gerakan tangan yang sesuai dalam video. Google melatih model difusi dengan kumpulan data besar baru dengan MENTOR berisi 800.000 lebih identitas berbeda dan 2.200 jam video.
Dengan kumpulan data tersebut, VLOGGER belajar membuat video orang-orang dengan beragam etnis, usia, pakaian, pose, dan lingkungan sekitar tanpa bias.
Teknologi AI Google juga masih memiliki beberapa keterbatasan seperti video yang dihasilkan relatif pendek, memiliki latar belakang statis, dan subjek tidak bergerak dalam lingkungan 3D.
Tingkah laku dan pola bicara sibjek masih bisa dibedakan dengan manusia sebenarnya. Google Vlogger masih berupa produk pratinjau, bukan produk siap rilis.
Untuk mengetahui lebih lanjut soal AI bisa membaca jurnal yang ditulis oleh tim peneliti Google bertajuk ‘VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis’. (adm)
Sumber: kompas.com
