Pabrikan GPU Nvidia telah merilis demo untuk sistem AI baru yang dapat membuat a konferensi video (terbuka di tab baru) umpan dari satu gambar diam.
Diumumkan pada Desember 2020, Vid2Vid Cameo adalah model pembelajaran mendalam yang dibangun di atas kumpulan data 180.000 video. Ini menggunakan jaringan permusuhan generatif (GAN) untuk menganimasikan gambar 2D menggunakan input video langsung dan juga dapat mengarahkan ulang subjek video sehingga orang tersebut tampak berbicara langsung ke kamera.
Sistem membutuhkan dua input: gambar sumber (yang bisa berupa foto asli atau avatar) dan webcam langsung (terbuka di tab baru) memberi makan. Selama panggilan video, Vid2Vid Cameo memetakan gerakan dan ekspresi orang tersebut ke gambar yang disediakan.
Seperti yang dijelaskan Nvidia dalam a posting blog (terbuka di tab baru)ini berarti seseorang dapat dengan layak menghadiri pertemuan penting dengan piyama dan dengan rambut seperti sarang burung, namun tampak mengenakan pakaian yang “sesuai untuk kerja”.
konferensi video bertenaga AI
Menurut Nvidia, Vid2Vid Cameo juga akan membantu mengatasi salah satu masalah paling membuat frustrasi yang dihadapi orang-orang selama pandemi: umpan video berombak dan beresolusi rendah.
Meskipun besar kerja jarak jauh (terbuka di tab baru) eksperimen sebagian besar dianggap sukses, masalah seperti ini telah mengurangi kemampuan untuk berkomunikasi seefektif tatap muka.
Namun, Vid2Vid Cameo menggunakan teknik kompresi video untuk secara drastis mengurangi kebutuhan bandwidth, yang berarti rapat dapat berjalan lancar terlepas dari kualitas koneksinya.
Di bawah sistem ini, alih-alih mengirim aliran video besar antar peserta, hanya data audio dan informasi yang berkaitan dengan gerakan wajah yang perlu dikirim. Data ini kemudian disintesis menjadi video di sisi penerima.
“Banyak orang memiliki bandwidth internet yang terbatas, tetapi masih ingin melakukan panggilan video yang lancar dengan teman dan keluarga,” kata Ming-Yu Liu, seorang peneliti di Nvidia dan salah satu penulis proyek tersebut.
Dan bukan hanya pekerja jarak jauh yang akan diuntungkan; Liu mengatakan teknologi juga dapat berdampak pada sejumlah industri kreatif, seperti animasi, pengeditan foto (terbuka di tab baru) dan pengembangan game.
Kemampuan Vid2Vid Cameo akan segera dikemas dengan Nvidia Maxine SDK, platform gratis yang membantu pengembang mengoptimalkan umpan video dan streaming langsung menggunakan serangkaian model AI.
