Bu model, video oluşturma görevleri için tasarlanmıştır ve Google Research'teki 31 araştırmacıdan oluşan bir ekibin çalışmasıdır. VideoPoet, genellikle metin ve kod üretimi için kullanılan dönüştürücü mimarilerden farklı bir yapay zeka modeli türü olan bir LLM'yi kullanır.
Ekip, VideoPoet'i metin ve kod üretmesi yerine video üretmesi için eğitmeye karar verdi. Modeli eğitmek için kamuya açık internet ve diğer kaynaklardan 270 milyon video ve 1 milyardan fazla metin ve görüntü çifti kullanıldı. VideoPoet, bu verileri yoğun bir şekilde "ön eğitime" tabi tutarak, metin yerleştirmelerini, görsel belirteçleri ve ses belirteçlerini öğrendi.
Google Araştırma ekibi, VideoPoet'in sonuçlarının, bazı tüketiciye yönelik video oluşturma modelleri ile karşılaştırıldığında dikkat çekici olduğunu belirtti. Model, daha uzun ve yüksek kaliteli kliplere izin verme yeteneği ile öne çıkarken, mevcut difüzyon tabanlı video üreten yapay zeka modellerinin kısıtlamalarını aşmayı hedefliyor. Ayrıca, VideoPoet'in çeşitli girdileri yönlendirici olarak kullanabilme yeteneği, farklı kamera hareketlerini, görsel ve estetik stilleri simüle etmeyi ve hatta yeni sesler oluşturmayı mümkün kılıyor.
VideoPoet'in, araştırmacılar tarafından çevrim içi olarak paylaşılan örneklerle desteklenerek, video oluşturma alanında yeni bir çığır açabileceği düşünülüyor. Ancak VideoPoet'in ne zaman kullanıma sunulacağına dair resmi bir açıklama yapılmadı.