Televiziya və kinoda bəzən aktyorlar mükəmməl bir performansın ortasında kiçik bir səhvə yol verirlər. Bəzənsə tənqidi bir sözün üstündən keçirlər. Bundan sonra redaktorlara ya bu səhvi olduğu kimi qəbul etmək, ya da onu yenidən işləmək qalır ki, bu da baha başa gəlir.
Alimlərin yaratdığı yeni alqoritmsə «danışan baş» videolarının mətn əsaslı redaktəsini mümkün edir.
Redaktorun videonu mətn transkriptindən istifadə edərək dəyişə bilməsini təsəvvür edin. Bu zaman redaktor eynilə mətn proqramlarındakı kimi, mətnə asanlıqla yeni sözlər əlavə edə, lazım olmayan sözləri poza, ayrı-ayrı hissələri sürüşdürüb yerini dəyişməklə mətni tamamilə dəyişdirə bilər. Beləliklə, yekunda video adi tamaşaçılara tamamilə qüsursuz görünər.
«Yenidən yazmağa ehtiyac qalmır»
Stenford Universiteti, Maks Plank İnformatika İnstitutu (Almaniya), Prinston Universiteti və «Adobe» Tədqiqat Mərkəzi (Adobe Research) birlikdə «danışan baş» videolarının redaktəsi üçün məhz belə bir alqoritm yaradıblar.
Bu nəticə video redaktorları və prodüserlər üçün ciddi tapıntı ola bilərdi. Ancaq günümüzdə insanlar internetdə görüntü və videoların həqiqiliyindən get-gedə daha çox narahat olmağa başlayıblar. Hərçənd, layihənin müəllifləri yeni alətdən istifadə zamanı xüsusi qaydaların tətbiqini, həm tamaşaçılara, həm də videoda görünən şəxslərə görüntünün manipulyasiya edildiyini bildirməyi təklif edirlər.
«Təəssüf ki, belə texnologiyalar hər zaman pis adamları cəlb edəcək. Ancaq bunun çox sayda videoredaktə və videoyaratma proqramlarına köməyini nəzərə alanda bu döyüş ona dəyər», – Stenfordda postdoktorantura keçən alim Ohad Fried deyir.
Proqram yeni transkriptin köməyi ilə videonun müxtəlif hissələrindəki nitq hərəkətlərini çıxararaq «maşın öyrənməsi» (machine learning) vasitəsilə onları təbii görünən yekun videoya çevirir. Bu zaman dodaq hərəkətləri və s. yeni mətnə uyğunlaşdırılır.
«Vizual olaraq, bu, kəsintisiz görünür. Heç nəyi yenidən yazmağa ehtiyac qalmır», - arXiv saytında dərc edilmiş araşdırmanın müəlliflərindən biri olan Fried deyir.
Alqoritm ən azı 40 dəqiqəlik orijinal videonun daxil edilməsini tələb edir. Ancaq o, hər hansı video ardıcıllığı ilə işləmir.
Transkript redaktə olunduqca, alqoritm qeyd olunmuş videonun başqa yerlərindən oxşar hərəkətli seqmenti axtarıb tapır və yeni materialın hazırlanması üçün lazım olan boşluğa yerləşdirir.
Riskə getməyə dəyər
Videonun daha təbii görünməsini təmin etməkdən ötrü alqoritm hərəkət parametrlərini ağılla hamarlayaraq renderinq yolu ilə 3D animasiya versiyasını arzuolunan nəticəyə çatdırır. Ancaq render olunmuş üz hələ də tam real görünmür. Son addım kimi «Neyron renderinq» (Neural Rendering) adlanan «maşın öyrənməsi» üsulu az inandırıcı görünən rəqəmsal modeli fotorealistik videoya çevirir. Bu zaman dodaq hərəkətləri sinxronlaşdırılır.
Alimlər sistemin imkanlarını yoxlamaq üçün çox sayda mürəkkəb redaktələr ediblər. Sözləri daxil edib, pozub, fərqli dillərə çeviriblər və hətta kəsilmiş sözlərdən bütöv cümlələr düzəldiblər.
138 adam arasında aparılan sorğuda iştirakçıların 60%-i komandanın redaktəsini «real» sayıb. Görüntünün keyfiyyəti orijinala çox yaxındır. Ancaq Fried deyir ki, proqram hələ çox təkmilləşdirilməlidir.
«Filmin prodakşn sonrası mərhələsinə çox böyük təsirləri olacaq», – Paks Plank İnformatika İnstitutunun tələbəsi, məqalənin ikinci müəllifi Ayush Tewari deyib. Onun sözlərinə görə, ilk dəfədir ki, görüntüsü çəkilmiş dialoqu yenidən çəkmədən düzəltmək mümkün olacaq.
O.Fried deyir ki, sintetik saxta videoların bu qədər yayğın olduğu zamanda ciddi etik suallar meydana çıxır. Onun sözlərinə görə, bütün narahatlıqlara baxmayaraq, bu riskə getməyə dəyər. Fotoredaktə proqramları da oxşar prosesdən keçib. Ancaq son nəticədə insanlar fotoredaktə proqramlarının mövcud olduğu dünyada yaşamaq istəyirlər.
