Perfekta falska videor känns igen av artificiell intelligens

2024 Författare: Richard Flannagan | [email protected]. Senast ändrad: 2023-12-16 00:18

För ett år sedan hjälpte Stanfords Manish Agrawala att utveckla läppsynkroniseringsteknik som gjorde att videoredigerare kunde ändra högtalarnas ord nästan omärkligt. Verktyget kan enkelt infoga ord som en person aldrig talat, även i mitten av en mening, eller radera ord som han sa. Allt kommer att se realistiskt ut med blotta ögat och till och med för många datorsystem.

Det här verktyget har gjort det mycket lättare att åtgärda misstag utan att spela in hela scener igen och har även anpassat TV-program eller filmer för olika publik på olika platser. Men den här tekniken har också skapat oroväckande nya möjligheter för svårt att hitta falska videor, med den tydliga avsikten att snedvrida sanningen. Till exempel använde en ny republikansk video en hårdare teknik för en intervju med Joe Biden.

I somras presenterade Agrawala och kollegor vid Stanford och UC Berkeley en artificiell intelligensbaserad strategi för läppsynkroniseringsteknik. Det nya programmet upptäcker exakt mer än 80 procent av förfalskningarna och känner igen de minsta skillnaderna mellan människors ljud och munnen.

Men Agrawala, chef för Stanford Institute for Media Innovation och professor i datavetenskap vid Forest Baskett, som också är ansluten till Stanford Institute for Human-Centered Artificial Intelligence, varnar för att det inte finns någon långsiktig teknisk lösning på djupa förfalskningar.

Hur förfalskningar fungerar

Det finns legitima skäl för videomanipulation. Till exempel kan alla som filmar ett fiktivt tv -program, film eller reklam spara tid och pengar genom att använda digitala verktyg för att korrigera fel eller anpassa manus.

Problemet uppstår när dessa verktyg avsiktligt används för att sprida falsk information. Och många av teknikerna är osynliga för den vanliga tittaren.

Många djupa falska videor är beroende av ansiktsbyten, bokstavligen överlagrar en persons ansikte på en annan persons video. Men medan verktyg för ansiktsväxlare kan vara övertygande, är de relativt grova och lämnar vanligtvis digitala eller visuella artefakter som en dator kan upptäcka.

Å andra sidan är läppsynkroniseringstekniker mindre synliga och därför svårare att upptäcka. De manipulerar en mycket mindre del av bilden och syntetiserar sedan läpprörelser som matchar exakt hur en persons mun faktiskt skulle röra sig om han eller hon talade vissa ord. Enligt Agrawal kan en falsk producent, med tanke på tillräckligt många prover av en persons bild och röst, få en person att "säga" vad som helst.

Förfalskningsdetektering

Oroad över den oetiska användningen av sådan teknik arbetade Agrawala tillsammans med Ohad Freed, doktorand vid Stanford, för att utveckla ett detekteringsverktyg; Hani Farid, professor vid University of California, Berkeley School of Information; och Shruti Agarwal, doktorand vid Berkeley.

Till en början experimenterade forskarna med en rent manuell teknik där observatörer studerade videofilmer. Det fungerade bra, men i praktiken var det arbetskrävande och tidskrävande.

Forskarna testade sedan ett artificiellt intelligensbaserat neuralt nätverk som skulle vara mycket snabbare att göra samma analys efter träning på video med tidigare president Barack Obama. Det neurala nätverket upptäckte mer än 90 procent av Obamas egen läppsynkronisering, även om noggrannheten för andra högtalare sjönk till cirka 81 procent.

Ett riktigt test av sanningen

Forskarna säger att deras tillvägagångssätt bara är en del av katt- och musspelet. När djupa förfalskningstekniker förbättras kommer de att lämna ännu färre nycklar.

I slutändan, säger Agrawala, är det verkliga problemet inte så mycket att bekämpa djupt falska videor som att bekämpa desinformation. I själva verket konstaterar han att mycket av desinformation härrör från att snedvrida betydelsen av vad folk faktiskt sa.

"För att minska desinformation måste vi förbättra mediekunskapen och utveckla ansvarssystem", säger han. "Detta kan innebära lagar som förbjuder avsiktlig framställning av desinformation och konsekvenserna av att bryta dem, liksom mekanismer för att eliminera den skada som uppstår."