Google stáhl AI nástroj v Google Earth po jediném dni

Google Earth patří mezi nejrozšířenější nástroje pro zobrazení naší planety – kombinuje satelitní snímky, letecké fotografie a mapová data do prohledávatelného modelu světa, kterému uživatelé i profesionálové běžně důvěřují jako spolehlivému obrazu reality. Právě do této služby přidal Google ve čtvrtek novou funkci, která umožňovala upravovat satelitní snímky pouhým textovým zadáním pomocí obrazového modelu Gemini Nano Banana 2. Nová možnost však vydržela méně než jeden den – v pátek ji společnost stáhla poté, co z ní uživatelé začali vytvářet přesvědčivé falešné snímky katastrof.

Z nástroje se během hodin stal generátor falešných katastrof

Funkce dala modelu Nano Banana 2 přístup ke Google Earth a umožnila proměňovat konkrétní místa textovým příkazem. To se rychle vymklo kontrole. Výzkumník Henk van Ess ze služby Digital Digging vytvořil vysoce realistické deepfaky – například falešné uprchlické tábory u hranice USA a Mexika, jaderné zařízení v Íránu nebo kráter po výbuchu u nemocnice v Gaze.

Podobně postupovali i další. Joseph Cox z 404 Media vygeneroval snímek kráteru po výbuchu v Los Angeles a přidal skupinu demonstrantů před kampus Googlu v kalifornském Mountain View. Jiní uživatelé vytvořili obrázky neexistující povodně, škod po tornádu nebo scény připomínající útok z 11. září.

Google se nejprve bránil vodoznaky, pak funkci vypnul

Ve své počáteční reakci Google obavy z dezinformací zlehčoval. Argumentoval tím, že každý snímek vytvořený přes Nano Banana obsahuje digitální vodoznak SynthID, takže si uživatel může nechat u aplikace Gemini nebo přes Lens ve vyhledávání ověřit, zda jde o snímek generovaný umělou inteligencí. Firma zároveň uvedla, že blokuje tvorbu obrázků na „škodlivá témata“.

O den později společnost obrat oznámila veřejně. „Víme, že lidé Google Earth jedinečně důvěřují jako spolehlivému pohledu na svět. Viděli jsme geoprostorové odborníky, kteří tuto funkci využívají k řadě užitečných účelů, ale viděli jsme také lidi sdílející snímky vygenerovaných obrázků, které zřejmě porušují naše zásady,“ uvedl mluvčí Googlu ve vyjádření zveřejněném na síti X. „Proto tuto funkci v Google Earth stahujeme, zatímco pracujeme na zavedení silnějších pojistek.“

Google dodal, že vygenerované snímky byly opatřeny vodoznakem a nikdy se neobjevily v hlavním rozhraní Google Earth viditelném pro ostatní uživatele.

Kritici tvrdí, že vodoznak dezinformace nezastaví

Obrana pomocí vodoznaku nepřesvědčila. Cox na síti Bluesky uvedl, že tvrzení o vodoznaku, který dokáže obrázek označit jako generovaný AI, je zcela mimo realitu toho, jak dezinformace fungují – málokdo si totiž snímek viděný online skutečně ověřuje.

Van Ess navíc doložil, že videem vygenerovaným v Google Earth dokázal oklamat detekční nástroj společnosti Hive, čímž ukázal, že se takový obsah může šířit navzdory vodoznakům.

K vlastnímu testování dodal, že „nic nebylo odmítnuto, nic nebylo zmírněno a nic nenaznačovalo, že bych měl zkusit jiné zadání“.

Podobný spěšný ústup zažila nedávno i konkurence

Google není jedinou firmou, která v poslední době rychle spustila a vzápětí stáhla funkci s umělou inteligencí. Meta představila 7. července nástroj Muse Image, který umožňoval generovat snímky z fotek dostupných na veřejných účtech dospělých na Instagramu, jež si nezměnily nastavení. Firma jej odstranila za necelý týden s tím, že se „netrefila“.

Pro běžného uživatele případ ilustruje trvající napětí mezi rychlým nasazováním generativní AI a důvěrou v obraz reality: pokud lze snadno upravit i mapu, kterou lidé považují za spolehlivou, roste riziko, že se falešné snímky katastrof budou šířit jako pravé. Zda a v jaké podobě se funkce do Google Earth vrátí, bude záviset na slíbených silnějších pojistkách.

Měl by Google podobné nástroje pro úpravu satelitních snímků nabízet vůbec, nebo je riziko zneužití příliš velké? Napište nám svůj názor.