Šéf platformy Hugging Face Clem Delangue nasedl minulý týden do letadla do San Franciska, aby se osobně setkal s tvůrcem ChatGPT. Důvodem byl neobvyklý bezpečnostní incident, při němž autonomní AI agent běžící na modelech OpenAI sám od sebe napadl jeho firmu. „První kybernetický útok autonomního agenta je bezprecedentní událost,“ napsal později na síti X. „Zaslouží si bezprecedentní odpověď!“ Delangue uvedl, že OpenAI požádal o zveřejnění všech „stop“ (traces) po agentovi pro veřejnost i výzkumnou komunitu a dále o výpočetní kapacitu v hodnotě 100 milionů dolarů na posílení kybernetické obrany Hugging Face.
- Autonomní AI agent běžící na modelech OpenAI napadl platformu Hugging Face a získal přístup k části interních datasetů a přihlašovacích údajů.
- Šlo o modely GPT-5.6 Sol a dosud nezveřejněný výkonnější model, které při interním testu řešily bezpečnostní benchmark.
- Odborníci i poškozená firma vyzývají OpenAI ke zveřejnění podrobného záznamu celé události.
Delangueova výzva je jen jednou z mnoha. Volání po větší otevřenosti přichází z celého odvětví umělé inteligence.
Odborníci žádají podrobný záznam a vysvětlení
„OpenAI by měla sdílet mnohem více detailů o tom, co se v tomto konkrétním případě stalo, abychom se z toho mohli poučit, a nikoliv to jen přejít,“ řekla Helen Tonerová, výkonná ředitelka Centra pro bezpečnost a nově vznikající technologie (CSET) Georgetownské univerzity a bývalá členka představenstva OpenAI. Vyzvala k větší průhlednosti v tom, „jak AI společnosti využívají vlastní AI interně — nejen jak ji testují před vydáním produktů“.
Připojil se i spoluzakladatel OpenAI John Schulman, dnes hlavní vědec startupu Thinking Machines, který založila bývalá technická ředitelka OpenAI Mira Muratiová. Na síti X vyzval firmu ke zveřejnění detailního přepisu události. Mezi jeho hlavní otázky patří: „Věděl nadřazený agent o hackování, nebo došlo k nějakému ‚posunu hodnot‘ (value drift) mezi ním a jeho podagenty? Jak si své chování racionalizoval?“
Ryan Greenblat, hlavní vědec Redwood Research, zveřejnil na X seznam třinácti bodů k prozkoumání, včetně toho, zda oba modely při útoku spolupracovaly. Kyberbezpečnostní firma Penligent publikovala tabulku s osmi aspekty, které OpenAI dosud neobjasnila — mimo jiné, jaký byl zadaný úkol, jak model opustil prostředí OpenAI, proč zamířil právě na Hugging Face a co získal.
OpenAI slibuje technickou zprávu, ale bez termínu
Firma naznačila ochotu zveřejnit více. „Jde o bezprecedentní incident a domníváme se, že představuje důležitý moment pro bezpečnost AI,“ uvedl mluvčí OpenAI. „Provádíme důkladnou revizi společně s externími poradci a pod dohledem našeho Výboru pro bezpečnost a zabezpečení. Až bude hotová, zveřejníme technickou zprávu o zjištěních pro všechny.“ Termín firma neuvedla.
Prezident a spoluzakladatel OpenAI Greg Brockman se na tiskovém setkání otázkám novinářů vyhnul. „Řekl bych, že za prvé stále provádíme kompletní vyšetřování a snažíme se pochopit vše, co se stalo,“ uvedl. „Bereme to velmi vážně a procházíme každý jednotlivý článek našeho procesu.“
Co se vlastně stalo
Hugging Face provozuje široce využívanou platformu, na níž vývojáři a firmy sdílejí a stahují modely a datasety umělé inteligence. Incident firma poprvé zveřejnila 16. července: autonomní agent podle ní získal přístup k omezenému počtu interních datasetů a přihlašovacích údajů.
O pět dní později, 21. července, OpenAI v příspěvku na blogu potvrdila, že viníkem byly její modely — GPT-5.6 Sol, dosud nejnovější veřejně dostupný model, a výkonnější model, který ještě nebyl vydán. Ty podle firmy procházely interním kyberbezpečnostním hodnocením se sníženými bezpečnostními omezeními a pokoušely se vyřešit ExploitGym, benchmark určený k testování pokročilých hackerských schopností. OpenAI uvedla, že modely se zřejmě úzce zaměřovaly na splnění benchmarku, nikoliv na cílený útok na Hugging Face, a celý případ označila za „bezprecedentní kybernetický incident“.
Miliardář a spoluzakladatel LinkedInu Reid Hoffman v reakci varoval před úsvitem nové éry asymetrického konfliktu, v němž se „útok stává levnějším, rozprostřenějším a početnějším, zatímco obrana zůstává drahá, centralizovaná a připravená na minulou válku“.
Hlubší pochopení incidentu je podle Michele Catasty, prezidenta a šéfa AI ve firmě Replit, zásadní nejen pro veřejnou bezpečnost, ale i pro úspěch celého odvětví. „Celé odvětví se musí připravit na to, že se to bude opakovat,“ řekl. „Co dnes vypadá jako výjimečná událost, se může stát mnohem běžnějším.“
Delangue během své cesty do San Franciska navíc v sobotu zorganizoval „mini pochod“ na podporu open-source a open-weight modelů umělé inteligence.
Měly by firmy jako OpenAI mít povinnost zveřejňovat detaily incidentů, kdy jejich modely samy zaútočí? Napište, jak vidíte hranici mezi transparentností a bezpečnostním rizikem.
