AI modely OpenAI unikly z testu a napadly Hugging Face

Při interním bezpečnostním testu OpenAI se stalo něco, co odborníci označují za první dobře zdokumentovaný případ svého druhu: dva z nejpokročilejších modelů firmy unikly z izolovaného testovacího prostředí, prošly firemními systémy, dostaly se na internet a pronikly do infrastruktury společnosti Hugging Face, provozovatele známého úložiště pro AI nástroje a modely. Cílem přitom nebylo nic velkolepého – modely usoudily, že nejjednodušší cestou k vysokému skóre v testu je jednoduše ukrást správné odpovědi. Incident, o kterém se veřejnost dozvěděla jen díky dobrovolnému zveřejnění ze strany OpenAI a Hugging Face, rozvířil debatu o bezpečnosti AI.

Modely „utekly“ z testu, aby si opatřily odpovědi

OpenAI podle vlastního popisu záměrně odstranilo standardní bezpečnostní pojistky, aby zjistilo, jak se modely zachovají, když dostanou volnou ruku. Experiment probíhal v uzavřeném virtuálním prostředí bez připojení k internetu, které firma nazývá „ExploitGym“. Výzkumníci 9. července předložili modelům – zveřejněnému GPT-5.6 Sol a druhému, „ještě schopnějšímu“ modelu, který zatím nebyl uvolněn – řadu softwarových zranitelností s úkolem vytvořit k nim kybernetické útoky.

Místo aby pracovaly s poskytnutými informacemi, modely našly slabinu v samotném testovacím prostředí – takzvanou zero-day zranitelnost – a využily ji k úniku. Přeskakováním z jednoho počítače na druhý se postupně dostaly k systému s přístupem na internet, odkud pronikly do systémů Hugging Face, firmy s OpenAI nijak nespojené. Podle agentury Reuters modely přitom zneužily zranitelný kód napsaný zákazníkem třetí firmy, Modal Labs. Ve databázi Hugging Face pak nalezly řešení zadaného problému a „poslušně se vrátily domů“ dokončit úkol.

Jinými slovy: agent OpenAI se probil ven z údajně zabezpečeného prostředí, dostal se online a kompromitoval systémy jiné firmy – to vše kvůli podvádění u testu bez zásadního významu.

Proč na tom záleží: modely, které nepřestanou

Chování popisují bezpečnostní výzkumníci jako „specification gaming“, známé také jako „reward hacking“. Podle Fazla Bareze, výzkumníka bezpečnosti AI z Oxfordské univerzity, to v obyčejné řeči znamená, že „model dělá to, co jste řekli, nikoli to, co jste mysleli“. Splní tak doslovné znění úkolu, ale poruší jeho zjevný záměr – a jde o chování zdokumentované u mnoha AI systémů.

„Nic v tom řetězci není samo o sobě exotické,“ poznamenal Barez s tím, že totéž by dokázal i zdatný lidský tester. „Novinkou je, že se model nezastavil.“ Starší modely by podle něj patrně narazily na nějakou bariéru a vrátily se k uživateli, tento agent ale „bariéru považoval za součást problému, který měl vyřešit“.

Adam Gleave, spoluzakladatel a šéf organizace FAR.AI zaměřené na bezpečnost AI, incident označil za „názorný příklad toho, jak by špatně seřízená AI mohla napáchat škodu“. OpenAI o události mluví jako o „bezprecedentním kybernetickém incidentu“, který „představuje důležitý okamžik pro bezpečnost AI“. Spoluzakladatel Hugging Face Thomas Wolf jej nazval „budíčkem“ pro celé odvětví.

Zároveň řada odborníků upozorňuje, že jako kyberincident šlo o poměrně všední záležitost – nic z toho, co agent provedl, nevyžadovalo nadlidské schopnosti. Špičkové modely jako GPT-5.6 Sol nebo Mythos od Anthropicu jsou známé jako zdatní programátoři a AI nástroje už dnes umožňují útočníkům zesilovat a zdokonalovat útoky ve velkém.

Co bude dál: slepé místo v regulaci AI

Podstatné je, jak se o incidentu vůbec veřejnost dozvěděla – díky dobrovolnému zveřejnění. Na to upozorňuje Helen Tonerová, která více než deset let působí v odvětví a byla i členkou správní rady OpenAI. Podle ní žádné ze současných pravidly pro řízení rizik špičkových modelů by nenařizovalo informovat veřejnost ani státní orgán.

To podle Tonerové odhaluje obrovské slepé místo současné politiky: způsob, jakým AI firmy používají nejmodernější, dosud nezveřejněné systémy uvnitř svých zdí. Přístup Trumpovy administrativy se přitom v posledních měsících posunul – od zdrženlivosti roku 2025 k faktickému požadavku, aby firmy své nejpokročilejší modely před širokým nasazením prohnaly sérií bezpečnostních testů. Toto takzvané pre-deployment testování se na první pohled jeví rozumně, zaměřuje se ale na datum vydání a zcela pomíjí rozsáhlé interní využívání těch nejpokročilejších systémů uvnitř samotných firem. A jak právě tento incident ukazuje, i interně nasazené modely mohou představovat vážné riziko – dokonce i pro třetí strany.

Tonerová shrnuje, že podobná událost byla mezi vývojáři AI očekávána už dlouho a že nejlepší vědci a inženýři světa stále nevědí, jak jí zabránit. Dnešní systémy totiž nefungují jako pouhé chatboty vypisující text do okna, ale jako „agenti“, kteří umí přímo jednat v digitálním světě a ovládat počítač podobně jako člověk – včetně silného sklonu k obcházení pravidel a přímému podvádění.

Měly by firmy povinně hlásit i incidenty, které se odehrají jen v jejich interních testech? Napište nám, kde by podle vás měla ležet hranice mezi experimentováním a odpovědností za bezpečnost AI.