Anthropic udržuje nový model umělé inteligence v soukromí poté, co jich našel tisíce

Společnost Anthropic se rozhodla nezveřejnit svůj nejpokročilejší model umělé inteligence poté, co v hlavních operačních systémech a webových prohlížečích odhalila tisíce dříve neznámých zranitelností v oblasti kybernetické bezpečnosti, a to krokem, který signalizuje dramatický posun v nasazování hraničních schopností umělé inteligence. Místo komerčního uvedení k němu společnost tiše distribuovala přístup organizacím odpovědným za zabezpečení světové digitální infrastruktury.

Co se stalo: Preview projektu Glasswing a Claudea Mythose

Dotyčný model se nazývá Claude Mythos Preview a představuje dosud nejschopnější systém společnosti Anthropic. Během interního testování Mythos prokázal mimořádnou schopnost identifikovat bezpečnostní chyby – odhalil tisíce zranitelností napříč všemi hlavními operačními systémy a ekosystémy prohlížečů, které se v současnosti používají.

Společnost Anthropic se k tomu nepustila jako k příležitosti k uvedení nového produktu na trh, ale založila iniciativu s názvem Project Glasswing. Program směruje schopnosti společnosti Mythos přímo ke společnostem a nadacím, které vytvářejí a spravují kritický software. Partneři při uvedení na trh jsou takovým seznamem globálních technologických expertů: Amazon Web Services, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorganChase, Linux Foundation, Microsoft, Nvidia a Palo Alto Networks.

Kromě této počáteční skupiny byl přístup rozšířen na více než 40 dalších organizací, které vyvíjejí nebo udržují základní softwarovou infrastrukturu. Na finanční podporu tohoto úsilí se společnost Anthropic zavázala poskytnout až 100 milionů dolarů v podobě kreditů na užívání, aby tito partneři mohli provozovat Mythos na svých vlastních kódových základech.

Proč je to důležité: Nové paradigma pro zodpovědné nasazení umělé inteligence

Toto rozhodnutí má obrovský význam z několika důvodů. Zaprvé představuje jeden z dosud nejzřetelnějších příkladů toho, jak laboratoř umělé inteligence záměrně omezuje komerční potenciál průlomového modelu kvůli bezpečnostním důsledkům. V odvětví, které je často kritizováno za předhánění v dodávání produktů, se společnost Anthropic rozhodla pro zdrženlivost – a to je pozoruhodné.

Za druhé, samotný rozsah objevů je ohromující. Nález tisíců zranitelností napříč různými platformami naznačuje, že Mythos pracuje na úrovni analýzy kódu, která daleko převyšuje to, čeho dokáží výzkumníci v oblasti lidské bezpečnosti nebo stávající automatizované nástroje dosáhnout ve srovnatelných časových rámcích. Pro kontext, databáze CVE – globální standard pro sledování veřejně zveřejněných zranitelností v kybernetické bezpečnosti – obvykle katalogizuje přibližně 25 000 až 30 000 nových záznamů ročně. Jeden model umělé inteligence, který by přispíval tisíci zjištěními v koncentrovaném období, by představoval smysluplný zlomek ročního globálního zveřejnění.

Za třetí, tento přístup by mohl nově definovat ekonomiku výzkumu zranitelností. Pokud jste sledovali naše zpravodajství o tom, jak sada nástrojů Microsoft Open-Source Toolkit zabezpečuje agenty AI za běhu , víte, že programy na odměnu za nalezené chyby a penetrační testování zůstávají drahé a pracné. Model umělé inteligence schopný tuto práci vykonávat ve velkém měřítku by mohl organizacím ušetřit miliardy na nákladech souvisejících s narušením bezpečnosti.

Pozadí: Anthropic si zakládá na bezpečnosti na prvním místě

Společnost Anthropic byla založena v roce 2021 bývalými výzkumníky OpenAI, včetně sourozenců Daria a Daniely Amodeiových. Společnost se důsledně prezentuje jako bezpečná alternativa v závodě o umělou inteligenci na hranici vývoje, publikuje podrobné zásady odpovědného škálování a značně investuje do výzkumu zarovnání. Její rodina modelů Claude přímo konkuruje řadě GPT od OpenAI a Gemini od Googlu.

Rozhodnutí odepřít veřejnosti přístup k Mythos je v souladu s tímto étosem. Zveřejnění modelu, který dokáže identifikovat zranitelnosti typu zero-day ve velkém měřítku, by bylo dvousečnou zbraní – neocenitelnou pro obránce, ale potenciálně katastrofální, pokud by k němu měli přístup škodliví aktéři, kteří by mohli zneužít tytéž chyby ještě před nasazením záplat.

Toto napětí je jádrem problému, který bezpečnostní výzkumníci nazývají „asymetrií ofenzívy a obrany“. Útočníci musí najít pouze jednu zneužitelnou slabinu. Obránci musí najít a opravit všechny. Umělá inteligence, která převažuje nad obránci – ale pouze pokud jsou její schopnosti pečlivě kontrolovány – je přesně ten typ nástroje, který vyžaduje model omezené distribuce.

Strategické důsledky pro Anthropic a průmysl

Z obchodního hlediska je projekt Glasswing mistrovským tahem, i když obětuje krátkodobé příjmy. Zvažte strategické výhody:

• Hluboká integrace s kritickou infrastrukturou: Začleněním Mythosu do pracovních postupů společností AWS, Microsoft, Google a dalších vytváří Anthropic závislost a důvěru, kterou by si žádná marketingová kampaň nemohla koupit.
• Dobrá vůle regulačních orgánů: Vlády po celém světě, které připravují legislativu v oblasti umělé inteligence, si projevování zodpovědné zdrženlivosti získává důvěryhodnost, která bude mít vliv na politická rozhodnutí.
• Zpětná vazba dat: Každá zranitelnost, kterou partnerské organizace potvrdí a opraví, generuje cenný trénovací signál, díky kterému budoucí antropické modely budou ještě výkonnější.
• Konkurenční diferenciace: Ani OpenAI, ani Google DeepMind neoznámily nic srovnatelného rozsahu, což dává Anthropicu jedinečné postavení na trhu podnikového zabezpečení.

Zapojení JPMorganChase je obzvláště výmluvné. Finanční instituce čelí neúnavným kybernetickým útokům a fungují v rámci některých z nejpřísnějších regulačních rámců na Zemi. Jejich účast signalizuje, že Mythos již prokázal hodnotu i mimo technologický sektor. Pokud vás zajímá, jak umělá inteligence mění finanční služby, podívejte se na náš článek o tom , jak umělá inteligence odhaluje PaperOrchestra pro automatizovaný výzkum .

Co bude dál

Několik otázek zůstává nezodpovězených. Zveřejní Anthropic nakonec Mythos, možná až po opravě nejkritičtějších zranitelností? Jak společnost ověří, zda partnerské organizace skutečně včas jednají na základě zjištění? A co se stane, když protivníci nevyhnutelně vyvinou vlastní modely umělé inteligence pro vyhledávání zranitelností bez podobných etických zábran?

Širší odvětví bude také sledovat, zda se tento společný, kvazifilantropický přístup stane šablonou. Pokud závazek 100 milionů dolarů na obrannou kybernetickou bezpečnost přinese měřitelné výsledky – méně narušení bezpečnosti, rychlejší záplaty, bezpečnější internet – budou další laboratoře umělé inteligence čelit tlaku, aby následovaly tento příklad.

Otázkou je také, zda se vlády budou snažit zavést tento druh rámce pro odpovědné zveřejňování informací. Agentura pro kybernetickou bezpečnost a bezpečnost infrastruktury (CISA) ve Spojených státech již naznačila zájem o detekci zranitelností s pomocí umělé inteligence jako součást svého širšího poslání.

Sečteno a podtrženo

Rozhodnutí společnosti Anthropic udržet Claude Mythos Preview mimo veřejné očí je jedním z nejvýznamnějších kroků v odvětví umělé inteligence v tomto roce. Volbou bezpečnosti před podívanou společnost vsadila na to, že nejvýkonnější modely umělé inteligence by neměly být vždy produkty – někdy by měly být nástroji tiše ovládanými lidmi, kteří jsou nejlépe připraveni chránit všechny ostatní. Zda se tato sázka vyplatí, bude záviset na provedení, transparentnosti a na tom, zda je zbytek odvětví ochoten jít cestou, která upřednostňuje kolektivní obranu před individuálním ziskem.