За време на безбедносниот тест, Gemini на Google пристапи до системите на три вистински компании откако грешка во конфигурацијата го отвори интернетот.
Една грешка во конфигурацијата беше доволна за агентот на вештачката интелигенција да добие пристап до вистинскиот интернет.
Тестот беше спроведен во мај од страна на компанијата Irregular, а Gemini требаше да ги реши таканаречените задачи „фаќање на знамето“ во контролирана средина. Наместо тоа, поради погрешна конфигурација, му беше дадена можност за пристап до интернет.
Во еден случај, моделот можеше да ја погоди лозинката со обид за различни комбинации, додека во другите два пронајде податоци за пристап оставени во јавно достапни софтверски складишта.
Google ги потврди инцидентите. Според компанијата, во сите три случаи, Gemini престана со работа кога сфати дека е на вистински системи. Нема извештаи за штета, а засегнатите компании се известени.
Тој погоди една лозинка, најде други
Во првиот случај, Gemini наиде на услуга на вистинска компанија и проба различни акредитиви за најавување сè додека не пронајде комбинација што функционираше.
Во другите два случаи, ситуацијата беше поедноставна. Моделот пребаруваше јавно достапни складишта, ги пронајде акредитивите оставени таму и ги користеше за пристап до системите.
Интересен детаљ е што една од фиктивните компании од тестот имала исто име како и вистинската компанија. Кога добил пристап до интернет, Џемини затоа продолжил да ја извршува задачата и завршил таму каде што не требало.
Проблемот започна со погрешна конфигурација
Тестот беше дизајниран како целосно затворена симулација. Вештачката интелигенција требаше да „напаѓа“ виртуелни компании, без никаква можност да допре до реални системи.
Сепак, поради грешка во поставувањето на околината, тој бафер не работеше.
Токму овој детаљ покажува колку се разликуваат агентите со вештачка интелигенција од обичните чет-ботови. Додека чет-ботот главно обезбедува информации и предлози, агентот со пристап до интернет и алатки може самостојно да пребарува, да наоѓа податоци и да извршува низа дејства.
Гугл не го објави веднаш инцидентот.
Инцидентите се случија во мај, додека Irregular го извести Google кон крајот на јули.
Гугл не ги објави веднаш деталите јавно, велејќи дека моделите не предизвикале штета и застанале кога препознале дека стигнале до вистински системи.
Компанијата се погрижи трите засегнати субјекти да бидат известени, додека „Ирегулар“ го промени начинот на кој ги спроведува таквите тестови.
Gemini не е единствената вештачка интелигенција што се соочила со овој проблем
Irregular претходно беше вклучен во тестирање на моделите на компании како што се Meta, Anthropic и OpenAI, а инциденти од различна природа беа регистрирани за време на разни експерименти.
Затоа, овој случај не може точно да се опише како ситуација во која вештачката интелигенција „излегла од контрола“. Честиот проблем е попрактичен, моделите стануваат поспособни, додека добиваат пристап до алатки за дејствување надвор од обичниот разговор.
Тимот за следење на заканите на Google, исто така, забележува дека напаѓачите сè повеќе користат вештачка интелигенција за автоматизирање на одредени фази од сајбер нападите.
Компанијата изјави дека во текот на вториот квартал од 2026 година, следела случај во кој напаѓачите успеале да испланираат и спроведат кампања за масовно собирање податоци за пристап со помош на агенти на вештачка интелигенција за помалку од шест часа од компромитирање на облачните ресурси.
Следниот проблем можеби не е четбот
Дебатата за безбедноста на вештачката интелигенција долго време се врти во голема мера околу неточните одговори, халуцинации и содржина генерирана од модели.
Со агентите, ситуацијата се менува, моделот повеќе не мора само да каже што би направил, ако има соодветни дозволи, може и да го имплементира.
Gemini застана во овој случај и нема докази дека се обидел да „избега“ од симулацијата. Сепак, тестот покажа колку тенка може да биде линијата помеѓу лабораторијата и вистинскиот интернет.
Една погрешна конфигурација беше доволна за вештачката интелигенција, која требаше да ги нападне фиктивните компании, да ја пронајде вистинската компанија и всушност да пристапи до нејзиниот систем.
The post Gemini „излезе“ од лабораторија: агент на вештачка интелигенција за време на тест стигна до системот на вистинска компанија appeared first on Во Центар.
