Gemini trebalo da hakuje izmišljenu kompaniju, ali je upao u sisteme tri stvarne kompanije

Vesti, 21.09.2026, 11:30 AM

Googleov AI model Gemini dobio je zadatak da tokom bezbednosnog testa provali u sisteme izmišljene kompanije. Umesto toga, završio je na internetu i neovlašćeno pristupio sistemima tri stvarne kompanije. U jednom slučaju pogađao je lozinke dok nije pronašao onu koja radi, a u druga dva pronašao je kredencijale koji su bili javno dostupni na internetu.

Incidenti su se dogodili u maju tokom testiranja koje je za Google sprovodila kompanija Irregular, specijalizovana za procenu bezbednosti AI sistema. Google ih je potvrdio nakon što je Wall Street Journal prvi objavio detalje slučaja.

Gemini je učestvovao u takozvanom capture the flag testu, u kojem AI model dobija zadatak da pronađe određenu informaciju tako što će otkriti i iskoristiti slabosti u simuliranom računarskom okruženju.

Problem je bio u tome što testno okruženje nije bilo izolovano onako kako je trebalo.

Gemini je trebalo da napada sisteme izmišljene kompanije, ali je ta kompanija imala isto ime kao stvarna. Istovremeno, zbog pogrešne konfiguracije model je mogao da pristupi internetu, iako to nije trebalo da bude moguće tokom testa. Kada je krenuo da traži metu, stigao je do stvarnih sistema i tretirao ih kao deo simulacije.

U jednom slučaju Gemini je pokušavao različite lozinke sve dok nije uspeo da pristupi zaštićenom sistemu. U druga dva slučaja pronašao je na internetu javno dostupan repozitorijum sa kredencijalima i iskoristio ih za pristup sistemima još dve kompanije.

Dakle, nije otkrio zero-day propust niti koristio neku do sada nepoznatu tehniku. Do stvarnih sistema stigao je metodama koje koriste i hakeri: pretragom javno dostupnih informacija, pronalaženjem izloženih kredencijala i pogađanjem lozinki.

Google kaže da je Gemini u sva tri slučaja sam prekinuo aktivnosti. Kompanije čijim je sistemima pristupljeno obaveštene su o incidentima. Google nije javno naveo o kojim kompanijama je reč.

Heder Etkins, potpredsednica Googlea za bezbednosni inženjering, rekla je da su incidenti pokazali koliko je važno da se moćni AI modeli treniraju da postupaju odgovorno. Google je, prema njenim rečima, sarađivao sa Irregularom na promenama načina na koji se ovakva testiranja sprovode.

Irregular je saopštio da je problem otklonjen i da su laboratorije čiji su modeli bili pogođeni obaveštene krajem jula.

Gemini, međutim, nije jedini AI model koji je tokom ovakvih testova završio tamo gde nije trebalo.

Slične incidente prijavili su Meta, Anthropic i OpenAI, a u više slučajeva zajednički element bilo je upravo testiranje koje je sprovodio Irregular. Anthropic je, na primer, krajem jula objavio da je nakon pregleda više od 141.000 testova pronašao tri incidenta u kojima je Claude tokom testiranja dobio pristup internetu i zatim neovlašćeno pristupio stvarnim sistemima. Kompanija je kasnije otkrila još jedan takav incident.

OpenAI je takođe opisao slučaj u kojem je model tokom testa trebalo da ostane u simuliranom okruženju, ali mu je zbog pogrešne konfiguracije bio dostupan javni internet. I tu se ime izmišljene mete poklopilo sa stvarnim domenom, pa je model napao pravi sajt misleći da je deo testa.

Foto: Markus Winkler | Pexels