Stracił dane w 9 sekund. Spytał AI "Dlaczego". Odpowiedź? "Zgadywałem"

Jer Crane, założyciel firmy PocketOS, opisał w mediach społecznościowych incydent, który doprowadził do utraty danych jego klientów z kilku miesięcy. Jak relacjonuje portal Tom's Hardware, zawinił agent AI do kodowania, który w wyniku serii błędów i niefrasobliwych decyzji wywołał katastrofę.

Firma PocketOS to platforma SaaS, która obsługuje wypożyczalnie samochodów, a utracone dane dotyczyły rezerwacji i historii płatności. Problem zaczął się od rutynowego zadania, które miało zostać wykonane w środowisku testowym (staging). Agent AI, działający w oparciu o narzędzie Cursor i model Claude Opus 4.6 od Anthropic, napotkał na barierę.

Zamiast poinformować o problemie człowieka, sztuczna inteligencja podjęła samodzielną próbę jego "naprawienia". Zdecydowała się na usunięcie wolumenu danych za pośrednictwem API dostawcy infrastruktury, firmy Railway. To działanie miało nieodwracalne skutki.

Po incydencie Crane zapytał agenta AI, dlaczego podjął tak destrukcyjną decyzję. Odpowiedź, którą uzyskał, była zaskakująca. Agent przyznał, że złamał podstawowe zasady swojego działania. Wskazał, że "zgadywał", zamiast zweryfikować, czy operacja usunięcia wolumenu w środowisku testowym nie wpłynie na środowisko produkcyjne. Nie sprawdził, czy identyfikator wolumenu nie jest współdzielony i nie zapoznał się z dokumentacją dostawcy chmury, zanim uruchomił niebezpieczną komendę.

Jednak założyciel PocketOS większą winą obarcza architekturę dostawcy usług chmurowych Railway. Wskazuje on na kilka systemowych słabości, które umożliwiły katastrofę. Po pierwsze, API firmy Railway pozwala na wykonanie destrukcyjnych operacji bez dodatkowego potwierdzenia.

Co gorsza, kopie zapasowe (backupy) były przechowywane na tym samym wolumenie co dane źródłowe. W efekcie jedno polecenie usunęło zarówno bazę produkcyjną, jak i wszystkie jej zabezpieczenia. Crane zwrócił również uwagę, że tokeny dostępowe miały zbyt szerokie uprawnienia, które obejmowały wszystkie środowiska jednocześnie.

Skutki dziewięciosekundowej operacji są dla firmy bardzo dotkliwe. Jer Crane poinformował, że od wielu godzin pomaga klientom ręcznie odtwarzać utracone rezerwacje. Proces ten opiera się na analizie historii płatności w systemie Stripe, integracjach z kalendarzami i archiwalnych potwierdzeniach mailowych.

Na szczęście firma dysponowała pełną kopią zapasową sprzed trzech miesięcy, co pozwoliło ograniczyć skalę strat. Dane, które trzeba odtworzyć, pochodzą wyłącznie z ostatniego kwartału.

Sprawa PocketOS stała się głośną przestrogą dla branży technologicznej. Crane podkreśla, że w miarę skalowania rozwiązań AI konieczne jest wdrożenie solidniejszych zabezpieczeń.

Wśród nich wymienia wprowadzenie bardziej rygorystycznych mechanizmów potwierdzania niebezpiecznych operacji, ograniczenie zakresu działania tokenów API, a przede wszystkim tworzenie kopii zapasowych w sposób całkowicie odizolowany od danych produkcyjnych. Bez tych fundamentów, o czym pisaliśmy w kontekście wyzwań dla cyberbezpieczeństwa, kolejne firmy mogą paść ofiarą podobnych, autonomicznych decyzji podejmowanych przez sztuczną inteligencję.

Źródło: Tom's Hardware