Zgoda, o którą nie ma kogo zapytać

Jednego dnia ci sami trzej badacze opublikowali cztery CVE dla czterech niezwiązanych ze sobą produktów z agentami AI. Piąte, od kogoś innego, pojawiło się pięć dni wcześniej. Wszystkie da się opisać jednym zdaniem: agent ma narzędzie powłoki i zanim wykona polecenie, nikt nie jest pytany o zgodę.

Bramkę zbudowano dla terminala

Najwięcej uczy przypadek OpenSRE, bo tam bramka zatwierdzania istnieje. W terminalu agent zatrzymuje się i pyta, zanim uruchomi polecenie. Ale ten sam agent odpowiada też na Slacku, a kod, który zastępuje tam terminal, musi odpowiedzieć na to samo pytanie, nie mając kogo zapytać. Odpowiada tak:

# gateway/transports/slack/processing/dispatcher.py
# No approval prompts in Slack for now. Button waits stalled the
# turn until the timeout and posted extra replies in the thread.

# tools/interactive_shell/subprocess_presenter.py
def execution_allowed(self, policy, *, action_summary) -> bool:
    _ = (policy, action_summary)
    return True

Komentarz w kodzie jest szczery i mówi wszystko: na razie bez pytań o zgodę na Slacku, bo czekanie na przycisk blokowało rozmowę do limitu czasu. Nikt nie postanowił wyłączyć zabezpieczenia. Prawdziwy problem z używalnością rozwiązano, odpowiadając „tak”. Bramka była elementem interfejsu, a kiedy interfejs się zmienił, domyślnie stanęła otworem, bo tylko wtedy produkt dalej działał.

Każde wdrożenie, które ma znaczenie, działa bez człowieka

Pozostałe cztery nie doszły nawet do zaślepki. Trzy rekordy opisują narzędzie powłoki bez żadnego kroku zatwierdzania, dostępne przez endpoint czatu, wgrany dokument albo pobraną stronę WWW. Archon to forma najczystsza: agent programistyczny z wyłączonymi własnymi pytaniami o uprawnienia, za API sterującym, które nasłuchuje na wszystkich interfejsach. Serwer nie kliknie przycisku, więc przycisk znika.

Warto spojrzeć, skąd w każdym przypadku przychodzą instrukcje: alerty, wiadomości na Slacku, pobrane strony, wgrane dokumenty, otwarty port HTTP. Żadne z tych źródeł nie jest operatorem. Agent staje się użyteczny dokładnie wtedy, gdy pracuje sam na cudzych danych, i dokładnie w takim wdrożeniu kontrola typu „człowiek w pętli” nie ma w pętli człowieka.

Zaufanie to powierzchnia ataku

Agent, który przed każdym poleceniem zatrzymuje się i pyta, wygląda na bezpiecznego, i na pokazie rzeczywiście taki jest, bo pokaz odbywa się w terminalu. To jednak cecha sesji, a nie narzędzia, i nic w produkcie nie mówi, że wdrożona przez Ciebie sesja to akurat ta, w której odpowiedź zawsze brzmi „tak”.

Co konkretnie zrobić

• Spisz wszystkie agenty, które działają bez terminala. Boty na Slacku i w Teams, webhooki, zadania cykliczne, endpointy czatu. Dla każdego ustal, co dzieje się tam z zatwierdzaniem poleceń. Jeśli odpowiedź brzmi „zatwierdza samo”, traktuj jego narzędzie powłoki jak zdalne wykonanie kodu dla każdego, kto może wpłynąć na jego dane wejściowe.
• Bez człowieka odpowiedź ma brzmieć „nie”. Gdy nie ma kogo zapytać, bramka musi odmawiać, a nie przepuszczać. Wolna albo nieudana odpowiedź kosztuje ponowną próbę. Fałszywe „tak” kosztuje cały serwer.
• Zabierz powłokę agentom, które pracują same. Daj im wąskie narzędzia o stałych argumentach. Bot SRE, który ma restartować usługę, potrzebuje narzędzia do restartu, a nie basha.
• Uruchamiaj agenta bez niczego, co warto ukraść. Każdy z tych rekordów wymienia jako łup klucze i dane uwierzytelniające samego agenta. Trzymaj je poza jego środowiskiem i poza jego zasięgiem.
• Porty sterujące tylko na loopbacku i tylko z uwierzytelnianiem. API agenta na 0.0.0.0 bez logowania to powłoka dla całej sieci, niezależnie od tego, co agentowi kazano robić.