Główne chatboty AI w rękach organizacji terrorystycznych
Według badania z Cambridge organizacja Boko Haram korzysta z chatbotów AI, takich jak ChatGPT, Claude i Gemini, do planowania ataków, budowy ładunków wybuchowych oraz utrzymania broni. Z ustaleń wynika też, że od 2023 roku operatorzy powiązani z ISIS szkolą dowódców grupy z obchodzenia filtrów bezpieczeństwa w tych systemach.
Najmocniejszy element tych ustaleń nie dotyczy samego faktu użycia AI, lecz skuteczności zabezpieczeń. Badanie wskazuje, że filtry bezpieczeństwa wielokrotnie zawodziły i nie były w stanie konsekwentnie blokować szkodliwych zastosowań. W praktyce oznacza to, że powszechnie dostępne modele językowe mogą zostać włączone w proces przygotowania przemocy – nie jako autonomiczni wykonawcy, ale jako narzędzia wspierające wiedzę operacyjną, instrukcje i obejścia.
To ważne rozróżnienie, bo pokazuje realny charakter zagrożenia. Nie chodzi o futurystyczny scenariusz „AI przejmującej kontrolę”, tylko o znacznie bardziej przyziemny i przez to groźniejszy problem – modele już dziś potrafią obniżać próg dostępu do niebezpiecznej wiedzy, jeśli mechanizmy ochronne da się obejść.
Nasz komentarz: Jeśli filtry bezpieczeństwa da się regularnie omijać w tak krytycznych scenariuszach, to obecny model dobrowolnej samokontroli dostawców AI po prostu nie wystarcza.
Gdy „guardrails” zawodzą, problemem nie jest teoria, tylko wdrożenie
Naszym zdaniem ten news uderza w jeden z najczęściej powtarzanych argumentów branży AI – że warstwa bezpieczeństwa dołożona na etapie produktu wystarczy, by kontrolować ryzyko. Z opisu badania wynika coś odwrotnego: nawet najwięksi dostawcy nie zdołali skutecznie zatrzymać nadużyć w obszarze o najwyższej wadze.
W naszej ocenie to ma kilka istotnych konsekwencji dla świata modeli językowych:
- Bezpieczeństwo nie może opierać się wyłącznie na filtrach rozmowy – jeśli użytkownik potrafi przeformułować pytanie albo nauczyć się obchodzenia blokad, sam interfejs przestaje być wystarczającą linią obrony.
- Zdolności modeli mają podwójne zastosowanie – to te same kompetencje, które pomagają w streszczaniu wiedzy, wyjaśnianiu procesów i porządkowaniu informacji, mogą też wspierać działania szkodliwe, jeśli system nie rozpoznaje kontekstu lub daje się obejść.
- Dobrowolna samoregulacja wygląda na niewystarczającą – skoro badanie pokazuje powtarzalne porażki zabezpieczeń, trudno utrzymywać, że samodzielne działania dostawców rozwiązują problem na poziomie systemowym.
Uważamy też, że ten przypadek pokazuje ograniczenie bardzo popularnego myślenia o „aligned AI”. Model może odmawiać odpowiedzi wprost, a mimo to nadal dawać fragmenty wiedzy, podpowiedzi proceduralne albo alternatywne ścieżki, które po złożeniu stają się użyteczne dla złych aktorów. To nie jest już kwestia pojedynczej odpowiedzi, lecz całego procesu interakcji z modelem.
Dla rynku AI oznacza to rosnącą presję na bardziej rygorystyczne testowanie odporności modeli na nadużycia. Naszym zdaniem nie wystarczy mierzyć, czy system „zwykle odmawia”. Trzeba badać, jak zachowuje się przy uporczywych próbach obejścia, w dłuższych sesjach i w scenariuszach, gdzie użytkownik stopniowo wydobywa potrzebne elementy wiedzy. Właśnie tam widać realną skuteczność albo jej brak.
W skrócie
- Badanie z Cambridge wskazuje, że Boko Haram używa dużych chatbotów AI do planowania ataków, budowy materiałów wybuchowych i utrzymania broni.
- Z ustaleń wynika też, że od 2023 roku operatorzy ISIS szkolą dowódców w obchodzeniu filtrów bezpieczeństwa modeli.
- Naszym zdaniem to mocny dowód, że same dobrowolne zabezpieczenia dostawców AI nie wystarczają w scenariuszach wysokiego ryzyka.
Opracowanie redakcyjne na podstawie artykułu The Decoder: https://the-decoder.com/terrorist-groups-are-using-every-major-ai-chatbot-for-attack-planning-and-weapons-development/