Organizacje, które korzystają z zaawansowanych asystentów AI, mogą nieświadomie otwierać zupełnie nowe furtki dla ataków. TrendAI opublikowało raport, w którym wskazuje, że "umiejętności AI" stanowią nową, niebezpieczną powierzchnię ataku.
Co to właściwie są te "umiejętności"? To wykonawcze artefakty, które łączą czytelny dla człowieka tekst z instrukcjami dla dużych modeli językowych (LLM). Chodzi o rzeczy takie jak Agent Skills od Anthropic, GPT Actions od OpenAI czy Copilot Plugin Microsoftu.
Są one używane do skalowania operacji AI. Jak wyjaśnia raport, umiejętności AI "kapsułkują wszystko, od elementów takich jak ludzka ekspertyza, przepływy pracy i ograniczenia operacyjne, po logikę decyzyjną". Przechwytują tę wiedzę w coś, co można wykonać.
Dlaczego to taki problem?
Problem leży w ich naturze. Ponieważ mieszają dane dostarczone przez użytkownika z instrukcjami, a definicje umiejętności mogą również mieszać zarówno dane, jak i instrukcje i mogą odnosić się do zewnętrznych źródeł danych, jak pisze TrendAI.
To połączenie danych i logiki wykonywalnej tworzy niejednoznaczność. W rezultacie narzędziom obronnym, a nawet samemu silnikowi AI, trudno jest bezpiecznie odróżnić prawdziwe instrukcje analityka od treści dostarczonych przez atakującego. Stąd niezdolność do obrony przed atakami typu injection.
Jeśli atakujący uzyska dostęp do logiki stojącej za umiejętnością, może to dać mu znaczną możliwość wykorzystania – ostrzega raport. Atakujący może też po prostu zdecydować się na handel lub wyciek pozyskanych danych, ujawniając w ten sposób wrażliwe informacje organizacyjne.
Potencjalne skutki są poważne. Z dostępem do danych operacyjnych i logiki biznesowej, przeciwnicy mogliby zakłócać usługi publiczne, sabotować procesy produkcyjne, kraść dane pacjentów i wiele więcej. Właściwie wyobraź sobie, że ktoś przejmuje kontrolę nad AI zarządzającą systemem energetycznym albo procesem medycznym. To potencjalne scenariusze.
SOC-y z AI w szczególnym niebezpieczeństwie
Raport wskazuje, że ryzyko jest szczególnie duże dla centrów operacji bezpieczeństwa (SOC) wykorzystujących sztuczną inteligencję, z eskalacją od kompromitacji taktycznej po strategiczną, umożliwiającą tworzenie cyfrowych bliźniaków. Zagrożenie polega na tym, że agenci zagrożeń mogliby identyfikować i wykorzystywać martwe punkty wykrywania w SOC. To naprawdę niepokojące, biorąc pod uwagę, że te zespoły są pierwszą linią obrony.
Wyzwanie dla obrońców sieci polega na tym, że wiele ich narzędzi bezpieczeństwa nie jest w stanie skutecznie wykrywać, analizować i łagodzić zagrożeń ze strony nieustrukturyzowanych danych tekstowych, którymi są umiejętności AI. Tradycyjne zabezpieczenia po prostu tego nie widzą.
Jak się bronić?
Raport sugeruje konkretne działania. Zaleca monitorowanie integralności umiejętności, szukanie manipulacji logiką SOC oraz polowanie na anomalie w wykonaniu, dostępie do poświadczeń i przepływie danych. Przedstawia nawet nowy, ośmiofazowy model łańcucha zabójczego specyficzny dla umiejętności AI, pokazujący, gdzie są nowe możliwości wykrywania złośliwej aktywności.
Ale kluczowe wydają się być podstawowe zasady. TrendAI rekomenduje traktowanie umiejętności jako wrażliwej własności intelektualnej, z odpowiednią kontrolą dostępu, wersjonowaniem i zarządzaniem zmianami. Warto też oddzielić logikę i dane umiejętności od niezaufanych danych dostarczonych przez użytkownika, które mogą prowadzić do możliwości wykorzystania.
Kolejna rada to ograniczenie uprawnień wykonawczych poprzez stosowanie zasad najmniejszych przywilejów podczas projektowania umiejętności. Ograniczenie kontekstu wykonania do minimalnych wymaganych uprawnień ma zapobiec ruchom bocznym. To bardzo klasyczne podejście do bezpieczeństwa, ale tutaj nabiera nowego znaczenia.
Raport kończy się dwoma kluczowymi zaleceniami. Po pierwsze, przed wdrożeniem należy przetestować, jak przeciwnicy mogliby wykorzystać logikę operacyjną. Po drugie, monitorowanie, rejestrowanie i audytowanie musi być ciągłe, tak jak w przypadku każdego procesu biznesowego. Jest to szczególnie ważne w środowiskach z obsługą AI, gdzie tradycyjne granice bezpieczeństwa się zacierają.
TrendAI podkreśla, że te zasady to po prostu dobre praktyki bezpieczeństwa, ale teraz trzeba je zastosować do zupełnie nowej kategorii zasobów. Ignorowanie tego ryzyka może kosztować organizacje nie tylko dane, ale także ciągłość działania. A w niektórych sektorach, jak ochrona zdrowia czy infrastruktura krytyczna, konsekwencje mogą być znacznie poważniejsze.