Ocena ryzyka systemu AI

Ocena ryzyka systemu AI to proces rozpoznawania możliwych szkód, szacowania ich prawdopodobieństwa i skutków oraz wybierania zabezpieczeń dla konkretnego użycia AI. Kluczowe jest słowo „konkretnego”. Ten sam model może być małym ryzykiem, gdy pomaga ułożyć szkic newslettera, i dużym ryzykiem, gdy automatycznie odrzuca kandydatów, ocenia zdolność kredytową albo odpowiada klientowi w sprawie zdrowia. Nie pytasz więc abstrakcyjnie, czy AI jest bezpieczna. Pytasz: co ten system robi, na jakich danych, komu może zaszkodzić, kto zatwierdza wynik i co stanie się po błędzie.

W praktyce zacznij od opisania przepływu, a nie od listy modnych zagrożeń. Zapisz wejście, decyzję modelu, narzędzia, do których agent ma dostęp, odbiorcę wyniku oraz działanie wykonywane po odpowiedzi. Dopiero wtedy łatwo zauważyć ryzyka: halucynacja w ofercie, błędna kwalifikacja leada, wysłanie wiadomości do niewłaściwej osoby, ujawnienie fragmentu CRM w logu, prompt injection w dokumencie RAG lub koszt wynikający z pętli automatyzacji. NIST opisuje zarządzanie ryzykiem AI jako pracę w całym cyklu życia, a nie kontrolę wyłącznie przed wdrożeniem.

Prosty rejestr ryzyka dla małej firmy wystarczy prowadzić w tabeli. Dla każdego scenariusza zapisz: zagrożenie, osobę lub proces dotknięty skutkiem, prawdopodobieństwo, wagę skutku, obecne zabezpieczenie, właściciela decyzji i sygnał, po którym zatrzymasz automatyzację. Nie udawaj precyzji liczbami, jeśli ich nie masz. Skala niska, średnia, wysoka jest użyteczna, gdy prowadzi do działania. Wysokie ryzyko powinno oznaczać na przykład obowiązkową akceptację człowieka, mniejszy zakres uprawnień, testowy rollout albo rezygnację z automatycznego działania.

Przykład: ekspert buduje agenta, który po formularzu konsultacji tworzy podsumowanie i proponuje odpowiedź e-mail. Korzyść jest duża, ale system nie powinien sam wysyłać wiadomości ani dostawać dostępu do całej skrzynki. Ocena ryzyka ujawnia co najmniej cztery punkty: formularz może zawierać dane osobowe, model może źle odczytać intencję, instrukcja ukryta w zgłoszeniu może próbować zmienić zachowanie agenta, a niezatwierdzona odpowiedź może obiecać klientowi coś, czego oferta nie obejmuje. Sensowny pierwszy krok to minimalne dane wejściowe, szablon wyjścia, filtr instrukcji, zapis źródeł oraz akceptacja człowieka przed wysyłką.

AI Act stosuje podejście oparte na ryzyku i rozróżnia zastosowania o ryzyku minimalnym, ograniczonym, wysokim oraz niedopuszczalnym. Nie oznacza to, że każda automatyzacja solopreneura wymaga formalności właściwej dla systemu wysokiego ryzyka. Oznacza natomiast, że kontekst zastosowania ma znaczenie prawne i praktyczne. System wspierający decyzję o zatrudnieniu, dostępie do usług lub edukacji może wymagać znacznie większej ostrożności niż narzędzie do roboczego researchu. Ten wpis nie jest poradą prawną. Gdy zastosowanie wpływa na prawa, zdrowie, pracę, finanse lub dostęp do istotnej usługi, potrzebujesz oceny dostosowanej do realnego procesu i właściwej konsultacji.

Dobre zabezpieczenie odpowiada na konkretne ryzyko. Dla błędnej treści będzie nim ewaluacja na reprezentatywnych przykładach i jasny format odpowiedzi. Dla nieuprawnionego działania: ograniczone uprawnienia, lista dozwolonych narzędzi i zatwierdzenie człowieka. Dla danych klientów: minimalizacja danych, kontrola dostępu i przegląd logów. Dla niebezpiecznych instrukcji w treści zewnętrznej: oddzielenie danych od poleceń oraz testy prompt injection. Jedna ogólna klauzula „AI może się mylić” nie zastępuje tych mechanizmów, podobnie jak sam system prompt nie zastępuje kontroli technicznych.

Ocena nie kończy się w dniu publikacji. Zmień ją, gdy podłączasz nowe źródło danych, dajesz agentowi nowe narzędzie, rozszerzasz odbiorców, automatyzujesz wysyłkę albo widzisz powtarzający się błąd. Ustal prosty rytm: przed uruchomieniem opisz ryzyko, po pierwszych kilkunastu przypadkach sprawdź logi i wyniki, a potem wracaj do rejestru po każdej zmianie zakresu. To daje małej firmie kontrolę bez tworzenia papierowego systemu dla samego systemu. Celem nie jest zero ryzyka. Celem jest świadoma decyzja, gdzie AI może działać samodzielnie, a gdzie musi zatrzymać się przed człowiekiem.