Rząd identycznych przycisków zatwierdzenia, wszystkie wciśnięte, jeden nietknięty

Nadzór człowieka nad agentem AI: kiedy jest kontrolą, a kiedy tylko procedurą

Anthropic zmierzył we własnej telemetrii, że użytkownicy zatwierdzają około 93% próśb o uprawnienia, i wyciągnął z tego wniosek ważniejszy niż sam pomiar: zamiast nadzorować to, co agent robi, lepiej ograniczać to, co agent jest w stanie zrobić. Dla organizacji, która zapisała w polityce wewnętrznej zdanie „działania agenta zatwierdza człowiek”, to sygnał, że obecność człowieka w procesie jest elementem architektury kontroli, a nie dowodem jej skuteczności.

Ten tekst nie twierdzi, że nadzór ludzki nie działa. Twierdzi, że nadzór trzeba zaprojektować, a jednym z gorszych sposobów projektowania jest postawienie człowieka na końcu procesu z przyciskiem „Zatwierdź”.

Kluczowe wnioski

  • Telemetria producenta pokazuje około 93% zatwierdzeń próśb o uprawnienia, a wraz ze wzrostem ich liczby uwaga poświęcana każdej maleje (Anthropic, 2026).
  • Ta liczba nie mówi, jak skutecznie człowiek kontroluje agenta. Znamy odsetek zaakceptowanych próśb, nie znamy prawidłowej decyzji dla każdej z nich.
  • Producent formułuje zalecenie projektowe: „Rather than supervising what the agent does, we supervise what it’s able to do by enforcing access boundaries” (Anthropic, 2026).
  • Kontrola automatyczna ma własny znany tryb awarii: 17% wyników fałszywie ujemnych na 52 rzeczywistych przypadkach nadmiernej inicjatywy, przy 0,4% fałszywie dodatnich (Anthropic, 2026).
  • Akt o sztucznej inteligencji, w części dotyczącej systemów wysokiego ryzyka, wymaga od podmiotu stosującego powierzenia nadzoru osobom mającym kompetencje, przeszkolenie, uprawnienia i wsparcie (art. 26 ust. 2). To wyraźnie więcej niż dostęp do przycisku.

Co dokładnie zmienił producent narzędzia

Anthropic uczynił tryb automatyczny wbudowanym trybem startowym Claude Code w kwalifikujących się sesjach na planach Pro, Max i Team. Dla planu Enterprise oraz dla klucza API wbudowanym trybem startowym pozostaje tryb ręczny, a ustawienia użytkownika lub organizacji oraz sposób uruchomienia sesji mogą ten stan domyślny zmienić.

Warto od razu usunąć nieporozumienie, które powtórzyła część relacji prasowych. Tryb automatyczny nie znosi kontroli, tylko zmienia jej wykonawcę. Zamiast pytania do człowieka działania ocenia drugi model, zwany klasyfikatorem. Wyraźne reguły typu „pytaj” nadal wymuszają pytanie, administrator może tryb wyłączyć w całej organizacji, a po serii blokad (trzech z rzędu albo dwudziestu w sesji) tryb wstrzymuje się i w sesji interaktywnej wraca do pytania człowieka.

Sam producent formułuje przy tym zastrzeżenie, którego w nagłówkach zabrakło: „Auto mode reduces permission prompts but does not guarantee safety. Use it for tasks where you trust the general direction, not as a replacement for review on sensitive operations” (dokumentacja Claude Code, 2026).

Dlaczego 93% zatwierdzeń nie mówi, jak skutecznie człowiek kontroluje

Bo znamy odsetek zaakceptowanych próśb, ale nie znamy prawidłowej decyzji dla żadnej z nich. To rozróżnienie jest sednem tej sekcji i przenosi się na każdy wskaźnik kontrolny w firmie.

Wskaźnik 93% ma jasny licznik i mianownik: to prośby zatwierdzone podzielone przez wszystkie prośby. Czego w nim nie ma, to oznaczenia, które z tych działań były bezpieczne, a które ryzykowne. Bez takiego oznaczenia nie da się policzyć ani ile ryzykownych działań człowiek przepuścił, ani ile bezpiecznych niepotrzebnie zablokował, a więc nie da się wyliczyć czułości ani swoistości tej kontroli.

Konsekwencja jest niewygodna dla obu stron sporu. Jeżeli zdecydowana większość próśb dotyczyła działań bezpiecznych, 93% zatwierdzeń może być wynikiem poprawnym, a nawet ostrożnym. Jeżeli wśród nich były działania groźne, ten sam wskaźnik oznacza coś zupełnie innego. Sama liczba nie rozstrzyga, w którym świecie jesteśmy.

Producent zresztą nie twierdzi, że zmierzył jakość ludzkich decyzji. Formułuje dwa ostrożniejsze wnioski: „Our telemetry showed users approved roughly 93% of permission prompts” oraz „The more approvals a user sees, the less attention they pay to each” (Anthropic, 2026). Drugie zdanie opisuje zmęczenie zatwierdzeniami, czyli spadek uwagi wraz z częstotliwością pytań.

To jest ta sama pułapka, w którą wpada raportowanie w finansach i księgowości. Wskaźnik „98% faktur zatwierdzonych w terminie” mówi o przepustowości procesu, a nie o tym, czy zatwierdzono właściwe faktury. Żeby ocenić kontrolę, trzeba znać przypadki, w których decyzja była błędna, a te w rutynowym raportowaniu zwykle nie są oznaczane.

Co akt o sztucznej inteligencji rozumie przez skuteczny nadzór

Art. 14 nie ustanawia ogólnego obowiązku zatwierdzania działań każdego agenta, ponieważ dotyczy systemów wysokiego ryzyka i znajduje się w rozdziale poświęconym wymogom wobec nich. Jest jednak pouczający, bo prawodawca nie zatrzymuje się na formalnej obecności człowieka w procesie.

Wśród zdolności, jakie mają mieć osoby sprawujące nadzór, przepis wymienia między innymi zachowanie świadomości możliwej tendencji do automatycznego lub nadmiernego polegania na wyniku systemu, nazywanej w samym akcie automation bias. Brzmienie jest ostrożne: mowa o świadomości tendencji, nie o obowiązku jej wyeliminowania.

Warto tych dwóch zjawisk nie mylić. Zmęczenie zatwierdzeniami, które zmierzył producent, dotyczy spadku uwagi przy dużej liczbie powtarzalnych pytań. Automation bias dotyczy skłonności do zaufania wynikowi systemu jako takiemu. Zjawiska są pokrewne i mogą się wzmacniać, ale wskaźnik 93% nie jest empirycznym pomiarem automation bias. Oba pokazują natomiast to samo: formalna obecność człowieka nie gwarantuje jakości nadzoru.

Dla firmy wdrażającej system ważniejszy bywa jednak art. 26, adresowany wprost do podmiotu stosującego. Ustęp 2 stanowi, że podmioty stosujące powierzają nadzór osobom fizycznym mającym niezbędne kompetencje, przeszkolenie i uprawnienia, a także niezbędne wsparcie. Ustęp 5 dodaje obowiązek monitorowania działania systemu zgodnie z instrukcją użytkowania oraz powiadamiania dostawcy, gdy używanie systemu może stwarzać ryzyko.

Kontrast jest wart wypisania wprost, bo w polityce wewnętrznej te dwa stany brzmią podobnie, a znaczą coś innego.

„Człowiek jest w procesie” „Człowiek może sprawować nadzór”
ma dostęp do przycisku zatwierdzania rozumie działanie i ograniczenia systemu
widzi komunikat przed wykonaniem działania ma przeszkolenie właściwe dla tego systemu
formalnie figuruje w procedurze ma uprawnienie do wstrzymania i przesłonięcia działania
ocenia w tempie narzuconym przez system ma wsparcie organizacyjne i czas na ocenę

Zastrzeżenie: art. 14 i art. 26 dotyczą systemów wysokiego ryzyka. Firma używająca agenta poza tym zakresem nie jest nimi związana. Wzorzec, który z nich wynika, pozostaje jednak użyteczny jako punkt odniesienia dla własnych polityk, bo prawodawca opisał w nim warunki, przy których nadzór ma szansę działać.

Dlaczego kontrola nie może opierać się na jednym punkcie

Bo każdy pojedynczy punkt kontrolny ma znany tryb awarii, a przy działaniu nieodwracalnym kontrola po fakcie nie przywraca stanu poprzedniego. Audyt nie cofnie przelewu, nie odtworzy usuniętych danych ani nie odbierze ujawnionej informacji.

To samo dotyczy kontroli automatycznej, która w trybie automatycznym zastępuje pytanie do człowieka. Producent podaje dla pełnego procesu 0,4% wyników fałszywie dodatnich oraz 17% wyników fałszywie ujemnych na zbiorze 52 rzeczywistych przypadków nadmiernej inicjatywy i komentuje to bez upiększeń: „The 17% false-negative rate on real overeager actions is the honest number” (Anthropic, 2026). Zbiór jest mały, co producent również zaznacza, bo takich przypadków po prostu nie ma wielu.

W tym samym materiale pada zdanie, które porządkuje całą sprawę: „It is not a drop-in replacement for careful human review on high-stakes infrastructure”.

Kierunek zalecany przez producenta jest projektowy, nie proceduralny: „Rather than supervising what the agent does, we supervise what it’s able to do by enforcing access boundaries” oraz „Design for containment at the environment layer first, then steer behavior at the model layer” (Anthropic, 2026). Warto dodać jeszcze jedną obserwację stamtąd, przydatną każdemu, kto rozważa budowę własnych zabezpieczeń: „Be wary of custom components. Battle-tested hypervisors, syscall filters, and container runtimes have survived more adversarial attention than anything you’ll build”.

Pięć warstw kontroli agenta

Poniższy układ jest moją syntezą, opartą na wnioskach z materiałów Anthropic oraz na klasycznej zasadzie obrony warstwowej. Producent nazywa trzy warstwy własnego rozwiązania i nie przedstawia tego zestawienia jako swojego modelu. Kolumna o trybie awarii jest tu najważniejsza, bo pokazuje, dlaczego żadna warstwa nie wystarcza sama.

Diagram pięciu warstw kontroli agenta AI z trybami awarii każdej warstwy
Skuteczna kontrola agenta AI opiera się na kilku warstwach o różnych trybach awarii, a udział człowieka warto zawęzić do decyzji nieodwracalnych albo kosztownych, bo uwaga rozproszona na rutynowe zatwierdzenia maleje wraz z ich liczbą (na podstawie materiałów Anthropic, 2026, oraz zasady obrony warstwowej).
Warstwa Przed czym chroni Znany tryb awarii Co da się zmierzyć
Najmniejsze uprawnienia działaniami, do których agent nie ma prawa uprawnienia rozrastają się w czasie i nikt ich nie odbiera liczba uprawnień na agenta, data ostatniego przeglądu
Izolacja środowiska rozlaniem się skutków poza obszar zadania konfiguracja odbiega od zamierzonej zakres dostępu do sieci i zasobów, wynik testu wyjścia poza obszar
Kontrola automatyczna działaniami wykraczającymi poza zlecenie wyniki fałszywie ujemne, u producenta 17% na małej próbie odsetek zablokowanych, przegląd blokad
Człowiek przy wysokiej stawce błędem kosztownym i nieodwracalnym zmęczenie zatwierdzeniami przy nadmiarze pytań liczba pytań na sesję, czas namysłu, odsetek odrzuceń
Monitorowanie i audyt trwaniem błędu, który już się wydarzył brak dzienników albo brak osoby, która je czyta kompletność dzienników, czas do wykrycia

Warstwa czwarta ma w tym układzie miejsce zawężone i to jest cała różnica. Człowiek nie ocenia wszystkiego, tylko te decyzje, przy których jego ocena rzeczywiście coś wnosi, bo skutek jest kosztowny albo nieodwracalny. Przy pozostałych decyzjach jego udział obniża jakość kontroli, zamiast ją podnosić, ponieważ zużywa uwagę potrzebną gdzie indziej.

Jak to wygląda w trzech branżach

Księgowość i rozliczenia. Agent pracujący na dokumentach rozliczeniowych powinien mieć dostęp wyłącznie do okresu, którego dotyczy zadanie. Człowiek wchodzi przy zaksięgowaniu i przy płatności, a nie przy każdym odczycie dokumentu.

Wytwarzanie oprogramowania. Agent z prawem zapisu działa w środowisku odseparowanym od produkcyjnego. Człowiek wchodzi przy scaleniu zmiany i przy wdrożeniu, a nie przy każdej modyfikacji pliku.

Obsługa klienta. Agent podejmujący decyzje o zwrocie ma ustalony próg kwotowy. Człowiek wchodzi powyżej progu i przy sprawach spornych, a nie przy każdej odpowiedzi.

We wszystkich trzech przypadkach to jest wniosek projektowy przeniesiony z innego kontekstu, a nie wynik pomiaru w tych branżach.

Praktyczny przykład skutków zbyt szerokich uprawnień opisuję we wpisie „Agent AI włamał się do trzech firm”.

Doprecyzowanie mojego wcześniejszego zalecenia

We wpisie „Agenci AI w firmie: produktywność bez nadzoru” pisałem, że wraz ze wzrostem autonomii agentów powinny rosnąć monitorowanie i udział człowieka w pętli. Pierwszą część tego zalecenia podtrzymuję w całości. Drugą trzeba doprecyzować: człowiek w pętli nie staje się mechanizmem bezpieczeństwa przez to, że system wyświetla mu przycisk „Zatwierdź”.

Rozróżnienie przebiega nie między obecnością a nieobecnością człowieka, lecz między nadzorem zaprojektowanym a nadzorem dopisanym do procesu. Ten pierwszy wymaga rozstrzygnięcia, przy których decyzjach człowiek jest potrzebny, jakie ma uprawnienia i ile ma czasu. Ten drugi wymaga tylko wyświetlenia komunikatu.

Od czego zacząć

Policz pytania, nie procedury. Sprawdź, ile razy dziennie osoba nadzorująca agenta widzi prośbę o zgodę. Jeśli liczba idzie w dziesiątki, kontrola istnieje na papierze i warto ją przeprojektować, zanim cokolwiek się wydarzy.

Zawęź uprawnienia przed zawężeniem zgód. Uprawnienie, którego agent nie ma, nie wymaga nadzoru. To jest najtańsza warstwa i zwykle najbardziej zaniedbana.

Wyznacz próg istotności. Rozstrzygnij, przy jakiej kwocie, jakim zakresie danych i jakiej nieodwracalności decyzja wraca do człowieka. Reszta może iść przez kontrolę automatyczną i przegląd wyrywkowy.

Kiedy ta analiza się nie sprawdzi

Jeśli Twoje działania są w większości nieodwracalne. Wtedy przesunięcie ciężaru na kontrolę automatyczną i przegląd po fakcie jest złym pomysłem, a częstsze pytania do człowieka mogą być uzasadnione mimo zmęczenia zatwierdzeniami.

Jeśli nie masz zasobów na izolację środowiska. Warstwa druga jest pracą inżynierską i mniejsza organizacja może jej nie udźwignąć. Wtedy ciężar wraca na uprawnienia i na próg istotności, a model traci jedną z podpór.

Jeśli traktujesz to jako dowód empiryczny. Pomiar 93% dotyczy jednego narzędzia i jednej populacji użytkowników. Przeniesienie wniosku na agentów w procesach biznesowych jest rozumowaniem projektowym, nie wynikiem badania w tych procesach.

Warto też pamiętać, kto formułuje tę tezę. Zalecenie „ograniczaj możliwości zamiast nadzorować działania” pochodzi od dostawcy narzędzia, któremu ten kierunek jest wygodny, bo przenosi ciężar z jego interfejsu na infrastrukturę klienta. To nie czyni tezy fałszywą, ale warto ją czytać ze świadomością źródła.

Czego ten tekst nie rozstrzyga

Nie mamy publicznego pomiaru pozwalającego porównać skuteczność człowieka i klasyfikatora na tej samej próbie. To najważniejsza luka w całej sprawie i dopóki trwa, każde zdanie o tym, kto sprawdza lepiej, jest spekulacją.

W obiegu prasowym krążą liczby mówiące, że przegląd ludzki wyłapuje 13,6% szkodliwych działań, a tryb automatyczny 89%, przy badaniu na 1053 płatnych testerach. Nie udało mi się dotrzeć do materiału źródłowego z tymi wartościami, a żadna z ośmiu sprawdzonych relacji nie wskazuje odnośnika. Nie twierdzę, że takiego materiału nie ma; twierdzę, że go nie znalazłem, i dlatego nie opieram na tych liczbach żadnego wniosku.

Nierozstrzygnięte pozostaje również, czy wskaźnik 93% z materiałów producenta i wskaźnik 97% powtarzany w relacjach opisują tę samą miarę.

Podsumowanie

Producent narzędzia zmierzył, że ludzie zatwierdzają zdecydowaną większość próśb o uprawnienia, i przebudował na tej podstawie własny model kontroli. Nie w stronę rezygnacji z nadzoru, tylko w stronę ograniczania tego, co agent w ogóle może zrobić, zanim ktokolwiek zacznie oceniać, co robi.

Dla firmy najważniejsze jest rozdzielenie dwóch rzeczy, które w politykach wewnętrznych stoją zwykle razem. Obecność człowieka w procesie jest elementem architektury kontroli. Nie jest dowodem, że kontrola działa, i sama w sobie niczego nie mierzy. Dowodem byłby pomiar, którego w większości organizacji po prostu nikt nie prowadzi, bo nikt nie oznacza decyzji jako trafnych i nietrafnych.

Praktyczny wniosek jest projektowy, nie proceduralny. Skuteczna kontrola zaczyna się wcześniej niż na przycisku zatwierdzania: od tego, jakie uprawnienia agent dostał, w jakim środowisku działa i przy jakich decyzjach człowiek zostaje wezwany. Udział człowieka skoncentrowany na decyzjach o realnej wadze zwiększa szansę, że jego ocena będzie uważna. Rozproszony na dziesiątki rutynowych pytań, obniża ją w sposób, który producent tego narzędzia już zaobserwował u siebie.

O autorze

Remigiusz Pruszczak: ekspert GenAI i trener AI, makler papierów wartościowych z uprawnieniami do wykonywania czynności doradztwa inwestycyjnego (licencja nr 2343). Ponad 30 lat w finansach. Od 17 lat prowadzi szkolenia, a od 2025 roku również z generatywnej AI, między innymi dla banków, instytucji finansowych, kancelarii oraz firm z sektorów regulowanych i produkcji. Szkolenia realizuje we współpracy z EY Academy of Business Polska, Warszawskim Instytutem Bankowości, Bankowym Ośrodkiem Doradztwa i Edukacji oraz CFA Society Poland. Więcej na stronie „O mnie”.

Źródła

  1. Anthropic, „How we contain Claude across products”, 25 maja 2026: https://www.anthropic.com/engineering/how-we-contain-claude
  2. Anthropic, materiał inżynieryjny o trybie automatycznym Claude Code, 25 marca 2026: https://anthropic.com/engineering/claude-code-auto-mode
  3. Dokumentacja Claude Code, tryby uprawnień, 2026: https://code.claude.com/docs/en/permission-modes
  4. Akt o sztucznej inteligencji, rozporządzenie (UE) 2024/1689, art. 14 ust. 4 oraz art. 26 ust. 2 i 5: https://eur-lex.europa.eu/eli/reg/2024/1689/oj?locale=pl
  5. Wpis własny: „Agenci AI w firmie: produktywność bez nadzoru”, 29 kwietnia 2026: https://pruszczak.com/agenci-ai-w-firmie-produktywnosc-bez-nadzoru/
  6. Wpis własny: „Agent AI włamał się do trzech firm”, 10 sierpnia 2026: https://pruszczak.com/atak-agenta-ai/