Uber dostał niemal 825 mln euro kary przez AI

Według regulatora systemy w latach 2018-2022 odcinały ludzi od dostępu do zleceń bez wystarczającej informacji o mechanizmie decyzji i bez realnego udziału człowieka. Uber nie zgadza się z ustaleniami, nazywa sankcję nieproporcjonalną i zapowiada odwołanie.

Holenderski organ ochrony danych nałożył na Ubera karę w wysokości 824,99 mln euro za zautomatyzowane blokowanie kont kierowców. 

Decyzja została wydana 17 sierpnia, a holenderski urząd Autoriteit Persoonsgegevens ogłosił ją 21 sierpnia 2026 roku. To druga pod względem wysokości kara nałożona dotąd na podstawie unijnego rozporządzenia o ochronie danych osobowych. Jej znaczenie nie sprowadza się jednak do samej kwoty. Regulator wyznaczył granicę automatyzacji tam, gdzie wynik działania systemu może pozbawić człowieka dochodu.

Konto zablokowane przez system, człowiek bez zleceń

Postępowanie dotyczyło różnych mechanizmów dezaktywowania kont kierowców. Systemy Ubera mogły czasowo zawieszać osoby podejrzewane o oszustwo, na przykład o nieuzasadnione wydłużanie tras lub przyjmowanie kursów bez zamiaru ich wykonania. Według holenderskiego organu konta kierowców z utrzymującymi się niskimi ocenami bywały również trwale wyłączane w sposób w pełni automatyczny.

Urząd uznał, że Uber nie informował kierowców dostatecznie jasno o takim przetwarzaniu ich danych, a przy decyzjach o poważnych skutkach zabrakło rzeczywistego udziału człowieka. Utrata dostępu do platformy oznaczała utratę możliwości zarabiania za jej pośrednictwem.

Uber kwestionuje zarówno część ustaleń, jak i wysokość sankcji. Firma twierdzi, że zawieszenia związane z podejrzeniem oszustwa były zazwyczaj krótkie, a kont nie wyłączano trwale bez kontroli człowieka. Podała również, że w 2021 roku w całej Europie z powodu niskich ocen dezaktywowano 126 kierowców. Spółka zapewnia, że obecne procedury przewidują kontrolę pracownika i możliwość odwołania się od decyzji.

To ważne zastrzeżenie. Uber zapowiedział sądowe zaskarżenie decyzji, więc ustalenia regulatora nie zamykają sporu. Nie dowodzą też, że każda automatyczna blokada konta narusza prawo. Wykrywanie nadużyć jest uzasadnionym celem, zaś automatyzacja może przyspieszać reakcję i ujednolicać ocenę przypadków. Problem zaczyna się wtedy, gdy decyzja o dotkliwych konsekwencjach jest podejmowana wyłącznie przez system, pozostaje nieprzejrzysta i trudno ją skutecznie zakwestionować.

Kara wynika z RODO, nie z AI Act

Podstawą holenderskiej decyzji było RODO, a nie unijny AI Act. Artykuł 22 RODO przyznaje osobie prawo do tego, by nie podlegała decyzji o skutkach prawnych lub podobnie istotnym wpływie, jeżeli opiera się ona wyłącznie na zautomatyzowanym przetwarzaniu danych, w tym profilowaniu. Przepis nie zakazuje wszelkiej automatyzacji. Obejmuje jednak sytuacje, w których komputer sam rozstrzyga sprawę mającą poważne znaczenie dla konkretnego człowieka.

Samo umieszczenie pracownika na końcu procesu nie rozwiązuje problemu. Europejska Rada Ochrony Danych wskazuje, że udział człowieka musi być rzeczywisty. Osoba kontrolująca decyzję powinna rozumieć przedstawione informacje, mieć prawo zakwestionować rekomendację systemu i móc zmienić wynik. Automatyczne kliknięcie „zatwierdź” nie jest merytorycznym nadzorem.

W przypadku pracy za pośrednictwem aplikacji granicę tę doprecyzowuje dyrektywa Unii Europejskiej 2024/2831. Zgodnie z nią decyzję o ograniczeniu, zawieszeniu lub usunięciu konta osoby wykonującej pracę platformową, zakończeniu jej relacji umownej albo zastosowaniu środka o równoważnie szkodliwym skutku ma podejmować człowiek. Państwa członkowskie powinny wdrożyć przepisy do 2 grudnia 2026 roku. Dyrektywa nie była podstawą kary dla Ubera i dotyczy cyfrowych platform pracy, a nie każdego systemu używanego w firmie.

System przestaje podpowiadać i zaczyna działać

Mechanizmy badane w sprawie Ubera nie były autonomicznymi agentami AI w dzisiejszym znaczeniu. Przypadek pokazuje jednak zmianę, która nabiera znaczenia wraz z ich rozwojem. Oprogramowanie przestaje wyłącznie analizować dane lub przygotowywać odpowiedź. Otrzymuje dostęp do poczty, dokumentów, baz, systemów finansowych i aplikacji firmowych, a następnie samodzielnie wykonuje kolejne czynności prowadzące do wskazanego celu.

- W przypadku zwykłego chatbota błędem może być nieprawidłowa odpowiedź. W przypadku agenta skutkiem błędu może być już konkretne działanie - zablokowanie konta, zmiana uprawnień, wysłanie wiadomości albo uruchomienie operacji finansowej. Im większą autonomię otrzymuje AI, tym ważniejsze staje się precyzyjne określenie, co system rzeczywiście może zrobić samodzielnie - przekonuje w informacji prasowej Kamil Sadkowski, analityk cyberzagrożeń w ESET.

Agent może działać na podstawie niepełnych danych, błędnie zrozumieć cel albo wybrać niewłaściwą drogę do jego realizacji. Dochodzi do tego ryzyko celowej manipulacji. Instrukcja ukryta w wiadomości, dokumencie lub na stronie internetowej może próbować przejąć tok działania modelu językowego. Jeżeli narzędzie ma szerokie uprawnienia, skutkiem udanego ataku nie musi być jedynie fałszywa odpowiedź. System może ujawnić dane lub wykonać operację, której użytkownik nie zlecił.

Agent AI powinien mieć dokładnie tyle uprawnień, ile potrzebuje

Jedną z podstawowych odpowiedzi na to ryzyko jest zasada najmniejszych uprawnień. System powinien widzieć tylko niezbędne dane i korzystać wyłącznie z funkcji potrzebnych do wykonania zadania. Dostęp do informacji nie musi oznaczać prawa do podjęcia ostatecznej decyzji.

- Jeżeli AI analizuje podejrzane konto, nie oznacza to, że powinna móc samodzielnie je trwale zablokować. Jeśli analizuje fakturę, nie musi jednocześnie posiadać prawa do wykonania przelewu. Każde dodatkowe uprawnienie zwiększa potencjalne konsekwencje błędu albo skutecznego ataku - podkreśla Kamil Sadkowski.

W praktyce wymaga to rozdzielenia analizy od wykonania operacji. Agent może wykryć anomalię, zebrać dokumenty i przygotować rekomendację. Zablokowanie konta, odebranie dostępu do infrastruktury, wysłanie pieniędzy albo zakończenie współpracy powinno podlegać dodatkowym zabezpieczeniom, jeżeli skutek jest poważny lub trudny do odwrócenia. Organizacja musi też rejestrować działania systemu, umożliwić zatrzymanie procesu i wcześniej ustalić, kto odpowiada za kontrolę.

Człowiek nie musi zatwierdzać każdej czynności

Rozwiązaniem nie jest ręczne potwierdzanie wszystkich kroków agenta. Taki model odbierałby automatyzacji znaczną część wartości i mógłby wytworzyć pozorny nadzór: pracownik przeciążony komunikatami zacząłby zatwierdzać je odruchowo.

Granica powinna zależeć od skutku. AI może samodzielnie porządkować informacje, tworzyć zestawienia, wykonywać odwracalne operacje o niewielkim znaczeniu i przygotowywać warianty decyzji. Im większy wpływ na pieniądze, dane, dostęp do infrastruktury lub możliwość wykonywania pracy, tym mocniejsza powinna być kontrola człowieka.

Osoba sprawująca nadzór musi znać kontekst, mieć dostęp do danych potrzebnych do oceny i dysponować prawem zatrzymania procesu. Powinna również móc zmienić albo odwrócić działanie systemu. Bez tych kompetencji człowiek pozostaje elementem interfejsu, a nie mechanizmem bezpieczeństwa.

Sprawa Ubera nie jest więc opowieścią o tym, że algorytm dosłownie „wręczył wypowiedzenie”. Kierowcy platformy mogą mieć różny status prawny, a firma zapowiada odwołanie od decyzji regulatora. Jest natomiast konkretnym ostrzeżeniem dla organizacji, które powierzają systemom coraz szersze możliwości. Przed pytaniem „czy możemy to zautomatyzować?” powinno pojawić się inne: „co wolno temu systemowi zrobić bez człowieka i jak zatrzymamy go, gdy się pomyli?”.

 

 

Pobierz ebook "Książka o Egipcie, jakiego nie pokazują wycieczki. Śladami starożytnych królowych i polskich archeologów"