Powrót do blogaTechniczne

FOIA w erze AI: Jak agencje skracają czas redakcji z...

Rząd federalny wydał szacunkowo 500 milionów dolarów na przetwarzanie FOIA w 2024 roku, głównie na ręczną redakcję.

April 19, 20268 min czytania
FOIA automationgovernment AIARPA-HDSARpublic records redaction

FOIA w erze AI: Jak agencje skracają czas redakcji z tygodni do godzin

Rząd federalny wydał szacunkowo 500 milionów dolarów na przetwarzanie FOIA w 2024 roku. Większość z tego to ręczna redakcja. Zaległość FOIA w DOJ przekroczyła 100 000 wniosków. HHS udokumentowało, że jego dział CMS badał redakcję wspomaganą AI, ponieważ ręczne przetwarzanie tworzyło nieakceptowalne zaległości. ARPA-H wyraźnie poszukiwała oprogramowania do redakcji AI w 2025 roku, aby "wykorzystać sztuczną inteligencję do przeprowadzania redakcji i wykorzystać e-odkrywanie w celu należytej staranności."

Uznanie, że ręczna redakcja FOIA nie może się skalować, jest teraz instytucjonalne. Pytanie przesunęło się z "czy powinniśmy automatyzować?" na "jak wdrożyć automatyzację, która produkuje obronne, dopuszczalne w sądzie wyniki?"

Kryzys zaległości FOIA w rządzie federalnym

Zgodnie z 5 U.S.C. §552, agencje federalne muszą odpowiadać na wnioski FOIA w ciągu 20 dni roboczych. Agencje mogą powołać się na "nadzwyczajne okoliczności", aby przedłużyć termin z powiadomieniem wnioskodawcy. W praktyce wiele agencji działa z czasem odpowiedzi mierzonym w miesiącach do lat, a nie w dniach.

Zaległość DOJ wynosząca ponad 100 000 wniosków reprezentuje około 2 miliardów minut czasu przeglądu ręcznego, jeśli każdy wniosek wymaga tylko 20 minut przeglądu. Przy stawkach rządowych to miliardy dolarów w pracy — większość z tego na mechaniczne identyfikowanie i redakcję standardowych PII.

Wnioski napędzające zaległość nie są skomplikowanymi pytaniami prawnymi wymagającymi oceny prawnika. To wnioski obciążone dokumentami, w których 80% pracy polega na przeszukiwaniu tysięcy stron w poszukiwaniu imion, adresów i numerów telefonów — pracy, którą algorytm wykonuje w kilka sekund.

Co dostrzegły ARPA-H i HHS

ARPA-H (Agencja Zaawansowanych Projektów Badawczych w Dziedzinie Zdrowia) ogłosiła przetarg na oprogramowanie do redakcji AI zaprojektowane specjalnie do przetwarzania dokumentów FOIA. Wymagania:

  • Automatyczna identyfikacja i redakcja PII zgodnie z FOIA Wyjątek 6 i 7(C)
  • Przetwarzanie wsadowe dużych zestawów dokumentów
  • Wsparcie dla różnych formatów (PDF, Word, formaty e-mail)
  • Dokumentacja ścieżki audytu
  • Obronne wyniki odpowiednie do odpowiedzi na FOIA

HHS/CMS udokumentowało podobne wymagania w swojej przeglądzie operacyjnym, zauważając, że połączenie rosnącej liczby wniosków i statycznego personelu czyni ręczne przetwarzanie matematycznie nieopłacalnym.

To nie są agencje dążące do nowoczesnej AI dla samej idei. To agencje, które stają w obliczu kryzysu zgodności ustawowej i uznają, że rozwiązanie wymaga automatyzacji.

Rząd stanowy i lokalny: Problem niedostatecznego wsparcia

Wyzwanie FOIA rządu federalnego jest duże, ale zasobne — agencje mają dedykowane biura FOIA, budżet na przegląd prawny i ustalone przepływy pracy. Rządy stanowe i lokalne stają w obliczu tych samych obowiązków ustawowych z ułamkiem zasobów.

Kalifornijska CPRA (Kalifornijska Ustawa o Publicznych Rejestrach) wymaga odpowiedzi w ciągu 10 dni kalendarzowych. Powiat z 3-osobowym zespołem prawnym nie może wchłonąć wniosku o dokumenty liczący 2000 dokumentów w tym czasie poprzez ręczny przegląd. Wybory są następujące:

  1. Odrzucić lub opóźnić (tworząc ryzyko prawne)
  2. Zatrudnić tymczasowy personel prawny do dużych wniosków (drogo, wolno w onboardingu)
  3. Zautomatyzować fazę mechaniczną redakcji

Opcja 3 jest teraz wykonalna. Ta sama zdolność przetwarzania wsadowego dostępna dla agencji federalnych jest dostępna dla wydziałów prawnych powiatów bez czasów zakupu na poziomie przedsiębiorstwa.

DSAR w państwie członkowskim UE: Ten sam problem, inna jurysdykcja

Wnioski o dostęp do danych na podstawie artykułu 15 RODO (DSAR) stwarzają równoległe wyzwanie dla organizacji w UE. W przeciwieństwie do FOIA (specyficznego dla rządu), obowiązki DSAR dotyczą wszystkich organizacji przetwarzających dane osobowe. Firma SaaS o rocznych przychodach 10 milionów euro może otrzymać tę samą liczbę DSAR, co duże przedsiębiorstwo, mając mniej zasobów do odpowiedzi.

Praktyczne wyzwanie DSAR odzwierciedla FOIA: wyprodukować wszystkie dane dotyczące konkretnej osoby, z redakcją PII osób trzecich w odpowiedzi, w ciągu 30 dni. Każdy DSAR dotyczący archiwów e-mailowych, zgłoszeń wsparcia i zapisów zamówień może wymagać przeglądania setek dokumentów w celu redakcji osób trzecich.

Dla organizacji otrzymujących 20-50 DSAR miesięcznie — poziom, który wymaga jednego lub więcej FTE dedykowanych do odpowiedzi na DSAR przy obecnych stawkach przetwarzania ręcznego — automatyzacja wsadowa redukuje to do pracy w niepełnym wymiarze godzin.

Aplikacja desktopowa: Offline przetwarzanie rządowe

Agencje rządowe zajmujące się klasyfikowanymi lub wrażliwymi dokumentami napotykają ograniczenie, którego narzędzia oparte na sieci nie mogą rozwiązać: dane, które nie mogą opuścić infrastruktury agencji.

Aplikacja Desktop (anonym.plus) rozwiązuje to bezpośrednio:

  • Wszystkie przetwarzanie odbywa się lokalnie na sprzęcie agencji
  • Żadne dane nie są przesyłane do zewnętrznych serwerów
  • Przetwarzanie wsadowe od 1 do 5000 plików na uruchomienie
  • Wsparcie dla różnych formatów: PDF, DOCX, XLSX, TXT, CSV, JSON, XML
  • Pakowanie ZIP przetworzonych plików
  • Eksport CSV/JSON z metadanymi przetwarzania dla każdego pliku

Dla agencji z sieciami powietrznymi lub surowymi wymaganiami dotyczącymi miejsca przechowywania danych, lokalne przetwarzanie nie jest opcjonalne — to jedyne wykonalne podejście. Aplikacja Desktop zapewnia tę samą dokładność wykrywania (XLM-RoBERTa, 285+ typów jednostek) w środowisku offline.

Rozważania dotyczące wdrożenia w kontekście rządowym

Wymagania dotyczące ścieżki audytu: Przepływy pracy redakcji rządowej wymagają dokumentacji tego, co zostało zredagowane, na jakiej podstawie, przez kogo i kiedy. Metadane przetwarzania z operacji wsadowych dostarczają pierwsze dwa elementy. Przekierowywanie przez przepływy pracy przeglądowej (przegląd wyjątków przez pracowników agencji) dostarcza ostatnie dwa.

Spójność w zestawach dokumentów: Odpowiedzi FOIA, które redagują imię w niektórych dokumentach, ale nie w innych, stwarzają ryzyko prawne. Automatyczne przetwarzanie z konsekwentną konfiguracją eliminuje niespójności wprowadzane przez różnych recenzentów stosujących różne oceny.

Obsługa wrażliwych, ale nieklasyfikowanych (SBU) materiałów: Wiele dokumentów rządowych jest SBU, a nie klasyfikowanych. Lokalne przetwarzanie obsługuje materiały SBU bez przesyłania przez sieć. Przetwarzanie oparte na sieci na serwerach hostowanych w UE z odpowiednimi umowami DPA obsługuje materiały nie-SBU.

Format redakcji dopuszczalny w sądzie: Metoda Redact (wymiana czarnej linii) odpowiada fizycznemu wyglądowi tradycyjnych redakcji FOIA i jest odpowiednia do produkcji dopuszczalnej w sądzie. Podejście z tokenem wymiany ([ZREDAGOWANO - Wyjątek 6]) z wyraźnym cytatem wyjątku zapewnia bardziej szczegółową dokumentację.

Podsumowanie

FOIA jest wymogiem ustawowym. Termin odpowiedzi 20 dni roboczych nie jest aspiracyjny — brak zgodności stwarza ryzyko prawne i interwencję DPA/sądu. Gdy liczba wniosków przekracza zdolność ręcznego przetwarzania, następują systematyczne awarie.

Redakcja wsadowa wspomagana AI nie zastępuje oceny prawnej agencji. Eliminuje fazę mechaniczną — identyfikowanie i usuwanie standardowego PII w dziesiątkach tysięcy dokumentów — która pochłania 70-80% czasu przeglądu. Personel prawny agencji koncentruje się na 10-20% dokumentów wyjątkowych, gdzie kontekst ma znaczenie.

ARPA-H to dostrzegła. HHS/CMS to dostrzegło. Agencje z największymi zaległościami zmierzają w kierunku automatyzacji. Dla rządów stanowych i lokalnych oraz organizacji UE stających w obliczu obowiązków DSAR, to samo rozwiązanie ma zastosowanie.

Źródła:

Gotowy, aby chronić swoje dane?

Rozpocznij anonimizację PII z 285+ typami podmiotów w 48 językach.