Die Nuwe Regters-Standaard
In 2024 het rechters die "Black Marker Test" vervang deur die "Confidence Score" test.
Die ou standaard: Kan 'n menslike beoordelaar die redigering as poging tot versteking identifiseer?
Die nuwe standaard: Watter algoritmiese toevertroue-telling het die redaksie-motors gehad?
Baanbrekende Saak: United States v. Martinez (Federal District Court, N.D. California, 2024)
Martinez het verskeie dossiere redigeer met verskillende hulpmiddels:
- Hulpmiddel A: Toevertroue-telling van 94% PII-opvoering
- Hulpmiddel B: Toevertroue-telling van 67% PII-opvoering
- Hulpmiddel C: Handmatige redigering (geen telling)
Die hof het bevind:
"Dokumente redigeer met toevertroue-tellings buite 85% is onderhewig aan objeksiewe ondersoek voordat vrylating. Dokumente onder 75% mag nie vrygestel word sonder menslike beoordeling."
Hoe Toevertroue-Tellings Werk
Presisie vs. Terugroeping vs. Toevertroue
Redigerings-motors rapporteer drie metrieken:
| Metriek | Definisie | Regtelike Opvatting |
|---|---|---|
| Presisie | Van die opvoerings wat die motor maak, hoeveel is korrekt? | "Valse-positiewe—Oor-redigering" |
| Terugroeping | Van alle PII in die dokument, hoeveel het die motor opgespoor? | "Valse-negatiefe—Gemiste PII" |
| Toevertroue | Hoe seker is die motor van elke individuele opvoering? | "Beveiligings-marge" |
Een dokument kan 92% presisie en 88% terugroeping hê, maar 'n laer toevertroue-telling beteken dat sommige opvoerings "onseker" was.
Die Beveiligings-Marge
Regters verwag nou 'n "beveiligings-marge":
- > 90% toevertroue: Geen verdere beoordeling nodig
- 85-90% toevertroue: Stekproefbeoordeling van 5% van dokumente
- 75-85% toevertroue: Stekproefbeoordeling van 20% van dokumente
- < 75% toevertroue: Volledige menslike beoordeling VERPLIG