Das 50-%-Fehler-Problem
Eine Studie aus dem Jahr 2025 (arXiv:2509.14464) testete LLM-Tools an klinischen Unterlagen. Die Ergebnisse waren schlecht. Diese Tools verpassten mehr als 50 % der klinischen PHI in mehrsprachigen Dokumenten. Die Ursache ist klar. LLMs sind für die Textausgabe gebaut. Sie sind nicht für die Erkennung mit hoher Trefferquote ausgelegt, die HIPAA verlangt.
HIPAA Safe Harbor listet 18 geschützte Kennzeichnertypen auf. Namen, Datumsangaben, Telefonnummern, Sozialversicherungsnummern, MRNs, Krankenversicherungs-IDs, Geräte-IDs und IP-Adressen. Jeder braucht eigene Erkennungslogik.
Klinische Notizen machen das schwerer. Ein Beispiel: „Pt. John D., DOB 4/12/67, MRN 1234567, aufgenommen 03/15/24, Dr. Smith ordnete EKG an." Ein Satz. Fünf geschützte Kennzeichner. Die meisten nutzen Kurzformen. Ein Modell für klinische Bedeutung scheitert oft an der Erkennungsaufgabe.
Was LLMs verpassen und warum
LLM-Tools scheitern an klinischen Unterlagen auf vorhersehbare Weise.
Kurzform-Kennzeichner: Klinische Notizen nutzen Kürzel. DOB, MRN und Pt. sind gängige Formen. Ein Modell für klinische Bedeutung erkennt „Pt. John D." vielleicht nicht als Namen. Sensible Daten brauchen ein anderes Ziel.
Kontextabhängige Datumsangaben: Nicht alle Datumsangaben sind gleich riskant. „Alter 67" ist ein weicher Marker. „DOB 4/12/67" ist ein direkter geschützter Kennzeichner. „03/15/24" als Aufnahmedatum ist ebenfalls geschützt. Mustererkennung allein reicht nicht.
Nicht-US-Formate: Cyberhaven (Q4 2025) stellte fest, dass 34,8 % aller ChatGPT-Eingaben sensible Daten einschließlich mehrsprachiger PII enthalten. Im Gesundheitswesen bedeutet das nicht-US-Patientenakten-IDs, regionale Datumsformate und lokale Gesundheits-ID-Typen. US-trainierte Tools übersehen diese konsequent.
Individuelle Krankenhaus-Kennzeichner: Krankenhäuser nutzen eigene MRN-Formate, Mitarbeiter-IDs und Standortcodes. Diese sind nicht in Standard-NER-Trainingsdaten enthalten. Ein Tool ohne benutzerdefinierte Entitätsunterstützung wird sie nicht finden.
Das Risiko bei Forschungsdaten
Ein Krankenhaus, das einen Forschungsdatensatz aus 500.000 Notizen erstellt, hat ein echtes Compliance-Problem. HIPAA verlangt einen „sehr geringen Risiko"-Standard für anonymisierte Daten. Ein Tool, das die Hälfte aller geschützten Kennzeichner verpasst, kann diesen Standard nicht erfüllen.
Forschungsarchive sind keine sauberen Daten. Notizen umspannen viele Abteilungen, Zeiträume und manchmal Sprachen. Ein Tool, das bei Abrechnungsdaten funktioniert, kann bei Freitextnotizen scheitern. Sensible Daten in Freitext haben kein Feldlabel.
Die IRB-Genehmigung stellt weitere Anforderungen. Einrichtungen müssen die verwendete Methode, die entfernten Kennzeichnertypen und die durchgeführten Prüfungen nachweisen. Ein Tool, das die Hälfte aller Datensätze verpasst, kann diese Anforderungen nicht erfüllen.
Unsere Compliance-Übersicht und Sicherheitspraktiken zeigen, wie anonym.legal HIPAA-Workflows unterstützt.
Die Drei-Schichten-Lösung
Die Studie aus 2025 fand ein klares Muster. Die Tools mit den niedrigsten Fehlerraten nutzten drei Erkennungsschichten.
Schicht eins — Regex: Findet strukturierte Kennzeichner. Sozialversicherungsnummern, MRNs, Telefonnummern, Krankenversicherungs-IDs. Zuverlässig bei festen Formaten.
Schicht zwei — NER: Nutzt Transformer-Modelle. Findet Namen, Datumsangaben und sensible Daten in Freitext. Funktioniert dort, wo Regex scheitert.
Schicht drei — benutzerdefinierte Entitäten: Verarbeitet standortspezifische Formen. Eigene MRN-Muster, Mitarbeiter-IDs, Standortcodes. Kein Standardmodell deckt diese ab.
Reine ML-Tools verschlechtern sich bei Kurzformen und nicht-englischem Text. Reine Regex-Tools verpassen sensible Daten ohne Feldlabel. Keines allein reicht.
Nur das Drei-Schichten-Design erreichte in der Studie Fehlerraten unter 5 %. Das ist die Schwelle für HIPAA Safe Harbor-Konformität.
Unser Leitfaden zur HIPAA Safe Harbor-Anonymisierung für die Forschung beschreibt die nächsten Schritte.