目に見えないコンプライアンス税
PII検出ツールは通常、リコールで評価されます — ツールが実際のPIIをどの程度キャッチしたか？しかし、精度 — ツールの検出のうち実際のPIIである割合 — はツール使用の運用コストを決定します。
リコールが95%で精度が22.7%のシステムは、95%の実際のPIIをキャッチしますが、検出された実際のPIIエンティティごとに3.4の偽陽性をフラグします。10,000の実際のPIIエンティティを含むデータセットでは、このシステムは10,000 / 0.227 ≈ 44,000の総検出を生成し、そのうち34,000は手動レビューを必要とする偽陽性です。
これが「偽陽性税」です：高リコール、低精度のPII検出システムを生産規模で使用しようとする組織に課せられる運用のオーバーヘッドです。偽陽性税には直接コスト — 手動レビュー時間 — と間接コストがあります：過剰に赤字の文書は関連情報を隠し、ワークフローを遅くし、自動化システムへの信頼を低下させます。
Presidio Issue #1071が文書化していること
Microsoft Presidio GitHubのディスカッション #1071 (2024) は、特定の体系的な偽陽性パターンを文書化しています。チェックサム検証を持つTFN（税ファイル番号）およびPCI認識器は、チェックサムアルゴリズムを通過する非PII番号に対して1.0 — 最大の信頼度 — のスコアを生成します。
設計上の問題：コンテキスト単語のチェック（「税ファイル番号」や「TFN」などの単語が検出されたエンティティの近くに出現することを確認する）は、チェックサムステップの後に適用されます。チェックサムを通過した番号は、コンテキストに関係なく1.0のスコアを得ます。数値データを含む文書 — 財務スプレッドシート、科学データセット、ログファイル — では、スコアの閾値だけではフィルタリングできない偽陽性の洪水を生み出します。
Presidioコミュニティからの別のパターン（GitHub issue #999）：ドイツ語の単語分割は名前と場所のエンティティに対して偽陽性を生み出します。「Bundesbehörde」（連邦当局）や一般的なドイツ語の用語のようなドイツ語の複合語は、誤って分割され、個人名として検出されることがあります。
22.7%の精度問題
Alvaro et al. (2024) は、混合言語の企業データセットに対するPresidioのデフォルト設定を評価し、22.7%の精度を見出しました — つまり、実際の企業文書では、Presidioの検出の4分の1未満が実際のPIIに対応しています。この数字は実務者の現場経験と一致しています：リコールに調整されたPresidioは、生産において使用できないノイズを生成します。
2024年の研究では、DICOM医療画像メタデータを調査し、score_threshold=0.7でも、39のDICOM画像のうち38が依然として偽陽性エンティティを持っていることがわかりました。1つの文書タイプの偽陽性を排除する閾値は、別の文書タイプに対して偽陰性を生み出します。
精度の問題はPresidioに特有のものではありません — さまざまな文書タイプ、言語、データ形式にわたって高い精度を達成する高リコールのPII検出器を構築することの固有の難しさを反映しています。課題は、任意の固定閾値がトレードオフを表すことです：高い閾値は偽陽性を減少させますが、偽陰性を増加させます；低い閾値はリコールを増加させますが、偽陽性を膨らませます。
コンテキスト対応の解決策
閾値調整の代替は、コンテキスト対応の信頼度スコアリングです。エンティティパターンマッチに基づいて信頼度を割り当てるのではなく、コンテキスト単語がマッチの近くに出現すると信頼度が高まり、コンテキストが欠如している場合は偽陽性が抑制されます。
TFN検出の場合：「税ファイル番号」、「TFN」、または「オーストラリアの税」が設定可能なウィンドウ内に出現するとスコアがブーストされます。近くにコンテキスト単語がない状態でTFNチェックサムを通過した番号は、レビュー閾値を下回る低い信頼度スコアを受け取ります。
クロスリンガルの偽陽性の場合：特定の言語（ドイツの財政ID、フランスのNIR、オーストラリアのTFN）に特有のエンティティタイプは、その言語として検出された文書にスコープを設定できます。英語とオーストラリア英語の文書にのみ適用されるTFN検出器は、同じ検出器がドイツの文書で実行されるときに発生する体系的な偽陽性を排除します。
ハイブリッド検出の第3層 — トランスフォーマーベースのコンテキストモデル — は、別のレイヤーを追加します：モデルは、真の個人名（「ジョン・スミス、患者ID 12345」）と偽陽性（名前パターンに一致する製品識別子）を区別するために、周囲の完全なコンテキストを評価します。
出典: