不適切な赤actionの二重責任
法務チームは、二つの異なる赤action失敗モードに直面しており、どちらも責任を生じさせます。
過小赤actionは、特権のあるコンテンツ、機密ビジネス情報、または保持すべき個人データを露出させます。製造当事者は、保護する権利 — そして場合によっては義務 — があった資料を開示してしまいました。
過剰赤actionは、対立する弁護士が受け取る権利のある応答情報を withholdingします。製造当事者は、発見プロセスを妨害し、不当な特権の主張の背後に証拠を隠している可能性があります。裁判所は、過剰赤actionを制裁の対象となる発見違反として扱います。
精度よりもリコールを優先するAI支援の赤actionツールは、潜在的な敏感なコンテンツを最大限にフラグ付けすることで、体系的に二番目の失敗モードを生み出します。AI赤actionエンジンが文書の内容の80%を赤actionして特権のあるものを見逃さないようにすると、結果として得られる製品は機能的に無用であり、制裁の対象となる可能性があります。
Athletics Investment Group対Schnitzer Steel（2024）
2024年のAthletics Investment Group対Schnitzer Steelのケースは、E-ディスカバリーにおける不適切な赤actionに対する司法の反応を示しています。
このケースは、商業的な争いに関するもので、一方の当事者の文書製造には、対立する弁護士が不当であると挑戦した赤actionが含まれていました。裁判所は赤actionされた資料を検討し、赤actionが特権法または機密性の教義が許可する範囲を超えていることを発見しました。
その結果: 発見制裁。裁判所は、不適切な赤actionに対して製造当事者に罰金を科しました — これは発見違反に対する連邦民事訴訟規則37の下で利用可能な救済措置です。製造当事者は、不十分な赤actionプロセスを使用した責任を負いました。
このケースは、過剰赤actionの制裁が新しいものではないから重要なのではありません — 裁判所は何年も前からそれを認めてきました — しかし、AI支援のレビューツールが一般的になった訴訟環境で発生したから重要です。このケースが提起する疑問は、法務チームが製造のために依存する前に、AI赤actionツールの精度特性を評価したかどうかです。
22.7%の精度問題
Microsoftによって開発され、法的技術アプリケーションで広く使用されているオープンソースのPII検出エンジンPresidioは、独立したベンチマークで法的文書に対して22.7%の精度率を達成しています。
精度は、ツールのポジティブな特定がどれだけ正確であるかを測定します。22.7%の精度率は、ツールによって敏感としてフラグ付けされた100項目のうち約77項目が実際にはフラグ付けされた感度の閾値を満たしていないことを意味します。
E-ディスカバリーアプリケーションにとって、これは直接的な運用上の影響があります。22.7%の精度を達成するツールで処理された10,000文書の製造セットには、正当な特権または機密性の根拠がない数千の赤actionが含まれます。その出力に依存する製造当事者は、Athletics Investment Groupの当事者と同じリスクに直面します: 対立する弁護士が挑戦する製造、裁判所が赤actionされた内容を検討し、赤actionが正当化できない場合は制裁が科されます。
22.7%の数字は、法的コンテンツにおけるPresidioの標準設定を反映しています。これはすべてのAI支援の赤actionツールを代表するものではありませんが、法的技術統合で最も一般的に展開されているオープンソースエンジンのベースラインパフォーマンスを示しています。
精度の問題は構造的です: 一般的なテキストコーパスで訓練されたNLPベースのエンティティ認識システムは、法的言語で異なるパフォーマンスを示します。法的言語は、訓練データとは異なる専門用語、略語、文書フォーマットの慣習、引用構造を使用します。医療記録や財務諸表に対して受け入れ可能な精度を達成するツールは、供述書のトランスクリプト、通信、契約の付属書においては大幅に悪化する可能性があります。
AIチャットボットコンテンツ分析が明らかにすること
法的実務におけるAIツールの採用の文脈は、使用データによって確立されます: AIチャットボットコンテンツの27.4%が敏感です、企業のAIツール使用パターンの独立した分析によると。
この数字は、従業員が作業タスクのためにAIツールを使用する際に何を提出するかを示しています — 意図的に共有されたデータではなく、偶然に敏感なコンテンツが含まれています。法的専門家がAIツールを使用して通信を作成したり、供述を要約したり、契約を分析したり、判例法を調査したりする場合、敏感なコンテンツは通常の作業の副産物としてAIプラットフォームに入ります。
27.4%の数字は、法的環境におけるAIツールとのインタラクションのほぼ3分の1が敏感なコンテンツ — クライアント情報、特権のあるコミュニケーション、機密のケース戦略、または対立する当事者のデータ — を含むことを示しています。そのコンテンツは、技術的な制御が最初にそれを阻止しない限り、AIプロバイダーのインフラストラクチャに使用可能な形で到達します。
AIのセキュリティ姿勢を評価する法律事務所にとって、27.4%は限界的なリスクではありません。それは基本的な仮定です: 法的環境におけるAIツールの使用のほぼ3分の1は、保護を必要とするコンテンツを含むでしょう。
連鎖する責任のチェーン
過剰赤actionとAIツールデータの露出は、法務チームに対して異なるが関連する責任のチェーンを生み出します。
過剰赤action責任のチェーン: AIツールが文書を最大限にフラグ付け → 弁護士が各赤actionを個別に検討せずに出力をレビュー → 不当な赤actionで提出された製造 → 対立する弁護士が挑戦 → 裁判所が検討 → 制裁。
AI露出責任のチェーン: 弁護士がケース作業を支援するためにAIツールを使用 → AIツールが特権のあるクライアントコミュニケーション、機密戦略、または敏感なケースデータを受け取る → AIベンダーのインフラストラクチャが侵害される → クライアントデータが露出する → 弁護士-クライアント特権が潜在的に影響を受ける → 医療過誤のリスク。
両方のチェーンは、法務チームがAIツールを展開する際に、そのツールの技術的特性を理解せず、法的作業に適した制御を実施しないことから始まります。
法的製造のための精度優先赤action
赤actionのための司法基準は、リコール最適化されていません。挑戦された赤actionを評価する裁判所は、各特定の赤actionが特権、機密性の教義、または適用可能な保護命令によって正当化されているかどうかを尋ねます — 製造当事者のツールが安全のためにできるだけ多くをフラグ付けしたかどうかではありません。
正当化できない赤actionは、ヒューマンレビューアによって生成されたものであれ、AIツールによって生成されたものであれ、発見違反です。裁判所の調査は文書固有であり、システムレベルではありません。
法務チームにとって、運用上の意味は、赤actionツールは精度 — フラグ付けされた項目のうち正当に特権または機密であるものの割合 — で評価されなければならないということです。リコールが90%で精度が22.7%のツールは、より多くの敏感なコンテンツをキャッチするかもしれませんが、77.3%の偽陽性に対する手動レビューの負担を課し、そのレビューが行われない場合には体系的な過剰赤actionリスクを生み出します。
法的環境は文書レベルでの精度を要求します。製造における各赤actionは、赤actionされたコンテンツが正当に保持されているという暗黙の主張を裁判所に示します。Athletics Investment Group以降の基準は明確です: その主張は正確である必要があります。
出典: