2026년 업데이트
비식별화가 실패하는 두 가지 방식
법률팀은 두 가지 실패 모드에 직면합니다. 둘 다 실질적인 책임을 만듭니다.
과소 비식별화는 숨겨야 할 특권 데이터나 개인 정보를 노출합니다. 당사자가 보호할 권리 — 종종 의무 — 가 있는 자료를 공개합니다.
과다 비식별화는 상대방 변호인이 볼 권리가 있는 사실을 숨깁니다. 법원은 이를 방해로 간주합니다. 제재 대상이 되는 디스커버리 위반입니다.
재현율보다 정밀도를 선호하는 AI 도구는 설계상 두 번째 문제를 일으킵니다. 문서의 80%를 검게 칠하는 AI 엔진은 아무것도 놓치지 않습니다. 하지만 결과가 쓸모없습니다. 법원 제재도 받을 수 있습니다.
두 실패 모드 모두 같은 곳으로 이어집니다: 판사, 설명, 비용.
Schnitzer Steel 사건 (2024)
2024년 Athletics Investment Group v. Schnitzer Steel 사건은 법원이 부적절한 문서 보류를 어떻게 처리하는지 보여줍니다.
한 당사자가 광범위한 표시로 문서를 제출했습니다. 상대방 변호인이 반발했습니다. 법원이 자료를 살펴봤습니다. 표시가 법이 허용하는 것을 넘었다는 것을 발견했습니다.
결과: 민사소송 연방 규칙 제37조에 따른 제재. 제출한 당사자가 결함 있는 프로세스의 대가를 치렀습니다.
이런 제재는 새로운 것이 아닙니다. 법원은 수년간 사용해왔습니다. 이 사건이 두드러지는 것은 타이밍입니다. AI 지원 검토가 이제 소송에서 일반적입니다. 사건은 핵심 질문을 제기합니다: 법률팀이 실제 사용 전에 AI 도구의 정밀도를 확인했는가?
답변이 중요합니다. 정밀도가 낮은 도구는 너무 많이 플래그합니다. 확인 없이 의존하는 변호사가 위험을 부담합니다.
전체 사건 분석은 E-Discovery LLC의 관련성 기반 보류 분석을 참고하세요.
22.7% 정밀도 문제
Presidio는 Microsoft가 구축한 오픈소스 PII 감지 엔진입니다. 문서 검토 도구에서 널리 사용됩니다. 법원 서류와 계약서 테스트에서 22.7% 정밀도를 기록합니다.
정밀도는 긍정적인 플래그가 얼마나 자주 옳은지 측정합니다. 22.7%에서 100개 플래그 중 약 77개가 거짓 양성입니다. 해당 항목들은 적용 가능한 기준에 따라 민감하지 않습니다.
이 수치는 법원 서류와 계약서에서 Presidio의 기본 설정에 대한 것입니다. 모든 AI 도구가 이 수준에서 작동하는 것은 아닙니다. 하지만 이 엔진이 현장에서 가장 많이 사용되는 오픈소스 옵션입니다.
원인은 구조적입니다. NLP 시스템은 일반 텍스트로 학습됩니다. 법정 언어는 다릅니다. 학습 데이터에서 벗어나는 전문 용어, 인용 형식, 초안 규칙을 사용합니다. 의료 기록에서 잘 작동하는 도구가 증언 녹취록에서 훨씬 나쁠 수 있습니다.
AI 사용 데이터가 보여주는 것
두 번째 데이터 포인트: AI 챗봇 내용의 27.4%가 민감합니다, 기업 AI 사용의 독립적 분석에 따르면.
이것은 직원들이 일반적인 작업 중 보내는 것을 설명합니다. 의도적으로 공유하려던 데이터가 아닙니다 — 습관이나 실수로 포함된 내용입니다. AI를 사용해 서신을 초안하고, 계약을 검토하고, 증언을 요약하는 변호사들은 정상적인 업무의 부작용으로 AI 서버에 민감한 내용을 보냅니다.
거의 10번 중 3번의 AI 상호작용이 보호가 필요한 의뢰인 데이터, 특권 정보, 또는 사건 전략과 관련됩니다. 그 내용이 통제가 먼저 막지 않는 한 사용 가능한 형태로 AI 벤더 서버에 도달합니다.
법무법인의 AI 위험을 확인하는 경우 27.4%는 사소한 문제가 아닙니다. 그것이 기본 비율입니다. 법무법인의 AI 사용 거의 3분의 1이 보호가 필요한 내용과 관련됩니다.
책임 체인
과다 보류와 AI 데이터 유출은 별도이지만 연결된 위험 경로를 만듭니다. 둘 다 같은 결정에서 시작됩니다: 적절한 평가 없이 AI 도구를 배포합니다.
디스커버리 경로: AI가 내용을 광범위하게 플래그 → 변호사가 점검 없이 출력을 신뢰 → 제출에 근거 없는 표시가 있음 → 상대방 변호인이 이의 제기 → 법원이 검토 → 제재.
데이터 유출 경로: 변호사가 사건 업무에 AI 사용 → AI가 특권 커뮤니케이션 받음 → AI 벤더 침해 → 의뢰인 데이터 노출 → 의료 과실 청구.
두 경우 모두 시작점이 동일합니다. 법무법인이 도구가 실제로 무엇을 하는지 알지 못한 채 AI 도구를 배포합니다. 업무를 위한 통제가 설정되지 않습니다.
제출을 위한 정밀도 우선 검토
법원은 분쟁이 된 표시를 검토할 때 좁은 질문을 합니다. 각각이 특권, 기밀 규정, 또는 법원 명령에 의해 뒷받침됐는가? 법원은 제출 당사자의 도구가 가능한 많이 플래그했는지 묻지 않습니다.
적절한 근거 없는 표시는 디스커버리 위반입니다. 인간이 만든 것인지 AI가 만든 것인지 상관없습니다. 조사는 표시별로 이루어집니다.
변호사에게 이것은 AI 검토 도구가 정밀도 — 진정으로 특권 있는 플래그의 비율 — 에서 테스트되어야 함을 의미합니다. 재현율만이 아닙니다. 22.7% 정밀도에서 90% 재현율에 도달하는 도구는 더 많은 민감한 내용을 잡습니다. 하지만 77.3% 거짓 플래그에 대한 검토 부담을 만듭니다. 그 검토가 발생하지 않으면 광범위한 과다 보류가 따릅니다.
제출의 각 표시는 법원에 대한 주장입니다. 이 내용이 정당하게 보류됐다고 말합니다. Schnitzer Steel 이후 그 주장이 유지되어야 합니다.
익명화 도구가 표준 PII 감지와 어떻게 다른지에 대한 자세한 내용은 법적 문서 검토에서 AI 정밀도 가이드를 참고하세요. 특권 로그와 AI 도구에 대한 맥락은 변호사-의뢰인 특권과 AI를 참고하세요.