부적절한 레드액션의 이중 책임
법률 팀은 두 가지 뚜렷한 레드액션 실패 모드에 직면하며, 두 가지 모두 책임을 초래합니다.
부족한 레드액션은 특권이 있는 내용, 기밀 비즈니스 정보 또는 보류해야 할 개인 데이터를 노출합니다. 생산 당사자는 보호할 권리가 있었던 자료를 공개했습니다 — 그리고 경우에 따라 의무가 있었습니다.
과도한 레드액션은 상대방 변호사가 받을 권리가 있는 응답 정보를 withholding합니다. 생산 당사자는 발견 프로세스를 방해했으며, 불법적인 특권 주장 뒤에 증거를 숨길 수 있습니다. 법원은 과도한 레드액션을 제재 대상인 발견 위반으로 간주합니다.
정확성보다 회수를 우선시하는 AI 지원 레드액션 도구는 — 최대한 민감한 내용을 표시하여 — 두 번째 실패 모드를 체계적으로 생성합니다. AI 레드액션 엔진이 특권이 있는 내용을 놓치지 않기 위해 문서의 80%를 레드액션하면, 결과적으로 생산물은 기능적으로 무용지물이 되며 제재를 받을 수 있습니다.
Athletics Investment Group v. Schnitzer Steel (2024)
2024년의 Athletics Investment Group v. Schnitzer Steel 사건은 e-디스커버리에서 부적절한 레드액션에 대한 사법적 반응을 보여줍니다.
이 사건은 한 당사자의 문서 생산에 포함된 레드액션이 상대방 변호사에 의해 정당하지 않다고 도전받은 상업적 분쟁을 포함했습니다. 법원은 레드액션된 자료를 검토하고 레드액션이 특권 법이나 기밀성 원칙이 허용하는 것을 초과했다고 판단했습니다.
결과: 발견 제재. 법원은 부적절한 레드액션에 대해 생산 당사자에게 벌금을 부과했습니다 — 이는 발견 위반에 대한 연방 민사 소송 규칙 37에 따라 제공되는 구제책입니다. 생산 당사자는 부적절한 레드액션 프로세스를 사용한 부담을 지게 되었습니다.
이 사건은 과도한 레드액션 제재가 새로운 것이 아니기 때문에 중요하지 않습니다 — 법원은 수년간 이를 부여해왔습니다 — 그러나 AI 지원 검토 도구가 이제 일반적이 된 소송 환경에서 발생했기 때문에 중요합니다. 이 사건이 제기하는 질문은 법률 팀이 생산을 위해 의존하기 전에 AI 레드액션 도구의 정확성 특성을 평가했는지 여부입니다.
22.7% 정확성 문제
Microsoft가 개발한 오픈 소스 PII 탐지 엔진인 Presidio는 독립적인 벤치마킹에서 법적 문서에 대해 22.7%의 정확도를 달성합니다.
정확성은 도구의 긍정적 식별이 얼마나 자주 올바른지를 측정합니다. 22.7%의 정확도는 도구가 민감한 것으로 표시한 100개 항목 중 약 77개가 실제로는 민감성 기준을 충족하지 않는다는 것을 의미합니다.
e-디스커버리 애플리케이션의 경우, 이는 직접적인 운영적 결과를 초래합니다. 22.7%의 정확도를 달성하는 도구로 처리된 10,000개의 문서 생산 세트는 정당한 특권이나 기밀성 근거가 없는 수천 개의 레드액션을 포함하게 됩니다. 해당 출력을 신뢰하는 생산 당사자는 Athletics Investment Group의 당사자와 동일한 노출에 직면하게 됩니다: 상대방 변호사가 도전할 생산물, 법원이 레드액션된 내용을 검토할 것, 그리고 레드액션이 정당화되지 않으면 제재를 받을 수 있습니다.
22.7% 수치는 법적 콘텐츠에 대한 Presidio의 기본 구성에서 반영됩니다. 이는 모든 AI 지원 레드액션 도구를 대표하지 않지만, 법적 기술 통합에서 가장 일반적으로 배포되는 오픈 소스 엔진의 기본 성능을 나타냅니다.
정확성 문제는 구조적입니다: 일반 텍스트 코퍼스를 기반으로 훈련된 NLP 기반 엔터티 인식 시스템은 법적 언어에서 다르게 작동합니다. 법적 언어는 예술 용어, 약어, 문서 형식 규칙 및 훈련 데이터와 다른 인용 구조를 사용합니다. 의료 기록이나 재무 제표에서 허용 가능한 정확성을 달성하는 도구는 증언 기록, 서신 및 계약 부록에서 상당히 더 나쁜 성능을 보일 수 있습니다.
AI 챗봇 콘텐츠 분석이 드러내는 것
법률 실무에서 AI 도구 채택의 맥락은 사용 데이터에 의해 설정됩니다: AI 챗봇 콘텐츠의 27.4%가 민감합니다, 기업 AI 도구 사용 패턴에 대한 독립적인 분석에 따르면.
이 수치는 직원들이 작업 과제로 AI 도구를 사용할 때 제출하는 내용을 설명합니다 — 그들이 의도적으로 공유한 데이터가 아니라, 우연히 포함된 민감한 콘텐츠입니다. 서신 초안 작성, 증언 요약, 계약 분석 또는 사례법 연구를 위해 AI 도구를 사용하는 법률 전문가에게 민감한 콘텐츠는 정상적인 작업의 부산물로 AI 플랫폼에 들어옵니다.
27.4% 수치는 법적 환경에서 AI 도구와의 상호작용 중 거의 3분의 1이 민감한 콘텐츠 — 클라이언트 정보, 특권 커뮤니케이션, 기밀 사례 전략 또는 상대방 데이터 — 를 포함한다는 것을 나타냅니다. 해당 콘텐츠는 기술적 제어가 먼저 차단하지 않는 한 AI 제공자의 인프라에 사용 가능한 형태로 도달합니다.
AI 보안 태세를 평가하는 법률 사무소에게 27.4%는 미미한 위험이 아닙니다. 이는 기본 가정입니다: 법적 환경에서 AI 도구 사용의 거의 3분의 1이 보호가 필요한 콘텐츠를 포함할 것입니다.
연쇄적인 책임 체인
과도한 레드액션과 AI 도구 데이터 노출은 법률 팀을 위한 뚜렷하지만 관련된 책임 체인을 생성합니다.
과도한 레드액션 책임 체인: AI 도구가 문서를 최대한 표시 → 변호사가 각 레드액션을 개별적으로 검토하지 않고 출력을 검토 → 정당하지 않은 레드액션이 포함된 생산물 제출 → 상대방 변호사가 도전 → 법원이 검토 → 제재.
AI 노출 책임 체인: 변호사가 사건 작업을 지원하기 위해 AI 도구를 사용 → AI 도구가 특권 클라이언트 커뮤니케이션, 기밀 전략 또는 민감한 사건 데이터를 수신 → AI 공급업체 인프라가 침해됨 → 클라이언트 데이터가 노출됨 → 변호사-클라이언트 특권이 잠재적으로 영향을 받음 → 의료 과실 노출.
두 체인은 동일한 지점에서 시작됩니다: 법률 팀이 해당 도구의 기술적 특성을 이해하지 않거나 법적 작업에 적합한 제어를 구현하지 않고 AI 도구를 배포하는 것입니다.
법적 생산을 위한 정확성 우선 레드액션
레드액션에 대한 사법 기준은 회수 최적화가 아닙니다. 도전받는 레드액션을 평가하는 법원은 각 특정 레드액션이 특권, 기밀성 원칙 또는 적용 가능한 보호 명령에 의해 정당화되었는지를 묻습니다 — 생산 당사자의 도구가 안전하게 하기 위해 가능한 한 많이 표시했는지 여부가 아닙니다.
정당화할 수 없는 레드액션은 인간 검토자 또는 AI 도구에 의해 생산되었는지 여부에 관계없이 발견 위반입니다. 법원의 조사는 시스템 수준이 아니라 문서 특정입니다.
법률 팀에 대한 운영적 의미는 레드액션 도구가 정확성 — 정당하게 특권이 있거나 기밀인 항목의 비율 — 에 따라 평가되어야 하며, 단순히 회수만으로는 안 된다는 것입니다. 90% 회수를 달성하면서 22.7%의 정확성을 가진 도구는 더 많은 민감한 콘텐츠를 포착할 수 있지만, 77.3%의 잘못된 긍정에 대한 수동 검토 부담을 부과하고 그 검토가 발생하지 않을 때 체계적인 과도한 레드액션 위험을 생성합니다.
법적 환경은 문서 수준에서의 정확성을 요구합니다. 생산물의 각 레드액션은 법원에 대해 레드액션된 콘텐츠가 정당하게 보류되었다는 암묵적인 주장을 나타냅니다. Athletics Investment Group 이후의 기준은 명확합니다: 그 주장은 정확해야 합니다.
출처: