Двойная ответственность за неправильное редактирование
Юридические команды сталкиваются с двумя различными режимами неудачи редактирования, и оба создают ответственность.
Недостаточное редактирование раскрывает привилегированный контент, конфиденциальную бизнес-информацию или личные данные, которые должны были быть скрыты. Производящая сторона раскрыла материал, который она имела право — и в некоторых случаях обязательство — защищать.
Чрезмерное редактирование удерживает ответную информацию, которую противоположная сторона имеет право получить. Производящая сторона препятствовала процессу открытия, потенциально скрывая доказательства под незаконными претензиями о привилегии. Суд рассматривает чрезмерное редактирование как нарушение открытия, подлежащее санкциям.
Инструменты редактирования с поддержкой ИИ, которые отдают приоритет отзывам над точностью — максимально отмечая потенциально чувствительный контент — систематически производят второй режим неудачи. Когда движок редактирования ИИ редактирует 80% содержания документа, чтобы гарантировать, что не пропустит ничего привилегированного, полученная продукция оказывается функционально бесполезной и потенциально подлежащей санкциям.
Athletics Investment Group против Schnitzer Steel (2024)
Дело 2024 года Athletics Investment Group против Schnitzer Steel иллюстрирует судебный ответ на неправильное редактирование в электронном открытии.
Дело касалось коммерческого спора, в котором производство документов одной стороны включало редактирования, которые противоположная сторона оспаривала как необоснованные. Суд рассмотрел отредактированные материалы и обнаружил, что редактирования превышали то, что разрешало законодательство о привилегии или доктрины конфиденциальности.
Следствие: санкции за открытие. Суд наложил штрафы на производящую сторону за неправильные редактирования — средство, доступное в соответствии с Федеральным правилом гражданского судопроизводства 37 за нарушения открытия. Производящая сторона несла бремя использования неадекватного процесса редактирования.
Это дело имеет значение не потому, что санкции за чрезмерное редактирование новы — суды присуждали их на протяжении многих лет — а потому, что оно произошло в судебной среде, где инструменты с поддержкой ИИ теперь распространены. Вопрос, который поднимает это дело, заключается в том, оценили ли юридические команды характеристики точности своих инструментов редактирования ИИ, прежде чем полагаться на них для производства.
Проблема 22,7% точности
Presidio, движок обнаружения PII с открытым исходным кодом, разработанный Microsoft и широко используемый в юридических технологических приложениях, достигает 22,7% уровня точности в юридических документах в независимом бенчмаркинге.
Точность измеряет, как часто положительные идентификации инструмента являются правильными. Уровень точности 22,7% означает, что примерно 77 из каждых 100 элементов, отмеченных инструментом как чувствительные, на самом деле не соответствуют порогу чувствительности, по которому они были отмечены.
Для приложения электронного открытия это имеет прямые операционные последствия. Набор продукции из 10,000 документов, обработанных с помощью инструмента, достигающего 22,7% точности, будет содержать тысячи редактирований, которые не имеют законной основы для привилегии или конфиденциальности. Производящая сторона, которая полагается на этот вывод, сталкивается с теми же рисками, что и сторона в Athletics Investment Group: продукция, которую противоположная сторона будет оспаривать, суд, который будет проверять отредактированный контент, и санкции, если редактирования не могут быть обоснованы.
Цифра 22,7% отражает стандартную конфигурацию Presidio для юридического контента. Она не представляет все инструменты редактирования с поддержкой ИИ — но она представляет базовую производительность наиболее распространенного движка с открытым исходным кодом в интеграциях юридических технологий.
Проблема точности является структурной: системы распознавания сущностей на основе NLP, обученные на общих текстовых корпусах, работают иначе на юридическом языке, который использует специальные термины, аббревиатуры, конвенции форматирования документов и структуры цитирования, отличающиеся от обучающих данных. Инструмент, который достигает приемлемой точности на медицинских записях или финансовых отчетах, может работать значительно хуже на стенограммах допросов, корреспонденции и приложениях к контрактам.
Что показывает анализ контента AI-чатботов
Контекст для принятия инструментов ИИ в юридической практике устанавливается данными о использовании: 27,4% контента AI-чатботов является чувствительным, согласно независимому анализу паттернов использования корпоративных инструментов ИИ.
Эта цифра описывает, что сотрудники отправляют в инструменты ИИ, когда используют их для рабочих задач — не данные, которые они намеренно поделились, а случайно включенный чувствительный контент. Для юридических профессионалов, использующих инструменты ИИ для составления корреспонденции, обобщения допросов, анализа контрактов или исследования прецедентного права, чувствительный контент попадает на платформы ИИ как побочный продукт нормальной работы.
Цифра 27,4% устанавливает, что почти три из десяти взаимодействий с инструментами ИИ в юридической среде связаны с чувствительным контентом — информация о клиентах, привилегированные коммуникации, конфиденциальные стратегии дела или данные противоположной стороны. Этот контент достигает инфраструктуры поставщика ИИ в пригодной для использования форме, если только технические средства контроля не перехватят его первыми.
Для юридических фирм, оценивающих свою безопасность ИИ, 27,4% не является маргинальным риском. Это базовое предположение: почти треть использования инструментов ИИ в юридической среде будет включать контент, который требует защиты.
Цепочка каскадной ответственности
Чрезмерное редактирование и утечка данных инструментов ИИ создают различные, но связанные цепочки ответственности для юридических команд.
Цепочка ответственности за чрезмерное редактирование: инструмент ИИ максимально отмечает документы → адвокат просматривает вывод, не проверяя каждое редактирование индивидуально → продукция подается с необоснованными редактированиями → противоположная сторона оспаривает → суд рассматривает → санкции.
Цепочка ответственности за утечку данных ИИ: адвокат использует инструмент ИИ для помощи в работе по делу → инструмент ИИ получает привилегированные клиентские коммуникации, конфиденциальные стратегии или чувствительные данные дела → инфраструктура поставщика ИИ подвергается взлому → данные клиента становятся доступными → привилегия адвокат-клиент потенциально затрагивается → риск профессиональной ответственности.
Обе цепочки начинаются с одной и той же точки: юридические команды внедряют инструменты ИИ, не понимая технических характеристик этих инструментов или не внедряя контролей, соответствующих юридической работе.
Редактирование с приоритетом точности для юридических производств
Судебный стандарт для редактирования не оптимизирован для отзывов. Суд, оценивающий оспариваемые редактирования, спрашивает, было ли каждое конкретное редактирование обосновано привилегией, доктриной конфиденциальности или применимым защитным приказом — а не то, отметило ли средство производящей стороны как можно больше для безопасности.
Редактирование, которое не может быть обосновано, является нарушением открытия, независимо от того, было ли оно произведено человеком или инструментом ИИ. Запрос суда является документ-специфичным, а не системным.
Для юридических команд операционное следствие заключается в том, что инструменты редактирования должны оцениваться по точности — проценту отмеченных элементов, которые являются законно привилегированными или конфиденциальными — а не только по отзывам. Инструмент, который достигает 90% отзывов с 22,7% точности, может поймать больше чувствительного контента, но он накладывает бремя ручного обзора для 77,3% ложных положительных результатов и создает систематический риск чрезмерного редактирования, когда этот обзор не происходит.
Юридическая среда требует точности на уровне документа. Каждое редактирование в продукции представляет собой неявное утверждение суду о том, что отредактированный контент законно скрыт. Стандарт после Athletics Investment Group ясен: это утверждение должно быть точным.
Источники:
- Athletics Investment Group, LLC против Schnitzer Steel Industries, Inc., No. 3:21-cv-05246 (N.D. Cal.) — CourtListener
- E-Discovery LLC: Запрещены редактирования по релевантности — снова (Анализ дела)
- Федеральные правила гражданского судопроизводства Правило 37: Неисполнение обязательств по раскрытию