Безопасность, приватность, авторские права и bias

Риски генеративного ИИ возникают на всём жизненном цикле: в данных, обучении, интерфейсе, интеграциях и использовании результата.

Краткий ответ

Риски генеративного ИИ возникают на всём жизненном цикле: в данных, обучении, интерфейсе, интеграциях и использовании результата. Безопасность нельзя свести к списку запрещённых слов, а правовые выводы зависят от юрисдикции и конкретного способа использования.

Threat model до выбора фильтра

Определите активы: персональные данные, системные инструкции, ключи API, закрытые документы, репутация и возможность выполнить действие. Опишите атакующего, его доступ и последствия. Prompt injection опасна особенно тогда, когда модель видит недоверенный контент и имеет инструменты.

Защита включает разграничение доступа до retrieval, минимальные права инструментов, изоляцию пользовательских областей, валидацию выходов, rate limit, мониторинг и реагирование на инциденты. Отказ модели — только один слой.

Приватность и запоминание

Не отправляйте в модель данные «на всякий случай». Минимизируйте поля, задайте сроки хранения, шифруйте, контролируйте подрядчиков и журнал доступа. Для высокочувствительных данных оцените, где выполняется inference и используются ли запросы для обучения.

Работа Carlini и соавторов показала возможность извлекать из языковой модели запомненные последовательности, включая персональные сведения. Это не означает, что любой запрос раскрывает любой документ, но опровергает тезис «параметры никогда ничего не запоминают».

Bias и неравномерное качество

Корпус отражает исторические и социальные смещения, а фильтры и разметка добавляют новые. Bias проявляется не только оскорбительным текстом: модель может хуже понимать диалекты, имена, культуры или давать разную полноту рекомендаций.

Проверяйте срезы, релевантные сценарию, и привлекайте затронутые группы. Механическое выравнивание одного показателя способно ухудшить другой. Datasheet и model card фиксируют происхождение, назначения, метрики и пробелы, но документация должна подтверждаться измерениями.

Авторские права и происхождение контента

Права на обучающие данные, prompt, output и его распространение — разные вопросы. Нельзя обещать пользователю, что любой сгенерированный результат свободен от прав третьих лиц. Возможны сходство с произведением, товарные знаки, право на изображение, условия лицензии и ограничения платформы.

Официальные отчёты U.S. Copyright Office иллюстрируют, что вопросы цифровых реплик, охраноспособности результатов и обучения рассматриваются отдельно. Это источник по праву США, а не универсальная норма. Для продукта в России или другой юрисдикции нужна актуальная консультация специалиста по конкретному использованию.

Практический минимум: хранить происхождение входных материалов, соблюдать лицензии, не просить имитировать живого автора как способ обхода прав, проверять публикации человеком и иметь процедуру жалобы и удаления.

Риск-менеджмент как цикл

Профиль NIST для generative AI предлагает управлять рисками системно: определить контекст, измерить, выбрать меры, отслеживать остаточный риск. Контроль имеет владельца, метрику и дату пересмотра. «Мы добавили moderation» не является полным планом.

Инциденты нужно использовать для обновления evals. Если произошла утечка через неверный ACL, добавьте тест изоляции, исправьте доступ на сервере и проверьте старые логи, а не только перепишите prompt.

Упражнение: карточка риска

Выберите ассистента по внутренним кадровым документам. Заполните: актив, угроза, путь атаки, вероятность, ущерб, превентивный контроль, детектор и план реакции. Обязательно включите чужой tenant, персональные данные кандидата и выдуманную ссылку на политику.

Затем отметьте, какие меры реализуются до модели, в оркестраторе, после модели и организационно. Если все меры находятся в prompt, архитектура недостаточна.

Частые вопросы

Можно ли считать публичные данные свободными для любого обучения?

Публичная доступность не равна отсутствию авторских, договорных и privacy-ограничений. Нужен анализ источника, лицензии, цели и применимого права.

Фильтр токсичности устраняет bias?

Нет. Он может блокировать часть явного содержания, но не измеряет неравномерное качество, стереотипные рекомендации или пропуски данных.

Локальная модель автоматически приватна?

Локальный inference уменьшает передачу третьей стороне, но остаются логи, права пользователей, уязвимости, обучение на данных и риск извлечения. Приватность — свойство всей системы.

Что важно запомнить

Начинайте с threat model, активов и последствий, а не с одного фильтра.
Минимизация данных и контроль доступа важнее обещания модели «не разглашать».
Bias оценивают на релевантных срезах и документируют вместе с ограничениями.
Авторское право зависит от фактов и юрисдикции; происхождение и лицензии нужно сохранять.

https://yadro-code.ru/lessons/without-university/generative-ai-foundations/generative-ai-14