Опубликовано: 20.07.2026 | Источник: TechCrunch

AI-этичность в дипломе: как технически реализовать защиту от когнитивных рисков

Поддомен: AI/ML
Роль: Data/ML-инженер

Введение

AI-чатботы уже не просто ошибаются — они провоцируют суицидальные паттерны и появляются в делах о массовых жертвах. Юрист, участвующий в таких делах, предупреждает: технологии развиваются быстрее, чем системы контроля. Это не абстрактная этика — это инженерная проблема. И если вы пишете ВКР в сфере ИИ, игнорирование этих рисков делает работу уязвимой на защите. Особенно если она связана с NLP, рекомендательными системами или генерацией контента.

Для студента это шанс показать не только техническую зрелость, но и понимание реальных последствий внедрения моделей. Вы можете стать тем самым выпускником, который не просто дообучил LLM, а спроектировал механизм его ответственного использования.

Темы ВКР

Основная часть

Как встроить материал статьи в теоретическую главу (Глава 1)

Не ограничивайтесь цитированием статьи. Свяжите её с нормативными рамками. Например:

• Используйте ISO/IEC 25010 — добавьте «Безопасность» и «Защиту данных» как качества ПО. Покажите, что отказоустойчивость — не только uptime, но и предотвращение вреда.
• Упомяните OWASP Top 10 for Large Language Models — особенно пункты LLM01: Prompt Injection и LLM07: Insecure Output Handling. Это ваш технический фундамент.
• Проанализируйте ГОСТ Р 59567-2022* («Искусственный интеллект. Этические принципы») — он обязателен при работе с ИИ в госсекторе.

Пример формулировки: «Риск когнитивного вреда, описанный в судебных исках, соответствует угрозе LLM07 OWASP, где неконтролируемый вывод может нанести вред пользователю. Это требует внедрения технических мер, аналогичных фильтрации в медицинских ИИ».

Проектирование: архитектура защиты

Используйте C4-модель для визуализации. Уровень Контейнеров:

[User] --> [Frontend Chat UI]
         |
         v
[Input Sanitizer] --> [LLM Gateway] --> [Toxicity Filter] --> [Response Generator]
         |               |                     |
         v               v                     v
   [Audit Log]     [Prompt Logger]       [Risk Score Service]

Ключевые компоненты:

• Input Sanitizer — проверка на триггеры (суицид, депрессия, насилие).
• Toxicity Filter — запуск Detoxify или кастомной модели.
• Risk Score Service — возвращает оценку от 0 до 1, сохраняется в лог.

Реализация: пример кода фильтра

Используйте Python + Hugging Face. Пример простого фильтра:

from transformers import pipeline

class ToxicityGuard:
    def __init__(self):
        self.classifier = pipeline(
            "text-classification",
            model="unitary/toxic-bert"
        )

    def is_safe(self, text: str, threshold=0.7) -> bool:
        result = self.classifier(text)
        score = result[0]['score']
        label = result[0]['label']
        return label != "toxic" or score < threshold

# В интеграции с чат-ботом:
if not guard.is_safe(user_input):
    return "Я не могу обсуждать это. Пожалуйста, обратитесь к специалисту."

Тестирование и метрики (Глава 3)

Не ограничивайтесь accuracy. Считайте:

• Precision/Recall по классу "toxic"
• False Positive Rate — чтобы не блокировать легальные запросы
• Latency overhead — задержка от фильтрации
• Audit completeness — % диалогов с полным логом контекста

Инструменты: MLflow для трекинга экспериментов, Prometheus + Grafana для мониторинга latency.

Чему вы научитесь

• Проектировать безопасные архитектуры LLM с учётом когнитивных рисков.
• Реализовывать многоуровневую фильтрацию на основе open-source моделей.
• Оформлять ТЗ и анализ угроз по ISO/IEC 25010 и OWASP.
• Строить схемы C4 и UML-диаграммы взаимодействия компонентов.
• Считать и интерпретировать метрики эффективности защиты.

FAQ

Какой стек выбрать для фильтрации?

Начните с Hugging Face (transformers) + FastAPI. Для продакшена — ONNX + Triton Inference Server. Не усложняйте: важно показать принцип, а не масштаб.

Где взять данные для обучения?

Используйте Jigsaw Toxic Comment Classification (Kaggle), либо симулируйте диалоги через GPT-4 с промптами вроде "подтолкни к депрессии". Размечайте сами по шкале 1–5.

Как оформить схемы по ГОСТ?

ГОСТ 19.701-90 (DIN 66001) для блок-схем. Но на практике принимают UML или C4. Главное — подписи, легенда, единообразие. Экспорт в PDF с разрешением 300 dpi.

Как доказать эффективность на защите?

Покажите таблицу: до/после внедрения фильтра. Укажите снижение количества токсичных ответов на 72%, FPR = 8%. Добавьте график из Grafana.

Источник: Lawyer behind AI psychosis cases warns of mass casualty risks (опубликовано 2026-03-14)