Все записи блога

Кто отвечает за ошибки ИИ-агента и как защитить бизнес

Юрий Гизатуллин о том, почему ошибку ИИ нельзя списать на алгоритм, чем компенсация отличается от уголовной ответственности и что проверить бизнесу.

Кто отвечает за ошибки ИИ-агента и как защитить бизнес

Когда ИИ-агент получает доступ к клиентам, документам или деньгам, у бизнеса появляется неудобный вопрос: кто будет отвечать, если система ошибется? Разработчик модели, подрядчик, который ее подключил, или компания, которая поручила ей работу?

Я считаю опасной саму надежду на то, что ответственность удастся переложить на алгоритм. Автономность инструмента не означает, что последствия его действий исчезают.

Показательная история произошла с Air Canada. Чат-бот на сайте авиакомпании сообщил пассажиру, летевшему после смерти родственницы, что тот может купить билеты по полной стоимости, а затем в течение 90 дней обратиться за частичным возвратом по специальному тарифу. Правила компании такого порядка не предусматривали.

Пассажир воспользовался билетами, но получить обещанный возврат не смог. В феврале 2024 года Трибунал по разрешению гражданских споров Британской Колумбии признал ответственность авиакомпании: она не обеспечила достоверность информации своего чат-бота. Компенсация составила около 651 канадского доллара, дополнительно были присуждены проценты и расходы. Обстоятельства дела подробно разобраны в публикации Американской ассоциации юристов.

Для меня значение этой истории гораздо больше суммы выплаты. Клиент получил неверную информацию в официальном канале компании. Наличие правильных условий на другой странице сайта не освободило ее от ответственности.

Почему «так решил ИИ» недостаточно

История Air Canada касается чат-бота. Но для бизнеса, внедряющего агентов, вопрос становится еще острее: система может самостоятельно менять записи, отправлять документы и запускать операции.

В Калифорнии закон AB 316 прямо исключил ссылку на автономные действия ИИ как основание защиты в гражданском споре против лица, которое разработало, изменило или использовало такую систему. Это отражено в официальном обзоре законодательного комитета.

Однако запрет одного аргумента не означает автоматического признания ответчика виновным. Основания ответственности и обстоятельства причинения вреда все равно имеют значение.

В Евросоюзе директива об ответственности за дефектную продукцию распространяет обновленные правила и на программное обеспечение, включая ИИ. Государства должны перенести ее положения в национальное законодательство к 9 декабря 2026 года; новые правила рассчитаны на продукцию, введенную в оборот или эксплуатацию с этой даты.

Здесь тоже важно не упрощать: компенсация связана с дефектом продукта, предусмотренным директивой вредом и причинной связью между ними. Это не обязанность платить за любой нежелательный результат работы программы.

Я вижу общий управленческий вывод: рассчитывать на объяснение «алгоритм действовал самостоятельно» при внедрении нельзя. Границы его работы нужно определять заранее.

Что происходит с ответственностью в России

В России с 1 сентября 2026 года вступила в силу основная часть Федерального закона № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации». Для ряда положений установлен более поздний срок.

В статье 11 закона предусмотрено, что участники отношений несут ответственность за нарушения в соответствии с российским законодательством. При этом детальной универсальной схемы распределения ответственности между разработчиком, внедренцем и пользователем эта статья не устанавливает.

Из этого не следует, что вся ответственность автоматически ложится на собственника бизнеса. Но и считать использование ИИ освобождением от обязательств перед клиентом нельзя. Нужно разбирать конкретную ситуацию: какие обязательства были у сторон, кто допустил нарушение и как оно связано с последствиями.

Поэтому я бы обсуждал ответственность с подрядчиком еще до запуска. Что именно он поставляет? Какие ограничения системы известны? Кто обновляет данные, устраняет ошибки и разбирает инциденты? Как фиксируется выполнение требований?

Такие договоренности помогают определить обязанности сторон. Но сами по себе они не гарантируют, что претензий со стороны клиента или регулятора не будет.

А уголовная ответственность возможна?

Вопрос «кто сядет за ошибку агента» звучит ярко, но смешивает разные последствия. Компенсация клиенту, административный штраф и уголовное наказание — разные виды ответственности.

В России уголовная ответственность требует установления предусмотренных законом оснований и вины конкретного человека. Статья 5 УК РФ прямо запрещает уголовную ответственность за невиновное причинение вреда.

Сам факт подключения агента не делает руководителя преступником. Но автоматизация не исключает ответственности за собственные противоправные действия или бездействие человека.

Поэтому вместо поиска универсального ответа «кто виноват за ИИ» я бы начинал с устройства конкретного процесса.

Что проверить, если агент уже работает

Для себя я выделяю три обязательных управленческих решения.

Первое — письменно определить полномочия. Какие данные агент может читать, что вправе менять, какие сообщения отправлять и какие операции выполнять самостоятельно? Эти ограничения должны поддерживаться настройками доступа. Одной просьбы в инструкции «не делай ничего опасного» недостаточно.

Второе — установить точки человеческого контроля. Для операций с деньгами, чувствительными данными и последствиями для здоровья я бы отдельно определял, где требуется проверка специалиста или подтверждение уполномоченного сотрудника. У него должны быть информация для проверки и возможность остановить действие.

Третье — сохранять историю работы. Важно понимать, какое задание получил агент, какими данными пользовался, какие инструменты вызвал, что изменил и кто согласовал операцию. Журналы помогают восстановить события и разобраться в причинах ошибки. При этом сами записи нужно защищать и хранить с учетом требований к данным.

Для каждого такого процесса нужен ответственный человек: тот, кто следит за качеством, разбирает отклонения и принимает решение об остановке системы.

Я считаю это частью цифровой культуры бизнеса. Чем больше самостоятельности компания дает технологии, тем яснее должны быть полномочия и контроль. Передать агенту выполнение задачи можно. Рассчитывать, что вместе с задачей ему удастся передать всю ответственность, — плохая бизнес-стратегия.

Ещё мнения

Телеграм-канал «Фаундер по жизни»

@gizu_ru

Мысли о технологиях, бизнесе и будущем — раньше, чем в блоге

4000+ подписчиков Подписаться