Искусственный интеллект в промышленности уже не диковинка: алгоритмы управляют параметрами литья, следят за качеством, оптимизируют расход сырья. Но чем глубже ИИ проникает в производственные процессы, тем острее вопрос: а кто, собственно, проверяет, что он продолжает работать правильно? И вот здесь, как выясняется, у отрасли большая слепая зона.
Прамин Прадип, генеральный директор BotGauge — компании, которая разрабатывает инструменты контроля качества на основе ИИ, — предупреждает: многие промышленные ИИ-системы проходят валидацию один раз перед запуском, а потом годами никто их не проверяет. При этом модели дрейфуют, сенсоры стареют, вендоры выпускают обновления, а агенты выбирают пути, которые никто не программировал.
Звучит тревожно. И хотя у Прадипа есть коммерческий интерес в этом вопросе — его компания как раз продаёт решения для непрерывного мониторинга ИИ, — сама проблема реальна и признана в исследованиях машинного обучения. Дрейф моделей — это не страшилка, а факт, с которым сталкиваются все, кто эксплуатирует ИИ в реальных условиях. Разбираемся, что именно вызывает беспокойство и что с этим делать.
Почему пластик — особенно уязвимая отрасль
Прадип приводит переработку пластмасс как пример индустрии с особенно узкими допусками. Температура расплава, давление, время охлаждения, влажность гранулята — всё это должно укладываться в жёсткие диапазоны, и на ошибку почти не остаётся места. Если ИИ-система оптимизирует эти переменные, она может долго работать надёжно, а потом — бац — выдать некорректный результат без единого предупреждения.
Вот гипотетический сценарий, который описывает Прадип. Завод внедряет ИИ для управления параметрами литья под давлением. Система проходит приёмочные испытания в одних условиях — всё отлично. Проходит несколько месяцев. Поставщик сменился, влажность сырья чуть изменилась, и рекомендации ИИ начинают уходить за безопасные границы. При этом код не менялся, модель формально та же — но работает она уже иначе.
Этот пример приведён для иллюстрации общего риска, а не как задокументированный инцидент на конкретном предприятии. Но суть от этого не меняется: полимеры — материал капризный, и малейшее отклонение в сырье или режиме переработки может вылиться в брак, который заметят не сразу.
Проблема усугубляется тем, что традиционное тестирование программного обеспечения предполагает, что система ведёт себя предсказуемо после валидации. С ИИ эта логика не работает: выходные данные могут варьироваться, а поведение — меняться по мере того, как меняются данные и модели. Однократная проверка здесь просто не покрывает риски.
Что предлагают: мониторинг вместо одноразового теста
Прадип предлагает перейти от разовой валидации к непрерывному тестированию. И вот что это означает на практике:
Во-первых, нужно отслеживать, как документируются и прослеживаются решения ИИ. Если система что-то рекомендовала, а потом что-то пошло не так, должна быть возможность восстановить цепочку: какие данные пришли, что модель выдала, почему оператор поступил так, а не иначе.
Во-вторых, важно проверять, как система ведёт себя с неполными или необычными данными от сенсоров. В реальном цеху датчики выходят из строя, сигнал пропадает, помехи появляются. ИИ должен не сломаться и не наделать глупостей, а корректно обработать такую ситуацию.
В-третьих, нужно отслеживать влияние обновлений моделей и вендорского ПО. Если поставщик выкатил новую версию алгоритма, никто не гарантирует, что она будет вести себя так же, как старая. Это должно быть проверено, а не принято на веру.
В-четвёртых, должен существовать надёжный путь для того, чтобы человек-оператор мог перехватить управление и отменить решение ИИ. Это не про недоверие к технологиям, а про здравый смысл: в критических ситуациях последнее слово должно оставаться за человеком.
Прадип отмечает, что некоторые существующие рамки уже касаются этих принципов — например, AI Risk Management Framework от Национального института стандартов и технологий США (NIST), стандарт ISO/IEC 42001 и Регламент ЕС о машинном оборудовании. Но степень, в которой эти документы предписывают конкретные методики тестирования, различается, и разные заинтересованные стороны могут интерпретировать их по-разному.
Человек по-прежнему важен
Отдельно Прадип подчёркивает: автоматическое тестирование не должно заменять человеческое суждение. Технолог или процессный инженер остаются незаменимыми, потому что именно они могут заметить, что выходные данные ИИ выглядят подозрительно, даже если формально всё в пределах спецификации.
«Технолог понимает, что уставка подозрительна, задолго до того, как она выйдет за пределы спецификации».
Модель, которую он предлагает, выглядит разумно: автоматические системы берут на себя масштаб непрерывного тестирования — они не устают и не отвлекаются, — а человеческие эксперты принимают финальные решения. Это не замена людей, а разделение труда, где у каждого своя зона ответственности.
Для нефтехимии и переработки полимеров это особенно актуально. Отрасль работает с опасными веществами, высокими температурами и давлениями, и цена ошибки здесь измеряется не только деньгами. Если ИИ управляет параметрами процесса, а оператор не понимает, почему система приняла то или иное решение, — это уже риск.
Что в сухом остатке: тестировать придётся постоянно
Главный вывод из истории с BotGauge простой: ИИ в промышленности — это не «настроил и забыл». Модели дрейфуют, данные меняются, вендоры обновляют софт, и всё это происходит без остановки производства. Однократная валидация перед запуском — необходимое, но недостаточное условие безопасности.
Для производителей пластмасс и полимеров это означает, что придётся выстраивать процессы непрерывного мониторинга ИИ-систем. Не потому, что кто-то продаёт такие решения, а потому, что альтернатива — это тихие отказы, которые могут проявиться в самый неподходящий момент. Брак в партии, аварийная остановка линии, претензии клиентов — всё это стоит дороже, чем организация регулярного тестирования.
Конечно, у истории есть и вторая сторона. Прадип продаёт продукт, который решает описанную проблему, и его оценка масштаба явления может быть смещена в сторону драматизации. Независимых данных о том, насколько часто промышленные ИИ-системы дают сбои именно из-за отсутствия мониторинга, пока нет. Но само явление дрейфа моделей — признанный факт, и игнорировать его было бы неразумно.
Пока регуляторы в США обсуждают ускорение внедрения ИИ, включая планы по созданию «AI force», вопрос о том, как контролировать промышленные ИИ-системы после запуска, остаётся открытым. И это тот случай, когда отрасль могла бы не ждать регуляторов, а сама выработать стандарты. Потому что безопасность производства — это не про соблюдение формальностей, а про то, чтобы линия работала, продукция была качественной, а люди не пострадали.
И ещё один момент. ИИ не заменяет инженера — он меняет его роль. Вместо того чтобы крутить ручки и следить за приборами, человек становится тем, кто проверяет и направляет алгоритмы. Это требует новых компетенций, но и даёт новые возможности. Главное — не забывать, что за любым решением ИИ должен стоять человек, который понимает, что происходит и почему. Иначе тихий сбой может стать громкой проблемой.