ИНТЕГРАЦИЯ ОБЪЯСНИМОГО ИИ (XAI) В ЗАЩИЩЕННЫЕ КОНТУРЫ УПРАВЛЕНИЯ СИСТЕМАМИ

Аннотация

Внедрение алгоритмов машинного обучения и глубоких нейронных сетей в критически важные киберфизические системы (CPS) требует перехода от стохастических моделей «черного ящика» к прозрачным архитектурным решениям, обеспечивающим детерминированную безопасность. Техническая необходимость интеграции объяснимого искусственного интеллекта (XAI) продиктована требованиями верификации и валидации (V&V) в недетерминированных средах, где цена ошибки исключает использование непроверяемых эвристик. Данная работа исследует фундаментальный конфликт между предсказательной мощностью моделей и их интерпретируемостью в реальном времени. Рассматриваются таксономии XAI, включая внутренние (intrinsic) и постфактумные (post-hoc) методы, а также их влияние на задержки в контурах управления (control loops). Анализируются архитектурные компромиссы при использовании аппаратных ускорителей на базе FPGA и специализированных ASIC. Особое внимание уделяется устойчивости модулей объяснения к адверсариальным воздействиям, таким как «отмывание справедливости» (fairwashing) и манипуляция признаками. Синтезируются подходы к созданию адаптивных систем объяснения на основе неявной обратной связи от оператора. В заключении выделяются критические технологические пробелы в области стандартизации метрик интерпретируемости и обеспечения безопасности самих алгоритмов XAI