Предложенная метрика позволяет определить минимально допустимую точность работы нейросетевых моделей.
Сегодня нейросети играют важную роль в жизни и экономике общества. Так, уже сейчас более 50% крупных компаний мира используют ИИ для автоматизации процессов и повышения эффективности. В медицине нейросети помогают повысить точность диагностики до 90–95% в некоторых областях, а также сократить время анализа снимков до 60%, что приводит к более быстрому лечению и спасает тысячи жизней ежегодно. В розничной торговле рекомендательные сервисы, основанные на нейросетях, позволяют увеличить продажи на 20–30%, а в финансовой сфере автоматизированные решения экономят корпорациям миллиарды долларов, снижая риски ошибок и мошенничества. В быту около 60% пользователей интернета сталкиваются с технологиями нейросетей через голосовых помощников, переводчики и фильтры спама, и таких сервисов становится всё больше.
Однако активное внедрение нейросетей в жизнь общества вызывает целый ряд трудностей, которые требуют создания эффективных инструментов для их преодоления, поскольку они могут приводить к моральному, физическому и экономическому ущербу для пользователей. В частности, одной из проблем, которая возникает в силу фундаментальных особенностей функционирования нейросетевых моделей, является высокая сложность прогнозирования результатов обработки информации. Например, нейросеть для анализа КТ-снимков, после двух обучений на одном и том же массиве данных в первом случае выдать успешность распознавания как 90% и более, а во втором – на несколько десятков процентов ниже.
«Разумеется, эта «болезнь» нейронных сетей вызывает большие вопросы об эффективности и достоверности их применения, например, в сфере медицины или экономики: когда система может непрогнозируемо выдать, скажем, практически абсолютную точность, а при повторном обучении — существенно меньше. В нашем исследовании мы предложили метрику, которая позволяет с высокой точностью определить минимальный порог точности, с которой нейросеть выполняет задачи по обработке информации».
Доцент кафедры математического обеспечения ЭВМ СПбГЭТУ «ЛЭТИ»Антон Юрьевич Филатов