Альянс в сфере ИИ и Минцифры России представили на ЦИПРе проект бенчмаркинга ИИ-решений

21 мая в Нижнем Новгороде в рамках Конференции «Цифровая индустрия промышленной России» (ЦИПР) состоялась панельная сессия «Бенчмарки как основа систем оценки ИИ-решений». Организаторы сессии – Минцифры России и ассоциация «Альянс в сфере искусственного интеллекта».

Технологии искусственного интеллекта стремительно развиваются, ускоряются инновации во многих областях науки, повышается качество и доступность социальных услуг, улучшаются производственные процессы и в целом благодаря ИИ ускоряется рост мировой экономики. Вместе с тем в условиях стремительного развития требуется удобный инструмент определения качества ИИ-решений, доступный каждому.

Бенчмарки – автоматизированные алгоритмы замера показателей эффективности – уже зарекомендовали себя в качестве адекватного механизма оценки точности и корректности работы моделей машинного обучения, и Альянс в сфере ИИ совместно с Минцифры России решили посвятить сессию аспектам применения бенчмарков в различных отраслях экономики – от нефтехимии и строительства до сельского хозяйства и здравоохранения.

Модератором сессии выступила Вероника Строголева, начальник отдела развития технологий искусственного интеллекта и больших данных Минцифры России. В число участников встречи вошли бизнес-партнер централизованных функций ИТ Русагро Тех Николай Стадников, сооснователь и генеральный директор компании «Платформа Третье Мнение» Анна Мещерякова, исполнительный директор Центра индустриальных внедрений искусственного интеллекта Сбербанка Кирилл Солнцев, лидер продуктового направления Cloud.ru Антон Смирнов, руководитель центра цифровых технологий «Газпром нефть» Михаил Корольков, руководитель по управлению данными, аналитике и инновациям, Сибур Диджитал Алексей Винниченко, директор по цифровизации жилищной сферы Дом.РФ Александр Лукьянов, заместитель генерального директора ФЦПР ИИ Андрей Чукарин и директор по исследованиям и разработке, Лаборатория Касперского Антон Иванов.

Анна Мещерякова генеральный директор компании «Платформа Третье Мнение», рассказала участникам и слушателям сессии о специфике использования ИИ в здравоохранении: «В медицине от качества принимаемых решений зависит здоровье и жизнь человека, поэтому здесь особенно важно использовать механизмы объективной оценки эффективности выполнения типовых задач ИИ-сервисами. Современные ИИ-алгоритмы позволяют не только помочь своевременно диагностировать заболевание, но и спрогнозировать риск его развития. В мировой практике есть влиятельные бенчмарки, которые дают рынку точное представление о возможностях ML-моделей. У российского заказчика также должна быть возможность первичного отбора и квалификации решений, которая подходит для сервисов анализа данных вне зависимости от их типа: изображений, текстовых или звуковых файлов, видеопотока. Первично отобранные решения в дальнейшем должны будут себя проявить и показать стабильность в реальной клинической практике на больших потоках данных».

По мнению исполнительного директора Центра индустриальных внедрений ИИ Сбербанка Кирилла Солнцева, бенчмаркинг ML-моделей позволяет участникам рынка находить те продукты, которые в наибольшей степени отвечают требованиям времени: «В основе каждого бенчмарка – прикладная задача, которую решают с помощью машинного обучения с той или иной эффективностью. Заказчикам ИИ-решений важно понимать, действительно ли предлагаемые вендорами разработки конкурентоспособны, чтобы не полагаться лишь на маркетинговые материалы. Поэтому для компаний, которые вошли в отраслевые клубы «ИИ в АПК» и «ИИ в здравоохранении» Альянса, инициативы по бенчмаркингу вошли в число приоритетных».

Антон Смирнов, представивший на сессии платформу, разработанную Альянсом в сфере ИИ и Минцифры совместно с Cloud.ru, пригласил всех желающих познакомиться с ее фунционалом«Пилотирование первых отраслевых бенчмарков, созданных при участии компаний из клуба «ИИ в АПК» Альянса, показало, что результаты замера эффективности моделей по общепринятым метрикам могут быть весьма неожиданными – для одного из партнеров, скажем, стало сюрпризом, что их модель, которая совершенствовалась не один год, уступила, хоть и немного, по точности решению другой команды. И мы уверены, что подобные инструменты объективной оценки применяемых моделей могут стать основой для принятия бизнес-решений крупными заказчиками уже в ближайшем будущем».

Бизнес-партнер централизованных функций ИТ «Русагро Тех» Николай Стадников и Анна Мещерякова («Платформа Третье Мнение») анонсировали появление на платформе Альянса новых бенчмарков, которые позволят оценить точность моделей, призванных решать задачи в АПК (прогноз фенофаз культурных растений, прогнозирование болезней и вредителей) и в здравоохранении (понимание медицинского текста, умение отвечать на уточняющие вопросы по нему и делать выводы, а также обработка ЭКГ-сигналов для раннего выявления заболеваний сердца).

«С помощью бенчмаркинга мы бы хотели получить ответы на два вопроса – возможно ли найти решение, которое является хотя бы минимально экономически оправданным, и, если да, то какая из множества существующих моделей наиболее эффективна», — уточнил Николай Стадников, — «Надеюсь, что к Русагро присоединятся и другие компании АПК, и вместе нам удастся проверить, какие ИИ-решения в наибольшей степени подходят для использования в сельском хозяйстве».

Руководитель по управлению данными, аналитике и инновациям «Сибур Диджитал» Алексей Винниченко в свою очередь привел пример разработки корпоративной системы аналитики, позволяющей прогнозировать изменение котировок нефтехимических продуктов, — в нее уже встроены элементы бенчмаркинга, в режиме реального времени оценивающие точность модели, а также дополнительный модуль, который обогащает прогноз информационным контекстом, изучая новостные материалы и конъюнктуру рынка. «При использовании бенчмарков стоит не только учитывать результаты математического расчета показателей той или иной модели, но и всё многообразие сценариев и обстоятельств, в которых она будет применяться», — добавил Алексей Винниченко, — «Только такой подход позволяет рассчитывать на экономический эффект, и на примере Сибура могу заявить, что он может быть значительным».

Михаил Корольков, рассказавший на сессии про использование ML-моделей в нефтяной отрасли, выделил несколько уровней применяемых решений – от базовых «коробочных» версий до узкоспециализированных, заточенных под специфику конкретных индустрий – и подчеркнул, что на каждом уровне применяются разные критерии оценки: «Нам еще предстоит определиться с тем, как должны быть устроены бенчмарки для такого разнообразия задач, какие из них имеет смысл делать действительно открытыми, а какие будут применимы только в привязке к конкретным предприятиям. Мы еще в начале этого важного пути».