Зачем нам нужен более прозрачный ИИ

Наряду с ростом внедрения искусственного интеллекта возник скептицизм по поводу того, «почему» и «что» технологии. Таким образом, поддержание прозрачности в операциях с ИИ стало важной инициативой. Джаянт Мурти, технический директор (Америка), и Санкет Синха, владелец продукта в Digitate, объясняют важность прозрачности ИИ. 

Это естественная тенденция людей не доверять непрозрачным вещам. Как люди, мы всегда хотим знать «почему» за «что», чтобы чувствовать, что они могут доверять «чему». Это то, что заставляет людей сомневаться в способности ИИ принимать решения. AI решение может произвести ответ, но как же он прибудет в этом ответе? Какие критерии использовались? Имеет ли он те же ценности, которыми руководствуются люди?

Эти вопросы стали более очевидными с появлением сложных моделей и ансамблей машинного обучения , которые трудно анализировать, как можно анализировать более простые линейные модели и деревья решений. Эти модели обеспечивают высокую точность для задач, которые считались сложными для машинного интеллекта, но менее поддаются «объяснению» или «прозрачности» в общепринятом смысле. Хотя главный вопрос: «Почему машины думают так, как они думают», в настоящее время остается трудным, были достигнуты огромные успехи в улучшении понимания результатов.

Также важно учитывать тот факт, что многие человеческие решения также не имеют «прозрачных» объяснений - в виде правил или решений в закрытой форме. В некоторых случаях точность вывода может перевесить необходимость объяснения. Давайте подробнее рассмотрим концепцию прозрачного ИИ и некоторые подходы, которые помогают достичь прозрачности.

Узнать больше: 5 лучших способов преодолеть препятствия цифровой трансформации

Что такое прозрачность ИИ? 
Предположим, мы приравниваем прозрачность в ИИ к объяснимости или интерпретируемости ответа, предоставляемого моделью машинного обучения. В этом случае есть как минимум два определения того, что это на самом деле. Один относится к корреляции, а второй - к причинно-следственной связи. Корреляция - более легкая проблема для более простой модели машинного обучения . Тем не менее, как корреляция, так и причинно-следственная связь являются проблемой для более сложных моделей, таких как подходы на основе глубоких нейронных сетей.

Решения искусственного интеллекта должны обеспечивать определенную степень уверенности в пути, по которому нужно прийти к ответу, при сохранении высокого уровня точности. Объяснение плохо работающей модели может оказаться бесполезным. Прозрачные системы ИИ полагаются на множество методов, чтобы понять, почему система ИИ достигла определенных результатов. Это может помочь частично устранить синдром « черного ящика », при котором система ИИ не обеспечивает адекватных и релевантных корреляций (если не причинно-следственных связей) между функциями и выходными данными.

Почему важна прозрачность ИИ? 
Видимость и доверие являются основными факторами для принятия и устойчивого использования любой платформы искусственного интеллекта на предприятии . Анализ исторических данных за годы для достижения высокой степени точности прогнозов без убедительной интерпретируемости рекомендаций не принесет очков лицам, принимающим решения. Отсутствие прозрачности является одним из ключевых препятствий на пути внедрения автономного ИИ сегодня. Прозрачность ИИ имеет решающее значение по трем основным причинам.

Обеспечить представление о направленном и количественном влиянии функций на результат, чтобы оценить логическую последовательность рассуждений, особенно в критически важных ситуациях. Другими словами, прозрачность важна для понимания того, насколько существенно влияние функции и является ли оно положительным или отрицательным?
Чтобы получить информацию, которая может помочь улучшить модель и предотвратить проникновение предвзятости в производственные системы.
Поддержать растущую потребность в праве на объяснение в контексте некоторых недавних нормативных актов, таких как GDPR и другие нормативные акты, связанные с конфиденциальностью данных. (В случае GDPR ЕС он требует, чтобы организации, обрабатывающие личные данные граждан, обеспечивали справедливую и прозрачную обработку, предоставляя им доступ к «значимой информации о задействованной логике» в некоторых автоматизированных системах принятия решений.)
Организациям нужен ИИ. Однако сегодняшние предприятия представляют собой чрезвычайно сложные среды, которые ежедневно генерируют терабайты данных . По-человечески невозможно анализировать все данные и своевременно принимать полностью обоснованные решения. Цикл найма редко может поспевать за такими темпами роста. Итак, многие организации начали полагаться на ту или иную форму ИИ, чтобы автоматизировать и улучшить процесс принятия решений и действий. Сложные модели искусственного интеллекта позволяют анализировать большие объемы многомерных структурированных и неструктурированных данных.

Невозможно переоценить важность уверенности в процессах принятия решений ИИ - это очень важно. Только при таком понимании и прозрачности организации будут внедрять ИИ более быстрыми темпами - и только так организации продолжат извлекать выгоду из ИИ в будущем. 

Например, представьте, что система искусственного интеллекта розничного магазина отправила предупреждение, информирующее продавца, что он не получит товар со склада вовремя для открытия магазина, что является нарушением соглашения об уровне обслуживания (SLA). Несмотря на то, что это полезная информация, предупреждение также должно включать достаточно свидетельств о первопричине, чтобы бизнес-группы могли устранить нарушение SLA, проактивно устранить первопричины, лежащие в основе проблемы, и определить приоритетность таких предупреждений в будущем. 

Прозрачность в ИИ также позволяет пользователям анализировать предубеждения перед запуском системы в производство или предотвращать их появление во время производственных циклов. СМИ поспешили указать на недостатки прошлых инициатив в области ИИ, например, фиаско с чат-ботом Tay , которое заставило людей усомниться в том, были ли модели ИИ тщательно проверены на предвзятость и точность.

Узнать больше: как создавать решения для тест-драйва, вызывающие интерес у разработчиков?

Как организации могут обеспечить прозрачность в ИИ? 
Организациям необходимо сделать четкий выбор и определить критерии успеха, начиная свой путь к искусственному интеллекту. В случаях, которые являются критически важными или имеют большое влияние на доходы или расходы, важно иметь некоторую форму интерпретируемости результатов, предоставляемых ИИ . 

Также необходимо понимать, что не все модели машинного обучения обеспечивают одинаковую степень интерпретируемости. Более простые модели, как правило, менее точны для принятия сложных решений, но достаточно открыты для изучения. Для сложных моделей разрабатываются суррогатные методы. Однако большинство из них дает локальные объяснения, а не глобальные.

В других случаях все еще может быть приемлемой высокая степень точности с ограниченным пониманием . Рассмотрим, например, производственную установку. Предположим, что для выявления дефектов используется высокоточная модель обработки изображений, которая соответствует возможностям человека или превосходит их. В этом случае может быть достаточно принять результаты с ограниченным контролем качества дефектных и бездефектных деталей.

Заключительные мысли
В конечном итоге ИИ будет лежать в основе многих аспектов повседневной жизни и бизнеса: автономных автомобилей, медицинских диагнозов, умных городов, прогнозов цепочки поставок и т. Д. Крайне важно улучшить принятие ИИ, интерпретируя результаты и сводя к минимуму любые предвзятости или логические несоответствия. Большая часть современного искусственного интеллекта по своей сути непрозрачна или объяснима, но может стать таковой. Вышеупомянутые передовые практики и инструменты могут помочь в правильной настройке инициатив в области ИИ.