В сфере искусственного интеллекта больше должно быть лучше. Нейронные сети с миллиардами параметров обеспечивают работу повседневных инструментов на основе ИИ, таких как ChatGPT и Dall-E, и каждая новая большая языковая модель (LLM) превосходит своих предшественников по размеру и сложности. Тем временем в Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) группа исследователей работала над сокращением масштабов.
В недавнем исследовании они продемонстрировали эффективность нового типа очень маленькой (20 000 параметров) системы машинного обучения, называемой жидкой нейронной сетью. Они показали, что дроны , оснащенные ими, превосходно справляются с навигацией в сложных, новых средах с точностью, даже опережая самые современные системы. Системы были в состоянии принимать решения, которые приводили их к цели в ранее неисследованных лесах и городских пространствах, и они могли делать это в условиях добавочного шума и других сложностей.
Нейронные сети в типичных системах машинного обучения обучаются только в процессе обучения. После этого их параметры фиксируются. Жидкие нейронные сети , объясняет Рамин Хасани , один из ученых CSAIL, представляют собой класс систем искусственного интеллекта , которые учатся на работе, даже после обучения. Другими словами, они используют «жидкие» алгоритмы, которые постоянно адаптируются к новой информации, такой как новая среда, точно так же, как мозг живых организмов. «Они напрямую смоделированы по тому же принципу, как нейроны и синапсы взаимодействуют в биологическом мозге», — говорит Хасани. Фактически, их сетевая архитектура вдохновлена нервной системой живых существ, называемых C. elegans , крошечных червей, обычно обитающих в почве.
«Мы можем реализовать жидкую нейронную сеть, которая может управлять автомобилем, на Raspberry Pi». — Рамин Хасани, CSAIL Массачусетского технологического института
По словам Хасани, целью этого эксперимента была не просто надежная автономная навигация дрона. «Речь шла о проверке способности нейронных сетей понимать задачи, когда они развернуты в нашем обществе в качестве автономных систем».
В качестве обучающих данных для нейронных сетей, которые будут управлять дроном, исследователи использовали кадры с дрона, снятые пилотом-человеком, летящим к цели. «Вы ожидаете, что система научилась двигаться к объекту», — говорит Хасани, не определив, что это за объект, и не предоставив никаких меток для окружающей среды. «Дрон должен сделать вывод, что задача такова: я хочу двигаться к [объекту]».
Команда провела серию экспериментов, чтобы проверить, как усвоенные навигационные навыки переносятся в новую, невиданную ранее среду. Они протестировали систему во многих реальных условиях, в том числе в разное время года в лесу и в городских условиях. Дроны прошли тесты на дальность и нагрузку, а цели вращались, закрывались, приводились в движение и т. д. Жидкие нейронные сети были единственными, которые могли обобщать сценарии, которые они никогда не видели, без какой-либо тонкой настройки, и могли выполнять эту задачу плавно и надежно.
Применение жидких нейронных сетей к робототехнике может привести к созданию более надежных автономных навигационных систем, среди прочего, для поиска и спасения, наблюдения за дикой природой и доставки. По словам Хасани, умная мобильность будет иметь решающее значение по мере того, как города станут плотнее, и небольшой размер этих нейронных сетей может стать огромным преимуществом: «Мы можем реализовать гибкую нейронную сеть, которая может управлять автомобилем, на Raspberry Pi. ”
Помимо дронов и мобильности
Но исследователи считают, что жидкие нейронные сети могут пойти еще дальше, став будущим принятия решений, связанных с любой обработкой данных временных рядов, включая обработку видео и языка. Поскольку жидкие нейронные сети представляют собой механизмы обработки данных последовательности, они могут предсказывать финансовые и медицинские события. Например, путем обработки показателей жизнедеятельности можно разработать модели для прогнозирования состояния пациента в отделении интенсивной терапии.
Помимо других преимуществ, жидкие нейронные сети также предлагают объяснимость и интерпретируемость. Другими словами, они открывают пресловутый черный ящик системного процесса принятия решений. «Если у меня всего 34 нейрона [в системе дронов], я могу буквально пойти и выяснить, какова функция каждого элемента», — говорит Хасани. Это было бы практически невозможно в крупномасштабной глубокой нейронной сети. Меньший размер жидких нейронных сетей также значительно снижает вычислительные затраты и, следовательно, углеродный след моделей машинного обучения.
Хасани и его коллеги ищут способы улучшить жидкие нейронные сети. «В этой статье рассматривается очень контролируемая и простая способность к рассуждениям, но взаимодействие в реальном мире требует все более и более сложных логических задач», — говорит он. Команда хотела бы разработать более сложные задачи и протестировать жидкие нейронные сети на пределе их возможностей, а также выяснить, почему жидкие нейронные сети работают намного лучше, чем их конкуренты, в тестах на рассуждения.
