GPT-4, AGI и охота за сверхразумом

В течение десятилетий самой возвышенной целью искусственного интеллекта было создание искусственного общего интеллекта, или ОИИ, способного соответствовать или даже превосходить людей в любой интеллектуальной задаче. Это амбициозная цель, к которой долгое время относились со смесью благоговения и опасения из-за вероятности массовых социальных потрясений, которые, несомненно, вызовет любой такой ОИИ. Однако в течение многих лет такие дискуссии носили теоретический характер. Было трудно сделать конкретные прогнозы , предсказывающие появление AGI .

Но теперь, благодаря последним большим языковым моделям (LLM) от исследовательской фирмы OpenAI , концепция общего искусственного интеллекта внезапно кажется гораздо менее спекулятивной. Последние LLM OpenAI — GPT-3.5, GPT-4 и чат-бот/интерфейс ChatGPT — заставили поверить многих предыдущих скептиков. Однако, как это часто бывает с впечатляющими техническими достижениями, они, похоже, также вызвали поток дезинформации, диких утверждений и необоснованного страха. Недавно возникли слухи о конце всемирной паутины в том виде, в каком мы ее знаем, об окончании ограждений GPT и агентах хаоса с искусственным интеллектом.делают все, что в их силах (последнее из которых кажется не более чем приманкой для сенсаций). Были разрозненные размышления о том, что GPT-4 — это шаг к машинному сознанию, и, что еще более нелепо, что GPT-4 сама по себе « слегка сознательна». Также были утверждения, что GPT-5 , который, как заявил на прошлой неделе генеральный директор OpenAI Сэм Альтман, в настоящее время не обучается, сам будет AGI .

«Количество людей, которые утверждают, что мы не доберемся до ОИИ, становится все меньше и меньше».
—Кристоф Кох, Институт Аллена

Чтобы внести некоторую ясность, представители IEEE Spectrum связались с Кристофом Кохом , главным научным сотрудником программы Mindscope в Сиэтлском институте Аллена . Кох имеет опыт работы как в области искусственного интеллекта, так и в области нейробиологии и является автором трех книг о сознании, а также сотен статей на эту тему, в том числе статей для IEEE Spectrum и Scientific American .

Кристоф Кох о...

Сверхразум и сингулярность
Должен ли ОИИ быть сознательным?
Стоит ли опасаться появления ОИИ?
Каковы , на ваш взгляд, важные характеристики общего искусственного интеллекта ? Как это могло бы выйти за рамки того, что мы имеем сейчас?

Кристоф Кох: ОИИ плохо определен, потому что мы не знаем, как определить интеллект. Потому что мы этого не понимаем. Интеллект, в самом широком смысле, — это своего рода способность вести себя в сложной среде, в которой происходит множество различных событий, происходящих во множестве разных временных масштабов, и успешно учиться и процветать в такой среде. Меня больше интересует идея общего искусственного интеллекта. И я согласен, что даже если вы говорите об ОИИ, это несколько туманно. У людей разные мнения....

Кох: Ну, по одному определению, это было бы похоже на разумного человека, но намного быстрее. Таким образом, вы можете задать ему — как ChatGPT — вы можете задать ему любой вопрос, и вы сразу же получите ответ, и ответ будет глубоким. Это полностью исследовано. Это сформулировано, и вы можете попросить его объяснить, почему. Я имею в виду, что это замечательная вещь в ChatGPT , верно? Он может дать вам свой ход мыслей. На самом деле, вы можете попросить его написать код, а затем вы можете попросить его, пожалуйста, объясните мне. И он может пройтись по программе, строка за строкой или модуль за модулем, и объяснить, что он делает. Это ход мыслей, тип рассуждений, который действительно весьма замечателен.

Вы знаете, это одна из вещей, возникших из этих больших языковых моделей. Большинство людей думают об ОИИ с точки зрения человеческого интеллекта, но с безграничной памятью и абсолютно рациональными способностями мыслить — в отличие от нас. У нас есть все эти предубеждения. На нас влияют всевозможные вещи, которые нам нравятся или не нравятся, учитывая наше воспитание, культуру и так далее, и предположительно, AGI будет менее податлив к этому. И, может быть, сделать это намного быстрее, верно? Потому что, если это зависит только от базового оборудования, а оборудование продолжает ускоряться, и вы можете перейти в облако, то, конечно, вы можете быть как человек, только в сто раз быстрее. И это то, что Ник Бостром назвал сверхразумом .

«То, что GPT-4 очень ясно показывает, это то, что существуют разные пути к разведданным».
—Кристоф Кох, Институт Аллена

Вы коснулись идеи сверхразума. Я не уверен, что бы это было, за исключением того, что было бы практически неотличимо от человека — очень, очень умного человека — за исключением его огромной скорости. И, наверное, точность. Вы верите в это?

Кох: Это один из способов думать об этом. Это как с очень умными людьми. Но таким очень умным людям, как Альберт Эйнштейн, могут потребоваться годы, чтобы завершить свои идеи и закончить свою работу. Или чтобы что-то обдумать и порассуждать, нам может понадобиться, скажем, полчаса. Но ОИИ может сделать это за одну секунду. Так что, если это так, и его рассуждения эффективны, он также может быть сверхразумным.

Итак, это в основном идея сингулярности , за исключением самосотворения и самовоспроизводства.

Кох: Ну, да, я имею в виду сингулярность … Я бы хотел воздержаться от этого, потому что это еще одна более туманная идея: машины смогут проектировать себя, каждое последующее поколение будет лучше, чем предыдущее, и затем они просто взлетают и полностью выходят из-под нашего контроля. Я не считаю полезным думать об этом в реальном мире. Но если вы вернетесь к тому, где мы находимся сегодня, у нас есть сегодня удивительные сети, удивительные алгоритмы, к которым может подключиться и использовать каждый, которые уже обладают непредсказуемыми эмерджентными способностями. Они стали настолько большими, что могут делать то, чему их не обучали напрямую.

Вернемся к основному способу обучения этих сетей. Вы даете им строку текста или токены. Назовем это текстом. И тогда алгоритм предсказывает следующее слово , и следующее слово, и следующее слово, и так до бесконечности.. И все, что мы видим сейчас, исходит из этой очень простой вещи, примененной к огромному количеству рукотворных текстов. Вы кормите его всем текстом, который написали люди. Всю Википедию прочитал. Он прочитал все, я не знаю, Reddits и Subreddits и многие тысячи книг из Project Gutenberg и все такое. Он впитал в себя то, что люди написали за последнее столетие. А потом имитирует это. Итак, кто бы мог подумать, что это приведет к чему-то, что можно назвать разумным? Но кажется, что это так. Это эмерджентное, непредсказуемое поведение.

Например, хотя он не был обучен писать любовные письма, он может писать любовные письма. Он может делать лимерики. Он может генерировать шутки . Я просто попросил его сгенерировать несколько простых вопросов. Вы можете попросить его сгенерировать компьютерный код. Его также обучали коду на GitHub. Он говорит на многих языках — я тестировал его на немецком.

Итак, вы только что упомянули, что он может писать шутки. Но у него нет понятия юмора. Поэтому он не знает, почему шутка работает. Это имеет значение? Или это будет иметь значение?

Кох: Это может не иметь значения. Я думаю, что это очень ясно показывает, что существуют разные пути к разуму. Один из способов добраться до интеллекта — это человеческий интеллект. Вы берете ребенка, вы знакомите этого ребенка с его семьей, его окружением, ребенок ходит в школу, читает и т. д. И тогда он в каком-то смысле понимает, верно?

«В долгосрочной перспективе, я думаю, все решено. И да, я думаю, нам нужно беспокоиться об экзистенциальных угрозах».
—Кристоф Кох, Институт Аллена

Хотя многие люди, если вы спросите их, почему шутка смешная, они тоже не смогут вам ответить. Способность многих людей понимать вещи весьма ограничена. Если вы спросите людей, ну почему эта шутка смешная? Или как это работает? Многие люди понятия не имеют. И поэтому [GPT-4] может не так уж отличаться от многих людей. Эти большие языковые модели достаточно ясно демонстрируют, что вам не обязательно обладать человеческим типом понимания, чтобы составить текст, который, судя по всему, был написан кем-то, имеющим среднее или высшее образование.
Chat GPT напоминает мне начитанного, умного студента бакалавриата, у которого есть ответы на все вопросы, но который также чрезмерно уверен в своих ответах и ​​довольно часто его ответы неверны. Я имею в виду, что это вещь с Chat GPT. Вы не можете действительно доверять этому. Вы всегда должны проверять, потому что очень часто он дает правильный ответ, но вы можете задать другие вопросы, например, о математике, или атрибуции цитаты, или проблеме рассуждения, и ответ будет явно неправильным.

Это хорошо известная слабость, о которой вы говорите, тенденция галлюцинировать или делать утверждения, которые кажутся семантически и синтаксически правильными, но на самом деле совершенно неверны.

Кох: Люди делают это постоянно. Они делают всевозможные заявления, и часто они просто не соответствуют действительности. Итак, опять же, это не так уж отличается от людей. Но уверяю вас, для практического применения прямо сейчас вы не можете полагаться на это. Вы всегда должны проверять другие источники — Википедию, свои собственные знания и т. д . Но это изменится.

Слон в комнате, мне кажется, что мы как бы танцуем вокруг, все мы, это сознание. Вы и Фрэнсис Крик 25 лет назад среди прочего предположили, что планирование будущего и умение справляться с неожиданностями могут быть частью функции сознания. И так уж получилось, что именно с этим у GPT-4 проблемы.

Кох: Итак, сознание и интеллект. Давайте немного подумаем о них. Они совсем другие. Интеллект в конечном счете касается поведения, действий в мире. Если вы умны, вы будете вести себя определенным образом и не будете вести себя каким-то другим образом. Сознание очень разное. Сознание — это больше состояние бытия. Вы счастливы, вам грустно, вы что-то видите, что-то чувствуете, чего-то боитесь, что-то видите во сне, чего-то боитесь, что-то воображаете. Это все разные состояния сознания.

Это правда, что с эволюцией мы видим у людей и других животных и, возможно, даже у кальмаров, птиц и т. д. , что они обладают некоторым количеством интеллекта, и это идет рука об руку с сознанием. Так что, по крайней мере, у биологических существ сознание и разум идут рука об руку. Но для искусственных артефактов, таких как компьютеры, это совсем не обязательно. Они могут быть разумными, может быть, даже сверхразумными, но при этом ничего не чувствовать.

«Нам нужно беспокоиться не о сознании. Нас должны беспокоить их мотивация и высокий интеллект».
—Кристоф Кох, Институт Аллена

И, конечно же, есть одна из двух доминирующих теорий сознания, Теория Интегрированной Информации.сознания, что говорит о том, что вы никогда не сможете смоделировать сознание. Его нельзя вычислить, нельзя смоделировать. Он должен быть встроен в оборудование. Да, вы сможете построить компьютер, имитирующий человеческий мозг и то, как люди думают, но это не означает, что он обладает сознанием. У нас есть компьютерные программы, моделирующие гравитацию черной дыры в центре нашей галактики, но, как ни странно, никого не волнует, что астрофизика, который запускает компьютерную симуляцию на ноутбуке, засосет в ноутбук. Потому что у ноутбука нет причинной силы черной дыры. И то же самое с сознанием. Тот факт, что вы можете имитировать поведение, связанное с сознанием, включая речь, в том числе говорить об этом, не означает, что вы на самом деле обладаете каузальной силой для воплощения сознания. Итак, согласно этой теории, можно сказать, что эти компьютеры, хотя они могут быть такими же или даже более разумными, чем люди, они никогда не будут сознательны. Они никогда не почувствуют.

Который вам, кстати, на самом деле не нужен для чего-то практического. Если вы хотите создавать машины, которые помогают нам и служат нашим целям, предоставляя текст и предсказывая погоду или фондовый рынок, сочиняя код или ведя войны, вас на самом деле не волнует сознание. Вы заботитесь о рассуждениях и мотивации. Машина должна уметь предсказывать, а затем на основе этого предсказания делать определенные вещи. И даже в сценариях конца света нас должно беспокоить не сознание. Нас должна беспокоить их мотивация и высокий интеллект. И это может быть независимо от сознания.

Почему мы должны беспокоиться о них?

Кох: Послушайте, мы доминирующий вид на планете, хорошо это или плохо, потому что мы самые умные и самые агрессивные. Теперь мы создаем существ, которые явно все лучше и лучше подражают одному из наших уникальных признаков — интеллекту. Конечно, некоторые люди, военные, независимые государственные деятели, террористические группы, захотят сочетать передовые технологии интеллектуальных машин с боевыми возможностями. Рано или поздно это произойдет. Кроме того, у вас есть машины, которые могут быть полуавтономными или даже полностью автономными, очень умными и в то же время очень агрессивными. И это не то, что мы хотим сделать без очень, очень тщательного обдумывания.

Но для такого беспредела потребуется и умение планировать, и мобильность, то есть воплощение во что-то, подвижная форма.

Кох: Верно, но это уже происходит. Подумайте об автомобиле, например, о Тесле. Перенесемся еще на 10 лет вперед. Вы можете вложить в дрон возможности чего-то вроде GPT. Посмотрите, что сейчас делают атаки дронов. Иранские беспилотники, которые русские покупают и запускают в Украину. А теперь представьте, что эти дроны могут подключиться к облаку и получить превосходные интеллектуальные способности.

Есть недавняя статья группы авторов из Microsoft , и они теоретизируют о том, есть ли у GPT-4 теория разума .

Кох: Подумайте о романе. Любые романы о том, что думает главный герой, а потом то, что он или она приписывает тому, что думают другие. Большая часть современной литературы посвящена тому, что люди думают, во что верят, чего боятся или чего желают. Так что неудивительно, что GPT-4 может ответить на такие вопросы.

Это действительно человеческое понимание? Это гораздо более сложный вопрос для грока. "Это имеет значение?" более актуальный вопрос. Если эти машины будут вести себя так, как будто они нас понимают, то да, я думаю, это еще один шаг на пути к искусственному обобщенному интеллекту, потому что тогда они начнут понимать нашу мотивацию — включая, возможно, не только общие человеческие мотивы, но и мотивацию конкретного человека в конкретная ситуация и что это означает.

«Когда люди говорят, что в долгосрочной перспективе это опасно, это не значит, ну, может быть, через 200 лет. Это может означать, что через три года это может быть опасно».
—Кристоф Кох, Институт Аллена

Еще один риск, которому также уделяется много внимания, заключается в том, что эти модели можно использовать для создания дезинформации в ошеломляющих масштабах и с ошеломляющей гибкостью.

Кох: Полностью. Вы это уже видите. Вокруг ареста Дональда Трампа уже было несколько глубоких фейков , верно?

Так что, похоже, это действительно открывает какую-то новую эру. Я имею в виду, в общество, которое уже охвачено дезинформацией, распространяемой социальными сетями. Или, я бы сказал, усиленный социальными сетями.

Кох: Я согласен. Вот почему я был одним из первых, кто подписал это предложение , которое распространялось Институтом будущего жизни и призывало технологическую отрасль сделать паузу как минимум на полгода, прежде чем выпустить следующую, более мощную модель большого языка. Это не призыв остановить разработку еще более мощных моделей. Мы просто говорим: «Давайте просто нажмем здесь паузу, чтобы попытаться понять и защитить. Потому что он очень быстро меняется». Основным изобретением, которое сделало это возможным, являются трансформаторные сети, верно? И они были опубликованы только в 2017 году в статье Google Brain « Внимание — это все, что вам нужно ». А затем GPT, оригинальный GPT, родился в следующем году, в 2018 году. GPT-2в 2019, кажется, и в прошлом году GPT-3 и ChatGPT . А теперь ГПТ-4 . Итак, где мы будем через 10 лет?

Как вы думаете, преимущества перевесят любые риски, с которыми мы столкнемся в краткосрочной перспективе? Другими словами, окупится ли это в конечном итоге?

Кох: Ну, это зависит от вашего долгосрочного взгляда на это. Если это экзистенциальный риск, если есть возможность вымирания, то, конечно, ничто не может его оправдать. Я не умею читать будущее, конечно. Нет никаких сомнений в том, что эти методы — я имею в виду, я уже вижу это в своей работе — эти большие языковые модели делают людей более сильными программистами. Вы можете быстрее получить новые знания или взять существующие знания и манипулировать ими. Они, безусловно, умножают силу для людей, обладающих знаниями или навыками.

Десять лет назад такое даже представить нельзя было. Я помню, как еще шесть или семь лет назад люди спорили: «Ну, эти большие языковые модели очень быстро насыщаются. Если вы увеличите их, вы не сможете продвинуться намного дальше». Но это оказалось неправильным. Даже сами изобретатели были удивлены, в частности, появлением этих новых способностей, таких как способность рассказывать анекдоты, объяснять программу и выполнять определенную задачу без обучения этой задаче.

Ну, это не очень обнадеживает. Tech выпускает эти очень мощные модельные системы. И сами люди, которые их программируют, говорят, что мы не можем предсказать, какое новое поведение возникнет из этих очень больших моделей. Что ж, это заставляет меня волноваться еще больше. Так что в долгосрочной перспективе, я думаю, все на столе. И да, я думаю, нам нужно беспокоиться об экзистенциальных угрозах. К сожалению, когда вы разговариваете с ИИ-специалистами в ИИ-компаниях, они обычно говорят: «О, это все просто смехотворно». Это все истерика. Давайте поговорим о практических вещах прямо сейчас. Ну, конечно, они сказали бы это, потому что им платят за продвижение этой технологии, и им платят необычайно хорошо. Так что, конечно, они всегда будут настаивать на этом.

Я чувствую, что консенсус действительно пошатнулся из-за GPT-3.5 и GPT-4. Это действительно привело к идее, что создание ОИИ — это только вопрос времени. Ты бы согласился с этим?

Кох: Да. Хотя я бы сказал по-другому: людей, которые утверждают, что мы не доберемся до ОИИ, становится все меньше и меньше. Это арьергардная акция, которую ведут в основном гуманитарии: «Ну, но они еще не умеют этого делать. Они до сих пор не могут написать «Смерть в Венеции ». Что является правдой. На данный момент ни одна из этих ТШП не выпустила роман. Вы знаете, роман из 100 000 слов. Но я подозреваю, что это также будет вопросом времени, прежде чем они смогут это сделать.

Если бы вам пришлось угадывать, сколько времени вы бы сказали, что это будет?

Кох: Не знаю. Я сдался. Это очень сложно предсказать. Это действительно зависит от доступного учебного материала, который у вас есть. Написание романа требует долгосрочного развития характера. Если вы думаете о «Войне и мире» или «Властелине колец» , у вас есть персонажи, развитие которых занимает более тысячи страниц. Итак, вопрос в том, когда ИИ сможет получить такие нарративы? Конечно, это будет быстрее, чем мы думаем.

Итак, как я уже сказал, когда люди говорят, что в долгосрочной перспективе это опасно, это не значит, ну, может быть, через 200 лет. Это может означать, что через три года это может быть опасно. Когда мы увидим первое применение ТШП в военных целях? Это может произойти к концу этого года.

Но единственное, что я могу придумать, что может произойти в 2023 году с использованием большой языковой модели, — это какая-то согласованная пропагандистская кампания или дезинформация. Я имею в виду, я не вижу, чтобы он управлял смертоносным роботом, например.

Кох: Не сейчас, нет. Но опять же, у нас есть эти дроны, и дроны становятся очень хорошими. И все, что вам нужно, это компьютер, который имеет доступ к облаку и может получать доступ к этим моделям в режиме реального времени. Так что это просто вопрос сборки правильного оборудования. И я уверен, что именно об этом думают военные, будь то обычные вооруженные силы или террористические организации, и однажды они удивят нас такой атакой. Прямо сейчас, что может случиться? Вы могли получить дипфейки — всевозможные неприятные дипфейки или людей, объявляющих войну или неминуемую ядерную атаку. Я имею в виду, что бы ни породила твоя темная фантазия. Это мир, в котором мы сейчас живем.

Ну, каковы ваши лучшие сценарии? На что вы надеетесь?

Кох: Мы прорвемся, как всегда запутались. Но кот выпал из мешка. Если вы экстраполируете эти текущие тенденции на три-пять лет вперед, и учитывая этот очень крутой экспоненциальный рост мощности этих больших языковых моделей, да, могут произойти всевозможные непредсказуемые вещи. И некоторые из них произойдут. Мы просто не знаем, какие.