В январе британо-американский компьютерный ученый Стюарт Рассел стал первым, кто подписал открытое письмо, призывающее исследователей задуматься глубже о своем стремлении создавать искусственный интеллект мощнее и мощнее. «Мы рекомендуем проведение расширенных исследований, направленных на обеспечение надежности и доброжелательности систем ИИ с растущей мощностью, — было указано в письме. — Наши системы ИИ должны делать то, что мы хотим, чтобы они делали».

Тысячи людей подписали это письмо, включая ведущих исследователей искусственного интеллекта из Google, Facebook, Microsoft и других промышленных центров, а также ведущих компьютерных ученых, физиков и философов по всему миру. К концу марта порядка 300 исследовательских групп начали проводить новые исследования по «сохранению доброжелательности искусственного интеллекта» на средства 37 подписанта письма, изобретателя-предпринимателя Элона Маска.

Расселл, 53 года, является профессором компьютерных наук и основателем Центра интеллектуальных систем в Калифорнийском университете в Беркли и давно изучает мощь и опасность думающих машин. Он автор более 200 работ и стандартного учебника в этой сфере, «Искусственный интеллект: современный подход» (в соавторстве с Питером Норвигом). Однако быстрый прогресс в сфере ИИ придал старым опасениям Расселла существенную актуальность.

За последнее время, говорит он, искусственный интеллект добился больших успехов, отчасти благодаря алгоритмам нейронного обучения. Они используются в программном обеспечении распознавания лиц Facebook, персональными ассистентами смартфонов и самоуправляемыми автомобилями Google. Не так давно на весь мир прогремела сеть искусственный нейронов, которая научилась играть в видеоигры Atari лучше человека за пару часов, взяв за основу лишь данные, представленные на экране, и цель набрать максимум очков — никаких заранее запрограммированных знаний об инопланетянах, патронах, право, лево, низ, верх.

«Если бы ваш новорожденный ребенок сделал такое, вы бы подумали, что он одержим», — говорит Расселл.

Журнал Quanta Magazine взял у Расселла интервью во время завтрака на встрече Американского физического сообщества в марте 2015 году в Сант-Антонио, штат Техас, за сутки до того, как он должен был держать речь о будущем искусственного интеллекта. В этой обработанной и ужатой версии интервью Расселл размышляет о природе интеллекта и о стремительном приближении проблем, связанных с безопасностью машин.

Вы думаете, что цель вашей области — разработка искусственного интеллекта, который «доказуемо сходится» с человеческими ценностями. Что это значит?

Это намеренно провокационное заявление, поскольку совмещение двух вещей — «доказуемо» и «человеческие ценности» — уже само по себе противоречиво. Вполне может быть, что человеческие ценности останутся загадкой навсегда. Но точно так же, как эти ценности раскрываются в нашем поведении, вы можете надеяться на то, что машина сможет «принять» большинство из них. По углам могут остаться кусочки и части, которые машина не поймет или в которых мы не сможем найти единое мнение среди своих же. Но пока машина будет отвечать правильным требованиям, вы сможете показывать, что она безвредна.

Как вы собираетесь этого добиться?

Вот над каким вопросом я сейчас работаю: в какой момент машина получит максимально похожие ценности на те, которые нужны людям? Я думаю, одним ответом может быть техника под названием «обратное обучение с закреплением». Обычное обучение с закреплением — это процесс, когда вы получаете награды и наказания, а ваша цель — довести процесс до получения максимального числа наград. Это и делает система DQN (играющая в Atari); она получает игровой счет, и ее цель — сделать этот счет выше. Обратное обучение с закреплением — другой способ. Вы видите некое поведение и пытаетесь понять, какой счет это поведение пытается увеличить. К примеру, ваш домашний робот видит, что вы утром выползаете из кровати, чтобы закинуть странный коричневый кружок в шумную машину, проделать сложную операцию с паром и горячей водой, молоком и сахаром, и после этого выглядите счастливым. Система определяет, что часть важной ценности для человека — получить кофе с утра.

В книгах, фильмах и Интернете есть огромное количество информации о человеческих действиях и отношениях к действиям. Это невероятная база данных для машин, которые изучают ценности людей — кто получает медали, кто отправляется за решетку и почему.

Как вы попали в сферу искусственного интеллекта?

Когда я был в школе, ИИ не считался академической дисциплиной по большому счету. Но я учился в школе-интернате в Лондоне, и у меня была возможность не посещать обязательное регби, занимаясь компьютерной наукой в соседнем колледже. Одним из моих проектов была программа, которая учится играть в крестики-нолики. Я потерял всякую популярность, потому что сидел за компьютером колледжа до победного конца. В следующем году я написал шахматную программу и получил разрешение одного из профессоров Императорского колледжа на использование их гигантского мэйнфреймового компьютера. Было невероятно пытаться выяснить, как научить его играть в шахматы.

Тем не менее все это было просто хобби; на тот момент моим академическим интересом была физика. Я занимался физикой в Оксфорде. А когда затем я подался в аспирантуру, то подался на теоретическую физику в Оксфорде и Кембридже и на компьютерные науки в Массачусетском университете и Стэнфорде, не осознавая, что пропустил все сроки для подачи в США. К счастью, Стэнфорд наплевал на сроки, поэтому я прошел в него.

За свою карьеру вы потратили много времени, пытаясь понять, что такое интеллект как необходимое условие, которое могут понять и достичь машины. Что вы узнали?

Во время моего диссертационного исследования в 80-х годах, я начал думать о рациональном принятии решений и о проблеме практической невозможности оного. Если бы вы были рациональны, вы бы полагали: вот мое текущее состояние, вот действия, которые я могу совершить, потом могу сделать вот это, потом это; какой путь гарантированно приведет меня к цели? Определение рационального поведение требует оптимизации всего будущего Вселенной. Это невозможно с точки зрения вычислений.

Нет никакого смысла пытаться впихнуть в ИИ невозможное, поэтому я задумался о другом: как на самом дел мы принимаем решения?

Ну и как же?

Один из трюков — это думать в краткосрочной перспективе, а затем предполагать, каким может выглядеть дальнейшее будущее. Шахматные программы, например, — если бы были рациональными, то разыгрывали исключительно ходы, гарантирующие мат, но они же не делают этого. Вместо этого они просчитывают десятки ходов вперед и делают предположения о том, насколько полезны эти грядущие состояния, а затем принимают решения, которые ведут к одному из наилучших состояний.

Другое, о чем важно не забывать, это проблема решений на множественных уровнях абстракции, «иерархическое принятие решения». Человек совершает порядка 20 триллионов физических действий за свою жизнь. Чтобы прийти на эту конференцию и рассказать что-то, понадобилось совершить 1,3 миллиарда действий или около того. Если бы вы были рациональными, вы бы пытались просчитать все 1,3 миллиарда шагов — что, по сути, совершенно невозможно. Люди делают это, благодаря огромному багажу абстрактных действий высокого уровня. Вы не думаете, «когда я зайду домой, я поставлю левую ногу или правую на коврик, а затем смогу то-то и то-то». Вы думаете, «я пойду в магазин и куплю книгу. Потом вызову такси». И все. Вы вообще не задумываетесь особо, пока не требуется уточнение сложных деталей. Так и живем, в принципе. Будущее размыто, очень много деталей близки к нам во времени, но в основном представлено большими кусками вроде «получить степень», «завести детей».

Неужели компьютеры в настоящее время способны на иерархическое принятие решений?

Это один из недостающих кусков головоломки сейчас: откуда берутся все эти действия на высоком уровне? Мы не думаем, что программы вроде сети DQN имеют абстрактные представления о действиях. Есть много игр, которые DQN просто не понимает, и эти игры сложные, требующие многих и многих шагов, просчитанных наперед, в виде примитивных представлений о действиях — что-то типа когда человек думает «что мне нужно, чтобы открыть дверь?», а открытие двери включает извлечение ключа и так далее. Если у машины нет такого представления «открыть дверь», она не сможет ничего сделать.

Но если эта проблема будет решена — а это вполне возможно — тогда мы увидим очередной существенный рост возможностей машин. Есть две или три проблемы, и если решить их все, тогда мне непонятно, останутся ли еще крупные препятствия до ИИ человеческого уровня.

Что беспокоит вас в возможности появления ИИ человеческого уровня?

В первом издании моей книги (1994 года) есть раздел «Что, если у нас получится?», потому что мне казалось, что люди не задумываются об этом особо. Наверное, тогда это казалось слишком далеким, несбыточным. Но очевидно же, что успех станет гигантским событием. «Крупнейшее событие в истории человечества», наверное, так можно это описать. И если это так, тогда нам нужно хорошо обдумать, что мы делаем, чтобы отточить форму этого возможного события.

Основная идея взрыва интеллекта заключается в том, что как только машины достигнут определенного уровня интеллекта, они смогут работать над ИИ так же, как мы, и улучшать свои собственные характеристики — перепрограммировать себя и изменять начинку — и их интеллект будет расти не по дням, а по часам. За последние несколько лет сообщество постепенно отточило свои аргументы касательно того, почему это может быть проблемой. Самый убедительный аргумент может заключаться в уравнении ценностей: вы строите систему, которая чрезвычайно хороша в оптимизации полезных функций, но само понятие полезности остается под вопросом. Оксфордский философ Ник Бостром приводит пример со скрепкой. Вы говорите «сделай пару скрепок», а в итоге вся планета оказывается складом скрепок. Вы строите сверхоптимизатор, но полезная функция, которой вы можете его наградить, вполне может стать бесполезной.

Как насчет различий в человеческих ценностях?

Это внутренняя проблема. Можно сказать, машины должны сходить на обочину и ничего не делать в зонах, где может возникнуть конфликт ценностей. И это сложная задача. Я думаю, мы должны создавать в системе ценностей. Если вам нужен домашний робот, он должен хорошо ориентироваться в человеческих ценностях; в противном случае, он будет делать глупые вещи, помещая кота в духовку, поскольку в холодильнике нет еды, а дети голодны. Реальная жизнь полна подобных компромиссов. Если машина идет на такие компромиссы и выясняется, что она чего-то не понимает — чего-то, что очевидно людям, — едва ли вы захотите такую машину домой.

Я не вижу никакого реального пути по созданию своего рода индустрии ценностей. И я также думаю, что есть огромный экономический стимул для ее создания. Домашний робот сделает одну-две вещи неправильно — вроде запекания кота в духовке — и люди моментально потеряют к нему доверие.

Возникает вопрос, если мы будем учить интеллектуальные системы вести себя правильно, то по мере перехода к более разумным системам будет ли это означать, что мы будем получать лучшую систему ценностей, очищенную от глупых моментов, или машины все равно будут выкаблучиваться? У меня пока нет ответа на этот вопрос.

Вы утверждали, что мы должны математически проверять поведение ИИ при всех возможных обстоятельствах. Как это будет работать?

Одна из трудностей, на которые указывают люди, в том, что система может произвольно произвести новую версию себя, у которой будут другие цели. Это один из сценариев, о которых постоянно говорят писатели-фантасты: каким-то образом машина самопроизвольно получает цель уничтожить человеческую расу. Вопрос вот в чем: можете ли вы доказать, что ваши системы никогда, какими бы умными не были, не перепишут изначальные цели, заложенные людьми?

Будет относительно легко доказать, что система DQN, будучи написанной, никогда не смогла бы изменить свою цель или оптимизировать ее. Но представьте, что кто-то с проводами на голове на самом деле залезет в консоль игры Atari и изменит физически вещь, которая зарабатывает очки на экране. DQN пока так не может, поскольку она находится в самой игре и у нее нет манипулятора. Но если машина будет функционировать в реальном мире, это будет серьезной проблемой. Итак, сможете ли вы доказать, что ваша система спроектирована таким образом, что никогда не сможет изменить механизм, привязанный к набору очков, даже если захочет? Это доказать сложнее.

В этом направлении имеются какие-либо многообещающие достижения?

Есть развивающаяся область так называемых киберфизических систем, связанная с системами, которые выводят компьютеры в реальный мир. С киберфизической системой вы получаете пакет битов, представляющих программу управления воздушным движением, затем реальные самолеты и заботитесь о том, чтобы эти самолеты не столкнулись. Вы пытаетесь доказать теорему о сочетании битов и физического мира. Вам нужно написать довольно консервативное математическое описание физического мира — самолеты разгоняются таким-то и таким-то образом — и ваши теоремы должны оставаться истинными в реальном мире так долго, пока реальный мир будет находиться в таком себе конверте из поведений.

Вы же сказали, что может быть математически невозможно формально проверить систему ИИ?

Существует общая проблема «неразрешимости» во многих вопросах, которые вы можете задать на тему компьютерных программ. Алан Тьюринг показал, что ни одна компьютерная программа не сможет решить, когда другая возможная программа выдаст ответ, а когда застрянет в бесконечном цикле. Поэтому если вы начнете с одной программы, а она сможет себя перезаписать и стать другой программой, у вас появится проблема, поскольку вы не сможете доказать, что все возможные другие программы будут отвечать определенным критериям. Так стоит ли тогда переживать по поводу неразрешимости систем ИИ, которые перезаписывают себя? Они будут перезаписывать себя в новую программу на основе существующей программы плюс опыта, который получают из реального мира. Какими будут последствия тесного взаимодействия программ с реальным миром? Мы пока не знаем.