Роман Ямпольский: ИИ: Необъяснимый, непредсказуемый, неконтролируемый

© All Rights Reserved

Authorised translation from the English language edition published by CRC Press, a member of the Taylor & Francis Group LLC

© Издание на русском языке, дизайн. Nova Creative Group, 2025

Предисловие

«Сотворили его люди, но управлять им они не могут», – писал Джон Стейнбек в своем романе «Гроздья гнева» почти сто лет назад. И хотя речь шла о банке, сегодня эти слова можно отнести и к проблематике искусственного интеллекта (AI).

Новостной поток, который сопровождает всемирную гонку в создании искусственного сверхинтеллекта, постоянно приносит нам сообщения о превосходстве машин над человеком в решении задач. Эти успехи не только создают завышенные ожидания к разработчикам AI, но и вызывают опасения за будущее человечества среди ученых и инженеров.

Обеспокоенность эта серьезна – пионеры отрасли готовы к радикальным изменениям карьеры, чтобы обратить внимание общества на проблему контроля над AI. И хотя технология создается нами, людьми, сможем ли мы ее контролировать? Один из героев книги Ямпольского, американский специалист по AI Элиезер Юдковский, предупреждает, что «наибольшая опасность искусственного интеллекта заключается в том, что люди слишком рано решают, что понимают его».

Более того, если посмотреть в историческом плане, то первая, по-настоящему значимая технология, оказавшаяся в руках человека, – расщепление атома. Она разрабатывалась по инициативе государств, и до сих пор использование атомной энергии тщательно контролируется во всех странах. Вторая – преобразование информации. Однако есть одно важное отличие – впервые радикальная, трансформационная технология развилась и сосредоточивалась в частных компаниях.

В публичном поле сегодня представлено множество мнений о контролируемости AI. Но ситуация больше напоминает библиотеку после ремонта – книги на полках хорошие, но не на своих местах. На этом фоне работа доктора Ямпольского появилась в правильный момент: ученый предлагает несколько методов и классификаций для ответа на вопрос, можем ли мы контролировать AI. И кажется, это именно то, что нужно современному читателю, – тщательно и аккуратно разобраться в теме, используя научный подход. Обрисовывая долгосрочную перспективу, автор дает однозначный ответ – на существующей технологической парадигме мы не можем полностью и однозначно контролировать AI и последствия его применения.

Однако отнести Ямпольского к техноскептикам нельзя. Со свойственной ученым основательностью он отделяет зерна от плевел: надо использовать слабый AI там, где это полезно, например в медицине, и тщательно изучать все последствия, где есть риски. В случае искусственного суперинтеллекта любая ошибка может стать последней для человечества. И чтобы избежать катастрофических сценариев, необходимы исследования новых подходов к разработке моделей. Ямпольский считает, что любое определение AI критически ошибочно, если в нем не используется слово «безопасность».

Именно поэтому книга достойна внимания руководителей технологических компаний, разрабатывающих и внедряющих AI. Кроме того, ее будет полезно прочитать всем исследователям, вовлеченным в создание AI, – осознание небезопасности этой технологии должно стать необходимым шагом для всех дальнейших работ. Единственное, что мы не можем себе позволить, – игнорировать риски необъяснимого, непредсказуемого и неконтролируемого AI.

Моему другу Яану Таллинну, человеку, сделавшему для мира больше, чем вы когда-либо узнаете.

Благодарности

Я хотел бы поблагодарить многих людей за помощь, советы, замечания к моей работе, содействие в исследованиях – или просто за то, что они так или иначе подталкивали мои размышления. Одних мне повезло встретить лично, другие остались моими виртуальными собеседниками – но для идей это неважно, так что все эти люди в равной степени замечательны. Уверен, что я многих упустил, ведь я не обладаю сверхразумом, да и память у меня скверная. Заранее приношу извинения всем, кого я здесь не упомянул. Вклад многих выдающихся ученых я признаю, цитируя их работы, ведь это главное признание для любого исследователя. Большое спасибо вам: Макс Тегмарк, Иэн Гудфеллоу, Кеннет Риган, Эдуард Френкель, Себастьен Зани, Сорен Эльверлин, Мелисса Хелтон, Анна Хусфельдт, Торе Хусфельдт, Дэвид Келли, Дэвид Джилк, Скотт Ааронсон, Роб Бенсингер, Сет Баум, Тони Барретт и Алексей Турчин. Последними, но не в последнюю очередь я хочу поблагодарить Яана Таллинна и Фонд выживания и процветания (Survival and Flourishing Fund), а также Илона Маска и Институт будущего жизни (Future of Life Institute) за частичное финансирование моей работы, посвященной безопасности ИИ.

Об авторе

Доктор Роман Владимирович Ямпольский – доцент, штатный сотрудник кафедры компьютерно-технических наук Инженерной школы Дж. Б. Спида при Луисвиллском университете. Основатель и действующий руководитель лаборатории кибербезопасности при Луисвиллском университете, автор множества книг, в т. ч. «Искусственный сверхинтеллект. Футуристический подход» («Artificial Superintelligence: A Futuristic Approach»), редактор сборников «Безопасность и защита ИИ» («AI Safety and Security») и «Технологическая сингулярность» («The Technological Singularity»). За время работы в Луисвиллском университете Роман Ямпольский получил звания почетного профессора-преподавателя, профессора года, самого популярного преподавателя своего факультета, эксперта в техническом образовании и награду за выдающееся начало карьеры в образовании, вошел в четверку лучших преподавателей факультета и десятку лучших профессоров года, а также удостоился многих других наград и почетных званий. Роман Ямпольский – старший член Общества изучения сильного и слабого ИИ института IEEE, член Академии наук штата Кентукки, ранее был научным руководителем Machine Intelligence Research Institute (MIRI) и Global Catastrophic Risk Institute (GCRI).

Роман Ямпольский получил степень доктора философии на кафедре компьютерно-технических наук университета штата Нью-Йорк в Буффало. Четыре года был стипендиатом Программы интегрированного обучения аспирантов и исследовательских стажировок Национального научного фонда США (National Science Foundation, NSF). Перед докторантурой Роман Ямпольский получил комбинированную степень бакалавра/магистра информатики (с отличием) в Рочестерском технологическом институте (шт. Нью-Йорк, США). После защиты докторской диссертации занял должность члена-корреспондента в Центре расширенного пространственного анализа Университетского колледжа Лондона в Лондонском университете. Ранее проводил исследования в Лаборатории прикладных вычислений в Рочестерском технологическом институте и в Центре комплексной биометрии и датчиков университета штата Нью-Йорк в Буффало. Роман Ямпольский – выпускник Университета сингулярности (летняя программа последипломного образования, 2012 г.) и приглашенный научный сотрудник Института сингулярности (Институт исследований машинного интеллекта).

Основная сфера интересов Романа Ямпольского – безопасность ИИ. Он автор более 200 публикаций, включая многочисленные статьи в журналах и книгах. Его исследования цитируются тысячами ученых и рассматриваются в популярных журналах как в США, так и за рубежом. Работы Романа Ямпольского упоминаются более 10 000 раз в различных статьях в СМИ более чем на 40 языках.

Глава 1
Введение^[1]

1.1. Введение

Стремительный прогресс искусственного интеллекта (ИИ) за последнее десятилетие сопровождался и несколькими громкими провалами [1]. Стала очевидной необходимость следить за тем, чтобы ИИ работал на благо человечества. Так возникла новая сфера исследований – безопасность ИИ [2], охватывающая широкий спектр областей. Число публикаций по безопасности ИИ в последнее время уверенно растет [3–10].

Однако в основе всех этих исследований лежит предположение, что задача контроля ИИ в принципе разрешима, хотя не существует ни строгих математических доказательств тому, ни предпосылок к их появлению. В компьютерных науках принято сначала определить, относится ли задача к числу решаемых, а затем уже вкладывать ресурсы в ее решение.

Все признают, что контроль ИИ, возможно, является одной из важнейших проблем, стоящих перед человечеством, – и тем не менее, эта сфера остается малопонятной, недостаточно изученной и плохо исследованной. Задачи компьютерных наук принято делить на решаемые, нерешаемые, неразрешимые или имеющие частичное решение – но мы до сих пор не знаем, к какому виду относится задача контроля ИИ. Мы предполагаем, что в некоторых ситуациях возможны определенные формы контроля, но существует и вероятность того, что во многих случаях частичного контроля будет недостаточно. Пока мы не понимаем ни природы, ни осуществимости задач контроля ИИ, мы не сможем выработать соответствующую методику [11].

Потенциальные методы контроля сильного ИИ (Artificial General Intelligence, AGI) делят две общие категории: методы, основанные на контроле возможностей, и методы контроля мотивации [12]. Первые призваны минимизировать вред от систем сильного ИИ, помещая их в ограниченную среду, оснащенную механизмами (триггерами) останова. Методы контроля мотивации предполагают разработку систем сильного ИИ, которые будут наделены желанием не причинять вреда даже без ограничения их возможностей. Широкого признано, что контроль возможностей – в лучшем случае временная мера и не может считаться долгосрочным решением задачи контроля сильного ИИ [12]. Кроме того, использование средств контроля мотивации может потребоваться еще до запуска системы – на стадии разработки и обучения.

1.2. Задача контроля ИИ

Мы определяем проблему контроля ИИ следующим образом:

«Как человечество может безопасным образом осуществлять контроль, используя высшую форму интеллекта с выгодой для себя?»

Это фундаментальная проблема безопасности ИИ, которая сама по себе посвящена обеспечению безопасности интеллектуальных систем для всех заинтересованных сторон.

В настоящее время для обеспечения безопасности ИИ чаще всего рассматривают метод согласования ценностей^[2]. Тем не менее, несмотря на долгие годы исследований, степень безопасности все еще сложно протестировать или точно измерить даже в программном обеспечении (ПО), которое не используют ИИ [13]. В лучшем случае мы, пожалуй, сможем отличить совершенно безопасную систему от системы, сравнимой по безопасности с человеком, выполняющим ту же задачу. Но вряд ли общество смирится с ошибками машин, даже если они возникают не чаще, чем человеческие ошибки. Мы ожидаем, что машины будут работать лучше нас, и не согласимся на частичную безопасность настолько мощных систем. Влияние ИИ (как положительное, так и отрицательное [3]) во многом зависит от его способностей. В том, что касается экзистенциальных угроз, частичная безопасность недопустима.

На первый взгляд кажется, что для решения задачи контроля нужно разработать машину, в точности выполняющую команды человека. Но такая форма контроля неоптимальна – команды могут быть противоречивыми или парадоксальными, человеческие языки неоднозначны [14], а постановка задач бывает некорректной (хотя желательно предусмотреть возможность обратной связи от человека). Предполагается, что для решения этой проблемы ИИ должен стать идеальным советником, который будет избегать проблем с неверным толкованием прямых команд и не будет допускать поступления команд от злоумышленников.