Кейт Кроуфорд: Атлас искусственного интеллекта: руководство для будущего

Посвящается Эллиоту и Маргарет

Kate Crawford

Atlas of AI

Power, Politics, and the Planetary Costs of Artificial Intelligence

* * *

Печатается с разрешения правообладателя YALE UNIVERSITY PRESS.

© Кроуфорд К., текст, 2021

© ООО Издательство «АСТ», 2023

© Захватова О., перевод, 2023

© Дрёмов А. С., тов. знак, 2023

* * *

Введение

Самая умная лошадь в мире

В конце девятнадцатого века Европу покорила лошадь по кличке Ганс. Умный Ганс поражал воображение: он решал математические задачи, определял время, дни в календаре, различал музыкальные тона, составлял слова и предложения. Люди стекались посмотреть, как немецкий жеребец отстукивает копытом ответы на сложные задачи и неизменно приходит к правильному ответу. «Сколько будет два плюс три?» Ганс старательно отстукивал копытом по земле пять раз. «Какой сегодня день недели?» Лошадь стучала копытом, верно указывая на каждую букву на специально изготовленной доске. Ганс освоил даже более сложные вопросы, например, такие: «Я загадал число. Я вычитаю девять и получаю три. Какое число я загадал?» К 1904 году Умный Ганс стал международной знаменитостью, а газета New York Times назвала его «Чудесной берлинской лошадью, способной на все, кроме разговоров»^[1].

Дрессировщик Ганса, отставной учитель математики по имени Вильгельм фон Остен, давно увлекался интеллектом животных.

Фон Остен пытался обучать котят и медвежат порядковым номерам, однако успеха он добился лишь после того, как начал работать со своей лошадью. Сначала он научил Ганса считать, держа животное за ногу, показывая ему цифру и постукивая копытом нужное количество раз. Вскоре Ганс уже озвучивал простые суммы. Затем фон Остен ввел доску с написанным алфавитом, и Ганс научился отстукивать цифру для каждой буквы на доске. После двух лет обучения фон Остен был поражен тем, как животное хорошо усваивало интеллектуальные концепции. Поэтому он взял Ганса с собой в дорогу в качестве доказательства, что животные могут рассуждать, и стал вирусной сенсацией прекрасной эпохи.

Тем не менее, многие люди отнеслись к этому скептически, и совет Германии по образованию создал следственную комиссию для проверки научных утверждений фон Остена. Психолог и философ Карл Штумпф и его помощник Оскар Пфунгст возглавили комиссию по Гансу. Также в нее вошли управляющий цирком, отставной школьный учитель, зоолог, ветеринар и кавалерийский офицер. Однако после продолжительной проверки способностей Ганса, как в присутствии его дрессировщика, так и без него, лошадь сохраняла свой рекорд правильных ответов, и комиссия не смогла найти никаких доказательств обмана. Как позже написал Пфунгст, Ганс выступал перед «тысячами зрителей, любителей лошадей, тренеров первого ранга, и ни один из них в течение многих месяцев наблюдений не смог обнаружить никакого особого „сигнала“ между вопрошающим и лошадью»^[2].

Комиссия пришла к выводу, что методы, применяемые к обучению Ганса, более схожи с «обучением детей в начальной школе», чем с дрессировкой животных, и «достойны научной экспертизы»^[3]. Однако Штумпф и Пфунгст по-прежнему сомневались. В частности, их беспокоил один факт: когда спрашивающий не знал ответа или стоял далеко, Ганс редко отвечал правильно. Пфунгст и Штумпф задумались: а не подавал ли Гансу ответы некий непреднамеренный сигнал?

Вильгельм фон Остен и Умный Ганс

Как описал Пфунгст в своей книге 1911 года, интуиция их не подвела: поза, дыхание и выражение лица человека, задающего вопрос, едва уловимо менялись в тот момент, когда Ганс достигал правильного ответа, тем самым побуждая его остановиться^[4]. Позже Пфунгст проверил эту гипотезу на людях и подтвердил догадку. Больше всего в этом открытии его восхитило то, что люди, задающие вопросы, как правило, не знали, что сами давали подсказки лошади. Решения Умного Ганса, писал Пфунгст, основывались на бессознательных сигналах людей^[5]. Лошадь была обучена давать те ответы, которые хотел увидеть хозяин, однако зрители не сочли это умение за необыкновенный интеллект.

История Умного Ганса интересна со многих сторон: связь между желанием, иллюзией и действием; развлекательный бизнес; антропоморфизм; возникновение предубеждений и политика интеллекта. Ганс ввел в психологию термин для обозначения особого типа концептуальных ловушек – «Эффект умного Ганса» или «эффект ожидания наблюдателя», с помощью которого описываются влияния непреднамеренных подсказок экспериментаторов на испытуемых. Отношения между Гансом и фон Остеном указывают как на сложные механизмы, посредством которых предубеждения проникают в системы, так и на увязание людей в изучаемых явлениях. В настоящее время история Ганса используется в машинном обучении и служит предостерегающим напоминанием о том, что далеко не всегда можно быть точно уверенным в достоверности полученных моделью данных^[6]. Даже система, которая, казалось бы, демонстрирует впечатляющие результаты в процессе обучения, иногда делает ужасные прогнозы на основе совершенно новой информации.

Отсюда вытекает главный вопрос книги: как «создается» интеллект, и какие ловушки могут возникнуть? На первый взгляд, история Умного Ганса – это пример того, как один человек создал интеллект, учив лошадь следовать подсказкам и подражать человеческому разуму. Но с другой стороны мы видим, что практика создания интеллекта значительно шире. Такое начинание требовало подтверждения со стороны множества институтов, включая академические круги, школы, науку, общественность и военных. Более того, фон Остен и его удивительная лошадь обрели рынок – эмоциональные и экономические инвестиции, которые стимулировали туры, газетные статьи и лекции. Были сформированы бюрократические инстанции, чтобы измерить и проверить и измерить способности лошади. Отсюда следует вывод, что совокупность финансовых, культурных и научных интересов сыграла свою роль в создании интеллекта Ганса, и все кругом были заинтересованы в его уникальности.

Здесь появляются две различные мифологемы. Первая из них заключается в том, что нечеловеческие системы (будь то компьютеры или лошади) являются аналогами человеческого разума. Эта точка зрения предполагает, что при достаточной подготовке или достаточных ресурсах человекоподобный интеллект может быть создан с нуля, без учета фундаментальных межличностных отношений, и помещен в рамки более широкой экологии. Второй миф заключается в том, что интеллект – это нечто, существующее независимо; он является естественным и не сопряжен с социальными, культурными, историческими и политическими силами. На самом же деле концепция интеллекта на протяжении веков наносила огромный вред и использовалась для оправдания отношений господства – от рабства до евгеники^[7].

Эти мифологемы особенно сильны в области искусственного интеллекта, где вера в то, что человеческий интеллект может быть формализован и воспроизведен машинами, с середины двадцатого века стала аксиомой. Подобно тому, как интеллект Ганса считался схожим с человеческим и восприимчивым к обучению, так и системы искусственного интеллекта неоднократно описывались как простые, но человекоподобные формы.

В 1950 году Алан Тьюринг предсказал, что «к концу столетия употребление слов и общее мнение людей изменится настолько, что можно будет говорить о мышлении машин, даже не опасаясь возражений»^[8]. Математик Джон фон Нейман в 1958 году утверждал, что функция человеческой нервной системы «на первый взгляд цифровая»^[9]. Профессор Массачусетского технологического института Марвин Мински однажды ответил на вопрос о том, могут ли машины думать, сказав: «Конечно, машины могут думать; мы ведь тоже машины, только „мясные“»^[10]. Однако нашлись и те, кто не мог согласиться с данной теорией. Джозеф Вейценбаум, ранний изобретатель ИИ и создатель первой программы чат-бота, известной как ELIZA, считал, что представление о человеке как о простой системе обработки информации является слишком упрощенным понятием интеллекта и порождает «извращенную фантазию», будто «ученые ИИ создадут машину, которая сможет обучаться наподобие ребенка»^[11].

Это был один из основных споров в истории искусственного интеллекта. В 1961 году в Массачусетском технологическом институте состоялся знаменательный цикл лекций под названием «Управление и компьютер будущего». Звездный состав ученых-компьютерщиков, включая Грейс Хоппер, Дж. К. Р. Ликлайдера, Марвина Мински, Аллена Ньюэлла, Герберта Саймона и Норберта Винера, обсуждал стремительные достижения в области цифровых вычислений. В заключение Джон Маккарти смело заявил, что различия между человеческими и машинными задачами иллюзорны. Просто существуют некоторые сложные человеческие задачи, которые требуют больше времени для формализации и решения машинами^[12].

Однако профессор философии Хьюберт Дрейфус выступил с возражением, обеспокоенный тем, что собравшиеся инженеры «даже не рассматривают возможность того, что мозг обрабатывает информацию совершенно иначе, чем компьютер»^[13]. В своей более поздней работе «Чего не могут вычислительные машины» Дрейфус отметил, что «человеческий интеллект и опыт в значительной степени зависят от многих бессознательных и подсознательных процессов, тогда как компьютеры требуют, чтобы все процессы и данные были явными и формализованными»^[14]. Следовательно, формальные аспекты интеллекта должны быть абстрагированы, устранены или адаптированы для компьютеров, что делает их неспособными обрабатывать информацию так, как это делают люди.

С 1960-х годов в ИИ многое изменилось, включая переход от символьных систем к недавней волне шумихи вокруг методов машинного обучения. Во многом споры о способностях ИИ были забыты, а скептицизм сошел на нет. С середины 2000-х годов ИИ быстро развивался как научная область и как индустрия. В настоящее время небольшое число мощных технологических корпораций развертывают системы ИИ в планетарном масштабе, и их системы снова называют сравнимыми или даже превосходящими человеческий интеллект.

Однако история об Умном Гансе напоминает нам о том, насколько узко мы рассматриваем или признаем интеллект. Ганса учили имитировать задачи в очень ограниченном диапазоне: сложение, вычитание и отстукивание слов. Ганс демонстрировал выдающиеся способности в межвидовом общении, публичных выступлениях и значительном терпении, но все это не было признано интеллектом. По словам автора и инженера Эллен Ульман, убеждение, будто разум подобен компьютеру и наоборот, «на несколько десятилетий заразило мышление в области компьютерных и когнитивных наук», создав своего рода первородный грех^[15]. Это идеология картезианского дуализма в искусственном интеллекте: где ИИ понимается узко, как развоплощенный интеллект, отстраненный от любого отношения к материальному миру.