Поддержание эффективной и дисциплинированной рабочей силы на первых фабриках потребовало новых систем наблюдения и контроля. И вот одним из таких изобретений на заре промышленного производства стал наблюдательный корпус – круговая конструкция, где все рабочие фабрики располагались внизу, а начальство работало на возвышенности в центре, чтобы иметь возможность следить за рабочими. Разработанная в 1780-х годах в России английским военно-морским инженером Сэмюэлем Бентамом, находившимся на службе у князя Потемкина, эта система позволяла опытным руководителям следить за своими необученными подчиненными – в основном русскими крестьянами, которых Потемкин передал Бентаму, – на предмет выявления признаков некачественной работы. Кроме того, Бентам смог следить за надсмотрщиками на предмет признаков плохой дисциплины. Надсмотрщики, в основном мастера-кораблестроители, нанятые из Англии, вызывали у Бентама сильное раздражение своей склонностью к выпивке и мелким разногласиям друг с другом. «Утро за утром меня занимают главным образом споры между моими офицерами», – жаловался Бентам^[124]. По мере того, как его разочарование росло, он приступил к перепланировке, которая максимально увеличила его способность следить за ними и за системой в целом. После визита своего старшего брата, философа-утилитариста Джереми Бентама, инспекционный корпус Сэмюэля стал источником вдохновения для знаменитого паноптикона – проекта типовой тюрьмы с центральной сторожевой башней, с которой охранники могли наблюдать за заключенными в камерах^[125].

Со времен книги Мишеля Фуко «Надзирать и наказывать» стало привычным считать тюрьму отправной точкой современного наблюдения, а старшего Бентама – ее идейным родоначальником. На самом же деле тюрьма обязана своим происхождением работе младшего Бентама в контексте раннего производственного предприятия^[126]. Паноптикон зародился как механизм рабочего места задолго до того, как был концептуализирован для тюрем.

Хотя работа Сэмюэля Бентама над инспекционным корпусом в значительной степени исчезла из нашей коллективной памяти, история, лежащая в ее основе, остается частью общего лексикона. Корпус являлся частью стратегии, скоординированной работодателем Бентама, князем Потемкиным, который хотел добиться расположения при дворе Екатерины Великой, продемонстрировав возможности модернизации сельской России и превращения крестьянства в современную рабочую силу. Инспекционный дом был построен для того, чтобы служить зрелищем для приезжих высокопоставленных лиц и финансистов, подобно так называемым потемкинским деревням, которые были не более чем украшенными фасадами, призванными отвлечь внимание наблюдателей от бедных сельских пейзажей, скрытых от глаз.

И это только одна генеалогия. Многие другие истории труда сформировали подобные практики наблюдения и контроля. Плантационные колонии Америки использовали принудительный труд для выращивания таких товарных культур, как сахар, а рабовладельцы зависели от систем постоянного наблюдения. Как описывает Николас Мирзоефф в книге «Право смотреть», центральную роль в экономике плантаций играл надсмотрщик, который следил за производственным процессом на колониальной плантации рабов. И этот надзор означал упорядочивание работы в рамках системы крайнего насилия^[127]. Как описал один плантатор в 1814 году, роль надсмотрщика заключалась в том, чтобы «ни на мгновение не оставлять раба в бездействии; он следит за производством сахара, ни на секунду не покидая рабочее место»^[128]. Этот режим также опирался на подкуп некоторых рабов едой и одеждой, чтобы привлечь их к расширенной сети наблюдения и поддерживать дисциплину и скорость работы в моменты отсутствия надсмотрщика^[129].

В наши дни роль надзора возложена в первую очередь на технологии мониторинга. Управленческий класс использует широкий спектр технологий для наблюдения за сотрудниками, включая отслеживание их передвижений с помощью приложений, анализ лент в социальных сетях, сравнение шаблонов ответов на электронные письма и бронирования встреч, а также стимулирование различными предложениями, чтобы заставить их работать быстрее и эффективнее. Данные о сотрудниках используются для составления прогнозов о том, кто с наибольшей вероятностью добьется успеха (в соответствии с узкими, поддающимися количественной оценке параметрами), кто может отклоняться от целей компании, а кто способен организовывать других работников. Некоторые из них используют методы машинного обучения, а другие представляют собой более простые алгоритмические системы. По мере распространения искусственного интеллекта в производственных помещениях многие базовые системы мониторинга и слежения расширяются за счет новых прогностических возможностей, превращаясь в более инвазивные механизмы управления работниками, контроля активов и извлечения ценности.

Потемкинский ИИ и интернет-площадка Mechanical Turk

Один из менее признанных фактов об искусственном интеллекте – это количество низкооплачиваемых работников, которые должны помогать создавать, поддерживать и тестировать системы ИИ. Этот невидимый труд принимает различные формы: работа в цепочке поставок, краудворкинг по требованию и традиционные должности в сфере услуг. Эксплуатационные формы труда существуют на всех этапах создания ИИ, начиная с горнодобывающего сектора, где ведется добыча и транспортировка ресурсов для создания основной инфраструктуры систем ИИ, и заканчивая программной частью, где распределенные рабочие силы получают копейки за микрозадачу. Мэри Грей и Сид Сури называют такой скрытый труд «призрачной работой»^[130]. Лилли Ирани называет его «автоматизацией, подпитываемой человеком»^[131]. Эти ученые обратили внимание на опыт краудворкеров или микроработников, которые выполняют повторяющиеся цифровые задачи, лежащие в основе систем ИИ, такие как маркировка тысяч часов учебных данных и проверка подозрительного или вредоносного контента. Рабочие выполняют повторяющиеся задачи, которые поддерживают утверждения о волшебстве ИИ, однако они редко получают похвалу за то, что заставляют системы функционировать^[132].

Хотя этот труд необходим для поддержания систем ИИ, он в большинстве случаев очень низко оплачивается. В ходе исследования, проведенного Международной организацией труда ООН, было опрошено 3500 краудворкеров из 75 стран, которые регулярно предлагают свой труд на популярных платформах для выполнения заданий, таких как Amazon Mechanical Turk, Figure Eight, Microworkers и Clickworker. Отчет показал, что значительное число людей получали ниже минимальной заработной платы, даже несмотря на то, что большинство респондентов являлись высокообразованными гражданами, часто со специализацией в области науки и техники^[133]. Аналогичным образом, те, кто занимается модерацией контента – оценивает видео на предмет насилия или нецензурной лексики – также получают низкую зарплату. Как показали такие исследователи СМИ, как Сара Робертс и Тарлетон Гиллеспи, подобная работа способна оставить после себя длительные психологические травмы^[134].

Между тем, без этой работы системы ИИ не будут функционировать. Техническое сообщество исследователей ИИ полагается на дешевый труд людей для решения многих задач, которые не могут быть выполнены машинами. В период с 2008 по 2016 год термин «краудсорсинг» появился менее чем в тысяче научных статей и достиг более чем двадцати тысяч – что вполне логично, учитывая, что в 2005 году запустили Mechanical Turk. Но в тот же период времени почти не обсуждалось, какие этические вопросы могут возникнуть, если полагаться на рабочую силу, которая получает гораздо ниже минимальной заработной платы^[135].

Конечно, существуют серьезные причины игнорировать зависимость от низкооплачиваемой рабочей силы. Вся работа, которую выполняют люди, – от маркировки изображений для систем компьютерного зрения до тестирования правильности результатов работы алгоритма, – позволяет совершенствовать системы ИИ гораздо быстрее и дешевле, особенно если сравнивать с оплатой труда студентов за выполнение таких же задач (как это было принято раньше). По этой причине данный вопрос обычно игнорируется, и, как заметила одна исследовательская группа, использующая краудворкинг, клиенты, использующие эти платформы, «ожидают дешевого выполнения труда, как будто платформа – это не интерфейс для работающих людей, а огромный компьютер без затрат на проживание»^[136]. Другими словами, клиенты относятся к человеческим работникам как к машинам, потому что признание их работы и справедливое вознаграждение за нее сделают ИИ более дорогим и менее «эффективным».

Иногда работников напрямую просят притвориться системой искусственного интеллекта. Компания x.ai, создающая цифровой персональный помощник, утверждала, что ИИ-агент по имени Эми может «волшебным образом планировать встречи» и выполнять множество повседневных задач. Но подробное расследование Bloomberg, проведенное журналисткой Эллен Хуэт, показало, что это вовсе не искусственный интеллект. «Эми» тщательно проверялась и переписывалась командой контрактников, работавших по многу смен. Аналогичным образом, личный помощник Facebook, M, полагался на регулярное вмешательство человека со стороны группы работников, которым платили за проверку и редактирование каждого сообщения^[137].

Имитация ИИ – изнурительная работа. Сотрудники x.ai иногда работали по четырнадцать часов в смену, аннотируя электронные письма, чтобы поддерживать иллюзию того, что сервис автоматизирован и функционирует круглосуточно. Они не могли уйти в конце ночи, пока не заканчивались очереди писем. «Я уходил, чувствуя полное оцепенение и отсутствие каких-либо эмоций», – рассказал Хуэт, один из сотрудников в интервью^[138].

Все это можно рассматривать как своего рода «потемкинский» ИИ – не более чем фасады, созданные для демонстрации инвесторам и доверчивым СМИ внешнего вида автоматизированной системы, которая на самом деле опирается на человеческий труд^[139]. При благожелательном прочтении эти фасады являются иллюстрацией того, на что система может быть способна при полной реализации, или «минимально жизнеспособным продуктом», созданным для демонстрации концепции. При менее благосклонном прочтении «потемкинские» системы ИИ – это форма обмана, совершаемого поставщиками технологий, стремящимися заявить о себе в прибыльном технологическом пространстве. Но до тех пор, пока не появится другой способ создания крупномасштабного ИИ, не требующий длительной работы людей за занавесом, это основная логика работы ИИ.