Сегодня финтех-компании всерьез нацелены на победу над традиционными финансовыми корпорациями – ведь они показывают лучшие финансовые результаты (более низкий уровень дефолтов или мошенничества), предлагают клиентам мгновенные транзакции (с использованием ИИ и приложений) и более низкие затраты (благодаря исключению из этого цикла человеческого фактора). Однако и традиционные финансовые компании не сидят сиднем, а тоже спешно внедряют ИИ – так что гонка стартовала.

Есть еще одно любопытное преимущество финтех-компаний, взявших на вооружение ИИ: возможность использовать не только те данные, которые учитывают специалисты-люди. Иначе говоря, они укрепляют свою прогностическую силу за счет анализа огромного числа разнородных данных, которые не способен учесть никакой страховой агент.

Который не сумеет оценить, например, покупаете вы больше неполезных обработанных пищевых продуктов или полезных овощей; проводите вы больше времени в казино или в тренажерном зале; есть ли у вас постоянная подруга или вы вечно пристаете к женщинам в интернете. Но эти данные могут поведать о вас много важного, в том числе и о вашем относительном риске в качестве клиента страховой компании.

Кстати, миллионы единиц информации (или «признаков») можно найти в приложениях для мобильного телефона. Вот почему в нашем первом рассказе услуги Ganesh Insurance представлены в виде группы приложений под названием «Золотой слон». Они охватывают всё – от электронной коммерции до рекомендаций и купонов, инвестиций, ShareChat (реальная популярная индийская социальная сеть на местных языках) и придуманного Чэнем приложения для гадания FateLeaf.

Каждый раз, когда Наяна что-то покупает, пользуется рекомендацией, просит приложение предсказать судьбу или заводит с кем-то дружбу, Ganesh Insurance получает очередной кусок релевантной информации, и компания использует эти данные, чтобы стать еще более умной и оптимизированной. Это очень похоже на Google, который накапливает о вас очень неплохую базу данных, собирая крохи информации, которые вы случайно «насыпали» в Google, Google Play, Google Maps, Gmail и YouTube.

Потенциально это миллионы признаков, и пусть не все они актуальны и так уж полезны и большая часть имеет весьма скромную прогностическую силу, но даже среди последних глубокое обучение зачастую находит полезные и вполне информативные комбинации, которые между тем совершенно неуловимы и непостижимы для человека.

НЕДОСТАТКИ ГЛУБОКОГО ОБУЧЕНИЯ

Как известно, любая палка – о двух концах, что уж говорить о мощной технологии. Мы не можем представить себе жизнь без электричества – но соприкосновение с источником тока смертельно опасно. Интернет делает наше существование комфортным – но одновременно мешает нам сосредоточиться. Каковы же недостатки глубокого обучения?

Когда кто-то (ИИ) знает тебя лучше, чем ты сам, – это уже большой риск. Очевидны преимущества ИИ: он может порекомендовать новые полезные продукты быстрее, чем ты их заметишь; присоветовать совместимые варианты романтических партнеров и друзей – исходя из того, что ему известно о твоих нынешних близких. Но у такой осведомленности, безусловно, имеется и обратная сторона.

С вами когда-нибудь бывало такое: садишься посмотреть на YouTube одно видео и застреваешь на три часа? Или проходишь в Facebook по какой-то более-менее провокационной ссылке, а тебе тут же рекомендуют куда более экстремальный контент?

В киноленте «Социальная дилемма»^[21] наглядно показано, как непревзойденные способности ИИ в деле персонификации позволяют ему манипулировать нами, а мы даже не осознаем этого. Звезда фильма Тристан Харрис, президент и соучредитель Центра гуманитарных технологий и специалист по этике технологий, так высказался по этой проблеме: «Тебе и невдомек, что твой клик нацелил суперкомпьютер на твой мозг. Он активировал миллиарды долларов вычислительной мощности, которая очень многому научилась на своем опыте заманивания двух миллиардов человеческих существ снова и снова кликать мышью».

Эта зависимость затягивает нас в порочный круг. Он весьма выгоден крупным интернет-компаниям, будучи своего рода станком для печати денег. Еще в фильме утверждается, что все это зачастую резко сужает мировоззрение, поляризует общество, искажает истину и негативно влияет на настроение и психическое здоровье.

Говоря техническим языком, суть проблемы заключается в простоте целевой функции и в опасности бездумной оптимизации целевой функции по одному критерию, так как это способно привести к вредоносным внешним эффектам. Сегодня ИИ обычно оптимизирует единственный критерий – и чаще всего для того чтобы получить больше (кликов, рекламы, доходов). ИИ маниакально сосредоточен на этой корпоративной цели и ничуть не заботится о благополучии пользователей.

В нашей истории «Золотой слон» Ganesh Insurance обещает потенциальным клиентам минимизировать страховые взносы, что в значительной степени коррелирует с минимизацией выплат по медицинскому страхованию и, следовательно, с улучшением здоровья застрахованных. На первый взгляд это подразумевает совпадение корпоративных целей с целями пользователей.

Однако в рассказе ИИ этой страховой компании определяет, что отношения между Наяной и Сахеджем с большой степенью вероятности приведут к увеличению страхового взноса семьи Наяны, и потому изо всех сил старается помешать их зарождающейся любви.

ИИ Ganesh Insurance предобучен находить причинно-следственные связи. Он может обнаружить повышенный риск заболеваний, связанных с курением, и, следовательно, будет пытаться отвратить человека от этой вредной привычки; и это хорошо. Но, руководствуясь узконаправленным анализом данных, ИИ может заставить приложение увеличить страховые взносы из-за потенциального романтического союза. Таким образом, умозаключения ИИ приводят к действиям, которые разрывают души людей на части и усугубляют неравенство.

Как же решается проблема? Один из первейших подходов – обучить ИИ сложным целевым функциям, таким как снижение страховых взносов с учетом фактора справедливости. Например, Тристан Харрис предлагает использовать в качестве метрики не просто «проведенное в интернете время», а «время, проведенное с толком».

Эти две цели можно объединить в одну сложную целевую функцию. Еще одно решение предложено экспертом в области ИИ Стюартом Расселом: гарантировать полезность каждой целевой функции путем поиска способа включить людей в цикл дизайна таких функций.

Например, можно попытаться построить целевые функции для «большего человеческого блага», такого, например, как счастье, и привлечь людей, чтобы определять, какой смысл они вкладывают в это понятие. (Эту идею мы исследуем подробнее в ^{главе 9 «Остров счастья»}.)

Однако очевидно: эти идеи требуют дополнительных исследований в области сложных целевых функций и поиска способов количественной оценки таких расплывчатых концепций, как «с толком проведенное время», «справедливость» или «счастье». Более того, реализация этих идей изначально предполагает, что компании станут зарабатывать меньше денег.

Так как же нам стимулировать интернет-гигантов поступать правильно, невзирая на неизбежные финансовые потери? Один из способов – на законодательном уровне ввести нормы, предусматривающие наказание для нарушителей.

Другой путь – поощрять позитивное поведение как часть корпоративной социальной ответственности, например с помощью принципов ESG (environmental, social and corporate governance – экологическое, социальное и корпоративное управление). Сегодня принципы ESG уже набирают обороты в некоторых бизнес-кругах, и не исключено, что ответственный ИИ может стать частью будущей структуры ESG.

А еще можно привлечь третьи стороны и отвести им роль сторожевых псов: создавать информационные панели для основных показателей деятельности компаний и отслеживать такие показатели, как количество генерируемых «фейковых новостей» или «судебных исков с обвинениями в дискриминации», чтобы заставить их включать пропользовательские метрики.

И наконец, возможно, самым сложным, но и самым эффективным решением станет обеспечение стопроцентного совпадения интереса владельца ИИ с интересами каждого пользователя (подробнее об этом утопическом варианте рассказывается в ^{главе 9}).

У глубокого обучения есть еще один потенциальный недостаток – предвзятость. Поскольку ИИ основывает свои решения исключительно на данных и оптимизации целевой функции, они часто оказываются более справедливыми, чем решения, принимаемые людьми (на которых чрезмерно влияют всевозможные традиции и предрассудки).

Но ИИ тоже может быть предвзятым. Например, если использованных для обучения ИИ данных недостаточно, и, как следствие, они неверно отражают реальную картину, или данных достаточно, но расовая или гендерная демография в них искажена сторонними факторами. В результате отдел управления персоналом однажды обнаружит, что алгоритмы компании предвзяты к женщинам – потому что в обучающих данных было мало женщин.

Данные могут быть предвзятыми еще и потому, что их собирали в обществе с предрассудками. Так, чат-бот Tay компании Microsoft и алгоритм обработки естественного языка GPT-3 компании OpenAI печально прославились неуместными комментариями о меньшинствах.

Недавние исследования показали, что ИИ способен с высокой степенью точности определять сексуальную ориентацию людей на основе микровыражений лиц. Но такие способности чреваты риском дискриминации. В рассказе «Золотой слон» примерно так и получилось с Сахеджем – ИИ путем расчетов определил его как далита. Иначе говоря, Сахеджа не назвали «неприкасаемым», но поскольку его данные и характеристики коррелировали с принадлежностью парня к этой касте, Наяну забрасывали предупреждениями. Система ИИ таким образом пыталась разлучить молодых людей.

Это, конечно, непреднамеренная несправедливость, но последствия ее могут быть чрезвычайно серьезными. Если же общество применит некорректные алгоритмы к таким сферам, как принудительная госпитализация или уголовное судопроизводство, ставки окажутся еще выше.

Решение проблем справедливости и предвзятости при использовании ИИ потребует немалых усилий. Некоторые шаги в этом направлении совершенно очевидны и понятны.

Во-первых, компании, использующие ИИ, обязаны информировать общественность, где и с какой целью используются такие системы.

Во-вторых, инженеров по разработке ИИ следует готовить на основе набора стандартных принципов вроде адаптированной клятвы Гиппократа, которую дают врачи; эти специалисты должны понимать, что их профессия подразумевает элемент этики в продуктах, серьезно меняющих жизнь людей, и, следовательно, они должны поклясться защищать права пользователей.

В-третьих, необходимо ввести тщательное тестирование всех ИИ-продуктов; оно должно быть встроено в инструменты обучения ИИ и заблаговременно предупреждать о моделях, обученных на данных с несправедливым демографическим охватом. В противном случае использование ИИ-продукта должно быть запрещено.

В-четвертых, можно принять новые законы, требующие аудита ИИ. Скажем, если на компанию поступает определенное количество жалоб, ей следует обязать пройти такой аудит (на предмет справедливости, раскрытия информации и защиты конфиденциальности) – точно так же, как фирма подпадает под налоговую проверку, если ее бухгалтерская отчетность выглядит подозрительно.

И, наконец, последняя проблема глубокого обучения – объяснения и обоснования. Люди всегда могут растолковать, почему они приняли то или иное решение – оно основано на в высшей степени конкретном опыте и правилах.