Всё хреново

Разделавшись со Stockfish, AlphaZero на этом не
остановилась. 
Пф-ф-ф
, я вас умоляю! Отдых нужен

---

только хлипким людишкам. Едва доказав свое
превосходство в шахматах, AlphaZero начала учиться
стратегической игре сёги.
Сёги часто называют японскими шахматами, но
многие утверждают, что эта игра еще сложнее
{294}
.
Если шахматист Каспаров проиграл компьютеру в
1997 г., лучшие игроки в сёги начали уступать машинам
только с 2013 г. Тем не менее AlphaZero сокрушила
лучшую программу сёги (под названием Elmo) примерно
с такими же невероятными результатами: из ста партий
она выиграла восемьдесят, проиграла восемь и две
сыграла вничью. Опять же, вычислительные мощности
AlphaZero значительно уступали мощностям Elmo. (В
данном случае она могла просчитывать 40 000 ходов в
секунду, а Elmo – 35 миллионов.) И опять же, еще за
день до матча AlphaZero не имела представления о том,
как играть в сёги.
С утра пораньше AlphaZero бралась изучать две
бесконечно сложные игры. И до захода солнца
умудрялась разгромить самых сильных противников в
мире.
Новость дня: ИИ уже на пороге. Шахматы и сёги,
конечно, хорошо, но когда ИИ перейдет от игровых
столов к столам переговоров… мы с вами все, возможно,
останемся без работы
{295}
.
Программы ИИ уже придумывают собственные
языки, которые люди не могут расшифровать, умеют
лучше врачей диагностировать пневмонию и писать
сносные главы для фанфиков по «Гарри Поттеру»
{296}
.
Пока я пишу эти строки, все идет к тому, что у нас
вскоре 
появятся 
самоуправляемые 
автомобили,
автоматизированные юридические консультации и
даже созданные компьютером картины и музыка
{297}
.

---

Медленно, но верно ИИ начнет превосходить нас
практически во всем: в медицине, инженерии,
строительстве, искусстве, технологических инновациях.
Мы будем смотреть фильмы, произведенные ИИ, и
обсуждать их на веб-сайтах или на мобильных
платформах, созданных и модерируемых ИИ, – и может
даже оказаться, что «человек», с которыми вы вступите
там в спор, будет тоже ИИ.
Но, как бы безумно это ни звучало, это только
начало. Потому что вот где начинается реальный
дурдом: 
однажды наступит день, когда ИИ сможет
лучше человека писать программы ИИ
.
Когда 
этот
день настанет, когда ИИ сможет сам, по
собственной воле, продуцировать улучшенные версии
себя, – вот тогда держитесь, амиго, потому что нам
предстоит еще та поездочка и выбирать дорогу будем
уже не мы.
Однажды ИИ обгонит нас настолько, что мы
перестанем понимать, что он делает. Машины будут
сами собой заезжать за нами и отвозить в места, о
существовании которых мы даже не подозревали. Мы
будем неожиданно получать лекарства от болезней, о
наличии которых у себя даже не догадывались. Вполне
возможно, наши дети будут переходить в другие
школы, мы будем менять работу, экономическая
политика будет резко брать другой курс, правительства
будут переписывать конституции – и никто не будет в
полной мере понимать, почему это происходит. Это
будет случаться как бы само собой. Наш Думающий
мозг будет слишком медлительным, а Чувствующий –
слишком импульсивным и опасным. И как AlphaZero
сумела за несколько часов изобрести такие шахматные
стратегии, которые не могли предвидеть лучше
шахматные умы, более продвинутый ИИ сможет
реорганизовывать общество и весь окружающий мир
совершенно непредсказуемым для нас образом.

---

И тогда мы вернемся к тому, с чего начинали:
станем поклоняться невероятным, непознаваемым
силам, которые, как нам кажется, вершат нашу судьбу.
Точно так же, как примитивные народы молились своим
богам, чтобы те ниспослали им дождь или огонь, – так
же, как они приносили жертвы и дары, изобретали
ритуалы и меняли свое поведение и внешний вид, чтобы
добиться расположения натуралистических богов, – так
же будем делать и мы. Только делать все это мы будем
во имя богов ИИ.
У нас появятся суеверия, связанные с алгоритмами.
Если наденешь это, алгоритм тебя поощрит. Если
проснешься в определенное время, скажешь нужные
слова и придешь в нужное место, машины даруют тебе
богатство. Если будешь честен, не станешь причинять
вреда другим и будешь заботиться о себе и своих
близких, боги ИИ будут оберегать тебя.
Старых богов заменят новые – алгоритмы. И по
странной иронии эволюции та самая наука, которая
убила старых богов, создаст богов будущего. Случится
великий возврат человечества к религиозности. И наши
новые религии вряд ли будут сильно отличаться от
религий древности: в конце концов, наша психика в
процессе эволюции приучилась обожествлять то, чего
мы не понимаем, превозносить силы, которые помогают
или вредят нам, выстраивать системы ценностей,
основанные на нашем опыте, искать конфликты,
которые породили бы надежду.
Почему с ИИ что-то должно быть иначе?
Наши боги ИИ, конечно, это поймут. И либо найдут
способ «прокачать» нам мозги и избавить нас от нашей
примитивной психологической потребности в извечной
борьбе, либо возьмут и просто сгенерируют нам
иллюзию борьбы. Мы будем как домашние собаки: нам
будет казаться, что мы всеми силами охраняем и
отстаиваем свою территорию, а на деле мы будем

---

просто ссать на бесконечную череду цифровых
фонарных столбов.
Эта 
перспектива 
может 
вас 
напугать. 
Или
воодушевить. Но, как бы то ни было, она, скорее всего,
неизбежна. 
Власть 
обусловлена 
способностью
обрабатывать и использовать информацию в своих
интересах – а мы всегда преклоняемся перед тем, кто
наделен большей властью.
И, позвольте признаться, я готов с распростертыми
объятиями встретить наших новых господ.
Я знаю, это не та последняя религия, на которую вы
надеялись. Но как раз в этом ваша главная ошибка: вы
надеетесь.
Не оплакивайте утрату собственной воли. Если вам
кажется, что подчиняться искусственным алгоритмам
ужасно, поймите: вы уже это делаете. И вам это
нравится
.
Алгоритмы уже заправляют значительной частью
нашей жизни. Маршрут, по которому вы добирались до
работы, выстроен алгоритмом. Вы пообщались на этой
неделе со многими друзьями? Ваши беседы тоже были
обеспечены алгоритмом. Подарок, который вы купили
своему ребенку, количество туалетной бумаги в
большой упаковке, пятьдесят центов, которые вы
сэкономили в супермаркете благодаря скидочной карте
клиента, – за все это отвечают алгоритмы.
И нам нужны эти алгоритмы, потому что они
упрощают нам жизнь. То же самое будут делать и
алгоритмические боги ближайшего будущего. И так же,
как в древности, мы возрадуемся и возблагодарим их за
это. На самом деле, мы даже не сможем уже
представить себе мир без них
{298}
. Эти алгоритмы
будут делать нашу жизнь лучше. Они будут делать ее
эффективнее. Они будут делать эффективнее 
нас
.

---

Поэтому, как только мы перейдем эту черту, пути
назад не будет.