Юваль Ной Харари: «Если люди так умны, почему они так глупы?»
Если у эпохи интернета и есть какая-то мечта, то она о том, что больше информации, больше данных и больше открытости создадут лучший и более правдивый мир.
Звучит классно, не так ли? Никогда еще не было так легко узнать о мире больше и поделиться этими знаниями, как сейчас. Но вряд ли, глядя на положение вещей, можно сделать вывод, что истина и мудрость торжествуют. Что мы можем с этим поделать? Почему увеличение объема информации не сделало нас умнее и мудрее?
Юваль Ной Харари — историк, автор новой книги «Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта», приводит два весомых аргумента, которые приближают нас к ответу на эти вопросы. Первое утверждение заключается в том, что каждая значимая система сегодня, по сути, является результатом работы информационной сети. От валюты до религии, от национальных государств до искусственного интеллекта — все это работает, потому что существует цепочка людей, машин и институтов, собирающих и обменивающихся информацией.
Второе утверждение заключается в том, что эти сети сотрудничества создают огромную силу, однако то, как построено большинство из них, с наибольшей вероятностью может привести к плачевным результатам. Поскольку наша сила как вида растет благодаря технологиям, потенциальные последствия этого явления видятся как то, что приближается к катастрофе.
Основной вопрос, который рассматривается в книге: если люди так умны, почему они так глупы? Мы, безусловно, самые умные животные на планете. Мы можем создавать самолеты, атомные бомбы, компьютеры и многое другое. И в то же время мы находимся на грани уничтожения самих себя, нашей цивилизации и большей части экологической системы. И это кажется великим парадоксом: если мы знаем так много о мире, о далеких галактиках, о ДНК и субатомных частицах, почему мы так активно занимаемся саморазрушением? Главный ответ, который дают многие мифологии и теологии, заключается в том, что в человеческой природе есть нечто плохое, и поэтому мы должны полагаться на какой-то внешний источник, например на бога, который спасет нас от самих себя. Юваль Ной Харари считает, что это неправильный ответ. Он опасен, потому что побуждает людей отказываться от ответственности.
На самом деле, в человеческой природе нет ничего плохого. Проблема в информации. Большинство людей — хорошие люди. Они не склонны к саморазрушению. Но если вы даете хорошим людям плохую информацию, они принимают плохие решения. История показывает, что мы действительно становимся все лучше и лучше в накоплении огромных объемов информации, но сама информация не становится качественнее. Современные общества, как и племена каменного века, подвержены массовым заблуждениям и психозу.
Множество людей, особенно в таких местах, как Кремниевая долина, считают, что информация — это правда, что информация и есть истина. Чем больше информации, тем лучше понимание мира. Однако большая часть информации — это мусор. Информация — это не истина. Главное, что делает информация, — это устанавливает связи. Самый простой способ объединить множество людей в общество, религию, корпорацию или армию — это не истина. Проще всего объединить людей с помощью фантазий, мифологии и заблуждений. Вот почему, имея самые совершенные в истории информационные технологии, мы находимся на грани самоуничтожения.
До сегодняшнего дня вся человеческая культура создавалась человеческими умами. Мы живем внутри культуры. Все, что с нами происходит, мы переживаем через посредничество культурных продуктов: мифологии, идеологии, артефактов, песен, пьес, сериалов. Мы живем в коконе внутри этой культурной вселенной. До сегодняшнего дня все инструменты, все стихи, все сериалы, все мифологии — это продукт органического человеческого разума. Теперь все чаще они будут являться продуктом неорганических интеллектов ИИ, инопланетных интеллектов. Опять же, аббревиатура всегда означала искусственный интеллект, но на самом деле она должна означать инопланетный интеллект. Инопланетный не в том смысле, что он прилетает из космоса, а в том, что он очень сильно отличается от того, как люди думают и принимают решения, потому что он не органического происхождения.
В качестве конкретного примера можно привести один из ключевых моментов революции ИИ, когда AlphaGo победил Ли Седоля в турнире по го. Го — это сложная стратегическая игра, похожая на шахматы, но гораздо более изощренная, она появилась в древнем Китае. Во некторых странах она считается одним из основных искусств, которые должен знать каждый цивилизованный человек. Если вы китайский дворянин в Средние века, вы владеете каллиграфией, умеете играть на музыкальных инструментах и играете в го. Целые философии развивались вокруг этой игры, которая рассматривалась как отражение политики и жизни. И вот в 2016 году программа искусственного интеллекта AlphaGo научилась играть в го и победила чемпиона мира среди людей. Но самое интересное — это то, как она это сделала. Она применила стратегию, которую изначально все эксперты считали ужасной, потому что никто так не играет. А она оказалась блестящей. Миллионы людей играли в эту игру, и теперь мы знаем, что они исследовали лишь очень малую часть мира игры го.
Люди торчали на одном острове и думали, что это и есть вся планета го. А потом появился ИИ, и за несколько недель он открыл новые континенты. И теперь люди играют в го совсем не так, как играли до 2016 года. Вы можете сказать, что это неважно, ведь это всего лишь игра. Но то же самое, скорее всего, будет происходить во все большем количестве областей. Например, финансы — это тоже искусство. Вся финансовая структура, которую мы знаем, основана на человеческом воображении. История финансов — это история изобретения людьми финансовых механизмов. Деньги — это финансовый механизм. Облигации, акции, биржевые фонды, ценные бумаги — все эти удивительные вещи являются продуктом человеческой изобретательности. И вот появляется искусственный интеллект и начинает изобретать новые финансовые механизмы, о которых никто из людей никогда не думал и не представлял.
Что произойдет, например, если финансы станут настолько сложными из-за этих новых творений ИИ, что ни один человек больше не сможет их понять? Даже сегодня, сколько людей действительно понимают финансовую систему? Менее 1 процента? Через 10 лет количество людей, которые понимают финансовую систему, может стать равным нулю, потому что финансовая система — идеальная площадка для ИИ. Это мир чистой информации и математики.
У ИИ все еще есть трудности во взаимодействии с внешним физическим миром. Уже который год Илон Маск обещает нам, что в следующем году на дорогах появятся полностью автономные автомобили, но этого не происходит. Почему? Потому что, чтобы управлять автомобилем, вам нужно взаимодействовать с физическим миром, с беспорядочным миром дорожного движения в Нью-Йорке, со всеми строительными работами, пешеходами и прочим. С финансами все гораздо проще. Это же просто цифры. И что произойдет, если в этом информационном царстве, где ИИ — коренной житель, а мы — пришельцы, иммигранты, он создаст такие сложные финансовые устройства и механизмы, что никто их не поймет?
Окажемся ли мы в ловушке? Возможно, но не обязательно. Нам нужно быть гораздо более осторожными и вдумчивыми в том, как мы разрабатываем эти вещи. Важно понять, что ИИ — это не инструмент, а агент, и поэтому в будущем он с большой вероятностью выйдет из-под нашего контроля, если мы не будем внимательно к нему относиться. Дело не в том, что у нас будет один суперкомпьютер, который пытается захватить мир. Мы получим миллионы бюрократов с искусственным интеллектом в школах, на заводах, повсюду, принимающих за нас решения, которых мы не понимаем.
Демократия — это в значительной степени подотчетность. Подотчетность зависит от способности понимать принятые решения. Например, вы обращаетесь в банк за кредитом, а вам отказывают. Вы спрашиваете: «Почему?». Вам отвечают: «Мы не знаем, алгоритм просмотрел все данные и решил не выдавать вам кредит, а мы просто доверяем нашему алгоритму». Вот это очень похоже на конец демократии. Вы все еще можете проводить выборы и выбирать того, кого хотите, но если люди больше не в состоянии понимать основные решения, касающиеся их жизни, то ответственности больше нет.
Никто не знает наверняка, когда мы перейдем этот рубеж. Кажется, все идет быстрее, чем все ожидали. Может быть, три года, может быть, пять лет, может быть, десять. Просто подумайте об этом с космической точки зрения. Мы, люди, являемся результатом 4 миллиардов лет органической эволюции. Органическая эволюция, насколько нам известно, началась на планете Земля 4 миллиарда лет назад с крошечных микроорганизмов. И потребовались миллиарды лет для эволюции многоклеточных организмов, рептилий, млекопитающих, обезьян и человека. Цифровая неорганическая эволюция в миллионы раз быстрее. Сейчас мы находимся в начале нового эволюционного процесса, который может продлиться тысячи и даже миллионы лет. ИИ, который мы знаем сегодня, в 2024 году, ChatGPT и все прочее, — это всего лишь амебы в процессе эволюции ИИ.
Совместимость демократии и информационных сетей XXI века зависит от наших решений. Прежде всего, мы должны понять, что информационные технологии — это не что-то одно. Это не демократия с одной стороны и информационные технологии с другой. Информационные технологии — это основа демократии. Демократия строится на потоке информации.
На протяжении большей части истории не было возможности создать масштабные демократические структуры, потому что отсутствовали информационные технологии. Демократия — это, по сути, разговор между большим количеством людей. В маленьком племени или небольшом городе-государстве тысячи лет назад можно было собрать всех или большой процент населения, скажем, древних Афин на городской площади, чтобы решить, идти на войну со Спартой или нет. Было технически возможно провести обсуждение. Но миллионы людей, разбросанных на тысячи километров, никак не могли поговорить друг с другом. Они никак не могли вести беседу в режиме реального времени. Поэтому у нас нет ни одного примера масштабной демократии в мире, предшествовавшему современному. Все примеры очень малы по масштабу.
Широкомасштабная демократия стала возможной только после появления газет, телеграфа, радио и телевидения. И теперь вы можете вести беседу между миллионами людей, разбросанных по огромной территории. Таким образом, демократия строится на основе информационных технологий. Каждый раз, когда происходят большие изменения в информационных технологиях, происходит землетрясение в демократии, которая построена на их основе. И это то, что мы сейчас переживаем с алгоритмами социальных сетей и так далее. Это не значит, что демократии пришел конец. Вопрос в том, сможет ли демократия адаптироваться?
Как искусственный интеллект изменит баланс сил, в сторону демократических или более тоталитарных обществ, зависит от наших решений. Худшего сценария не будет. В диктаторских обществах вы не можете говорить ни о чем, о чем режим не хочет, чтобы вы говорили. Но на самом деле у диктаторов есть свои проблемы с ИИ, потому что это неконтролируемый агент. И на протяжении всей истории человечества самым страшным для диктатора был подчиненный, который становился слишком могущественным и неподконтрольным. Если вы посмотрите, скажем, на Римскую империю, то ни один римский император не был свергнут демократической революцией. Нет ни одного. Но многие из них были убиты, свергнуты или стали марионетками приближенных, могущественных военачальников или губернаторов провинций, брата, жены или кого-то еще из семьи. Это самый большой страх каждого диктатора. А диктаторы управляют страной, основываясь на страхе.
Большая проблема заключается в том, что произойдет, если ИИ начнет манипулировать самим диктатором. Захватить власть в демократическом государстве очень сложно, потому что демократия сложна. Допустим, через пять или десять лет ИИ научится манипулировать президентом США. Ему все равно придется иметь дело с голосованием в Сенате. Тот факт, что он знает, как манипулировать президентом, не поможет ему ни с Сенатом, ни с губернаторами штатов, ни с Верховным судом. Есть так много вещей, с которыми нужно иметь дело. Но в некоторых странах ИИ нужно научиться манипулировать лишь одним крайне параноидальным и несамостоятельным человеком, что довольно просто.
Чтобы защитить себя, демократические государства должны сделать несколько вещей. Одна из них — это заставить корпорации отвечать за действия своих алгоритмов. Не за действия пользователей, а за действия алгоритмов. Если алгоритм социальной сети распространяет наполненную ненавистью теорию заговора, сеть должна нести за это ответственность. Если они скажут: «Но мы не создавали теорию заговора. Это какой-то пользователь создал ее, и мы не хотим подвергать его цензуре», тогда мы отвечаем: «Мы не просим вас подвергать его цензуре. Мы просто просим вас не распространять это». В этом нет ничего нового. Вспомним например, New York Times. Редактор издания, решая, что поместить на первую полосу, будет следить за тем, чтобы не распространять недостоверную информацию. Если кто-то приходит к нему с теорией заговора, он не говорят этому человеку: «О, вы подверглись цензуре. Вам запрещено говорить такие вещи». Редактор скажет: «Хорошо, но у нас недостаточно доказательств, чтобы это подтвердить. Поэтому, при всем уважении, вы можете продолжать говорить это, но мы не поместим ваше мнение на первую полосу New York Times». То же самое должно быть и с социальными сетями.
Компании могут возмутиться: «Как мы можем узнать, является ли что-то правдой или нет?». Что ж, это ваша работа. Если вы руководите медиакомпанией, ваша задача — не просто привлекать пользователей, а действовать ответственно, разработать механизмы, позволяющие отличать достоверную информацию от недостоверной, и распространять только то, что у вас есть веские основания считать надежной информацией. Так уже было. Вы не первые в истории, кто обязан различать достоверную и недостоверную информацию. Это уже делали редакторы газет, ученые, судьи, так что вы можете перенять их опыт. И если вы не можете этого сделать, значит, вы занимаетесь не тем делом. Компании должны нести ответственность за действия алгоритмов. Это первая вещь.
Вторая вещь — это запретить ботам участвовать в разговорах. ИИ не должен принимать участие в человеческих разговорах, если он не идентифицирует себя как ИИ. Представьте себе демократию как группу людей, стоящих в кругу и разговаривающих друг с другом. И вдруг в круг входит группа роботов и начинает говорить очень громко и увлеченно. И вы не знаете, кто из них роботы, а кто люди. Именно это происходит сейчас по всему миру. И именно поэтому разговор рушится. И есть простое противоядие. Роботов не приглашают в круг общения, если они сразу не дают понять, что они роботы. Есть отдельное место, допустим, для ИИ-врача, который дает советы по медицине при условии, что он идентифицирует себя.
Точно так же, если вы заходите в социальную сеть и видите, что определенная история становится вирусной, там много просмотров, вам тоже становится интересно: «О, что это за новая история, о которой все говорят?» Кто все? Если эту историю на самом деле продвигают боты, значит, это не люди. Их не должно быть в разговоре. Это чрезвычайно важный вопрос в демократическом обществе, в любом человеческом обществе. Боты не должны обладать способностью определять, какие темы у всех на слуху. Свобода слова — это право человека, которое должно быть закреплено за людьми, а не за ботами.
Сообщение Юваль Ной Харари: «Если люди так умны, почему они так глупы?» появились сначала на Идеономика – Умные о главном.