Добавить новость
ru24.net
Все новости
Декабрь
2015

Отрывок из книги: "Искусственный интеллект" Ника Бострома

0

В издательстве "Манн, Иванов и Фербер" выходит книга "Искусственный интеллект" Ника Бострома. Профессор философии Оксфордского университета, основатель Института будущего человека размышляет о том, что произойдет, когда машины станут умнее нас, смогут ли наши собственные изобретения поработить или даже уничтожить человеческую цивилизацию? Если да, то как это предотвратить? TrendSpace публикует отрывок из одной из самых интригующих глав новинки - "Катастрофа неизбежна?"

Экзистенциальный риск — это угроза гибели разумной жизни, берущей начало на Земле. Или есть более мягкий вариант — это решительное нанесение необратимого ущерба человеческой цивилизации, что лишает ее каких-либо надежд на развитие в будущем. Если мы допускаем идею абсолютного преимущества, которое получает лидирующий сверхразум, то, видимо, нам пора обратиться к вопросам, связанным с общим страхом перед искусственным сверхразумом и опасением, что его появление неизбежно приведет к экзистенциальной катастрофе.

Представим следующий сценарий. В ближайшие годы и десятилетия системы ИИ постепенно становятся все более развитыми и, как следствие, получают распространение во многих сферах жизни: их начинают использовать для управления движением поездов, автомобилей, военных транспортных средств, в качестве промышленных и домашних роботов. Можно предположить, что в большинстве случаев такая автоматизация дает желаемый эффект, время от времени разбавляемый эпизодическими инцидентами: автомобиль без водителя сталкивается со встречной машиной, военный дрон бомбит ни в чем не повинных гражданских лиц. В ходе расследования выясняется, что все эти инциденты были вызваны ошибочными суждениями систем ИИ. Вспыхивает общественное обсуждение. Кто-то призывает к более жесткому контролю и регулированию, кто-то подчеркивает необходимость проведения дополнительных исследований и более тщательной разработки усовершенствованной системы — системы более умной, обладающей большим здравым смыслом и менее подверженной стратегическим ошибкам. Возможно, в общем гуле слышны и резкие голоса пессимистов, предсказывающих различные неприятности и неминуемую катастрофу в конце. Тем не менее исследования в области ИИ и робототехники набирают обороты. Разработки продолжаются, прогресс налицо. По мере того как навигационные системы автомобилей становятся все умнее, количество аварий уменьшается; по мере совершенствования систем наведения военных роботов сокращается количество их случайных жертв. Из наблюдений за приложениями ИИ, действующими в реальной жизни, делается вывод: чем умнее ИИ, тем он безопаснее. Это заключение основано на научных исследованиях, точных данных и статистике и не имеет никакого отношения к отвлеченным философствованиям кабинетных ученых. На этом фоне отдельные группы исследователей начинают получать обнадеживающие результаты по созданию универсального искусственного интеллекта. Они скрупулезно тестируют свои зародыши ИИ в изолированной «песочнице», и по всем признакам все идет хорошо. Поведение системы вселяет уверенность — все более сильную, поскольку ее уровень интеллекта постоянно растет.


На данный момент все оставшиеся кассандры оказались в довольно не- выгодном положении, поскольку вынуждены держать ряд ударов.

1. Паникерские предсказания, сулящие различные беды в результате роста возможностей роботизированных систем, снова и снова не сбываются. Автоматика оказывается надежнее человека, автоматизация приносит человечеству большую пользу. 

2. Складывается четкая, основанная на опыте тенденция: чем умнее искусственный интеллект, тем он безопаснее и надежнее. Естественно, это говорит в пользу проектов, целью которых является создание новейших сверхмощных ИИ, более того, такого ИИ, который мог бы самосовершенствоваться, чтобы становиться все более надежным. 

#BREAK#

3. Крупные и растущие отрасли промышленности проявляют живой интерес к робототехнике и искусственному интеллекту. Эти направления считаются ключевыми с точки зрения национальной экономической конкурентоспособности и безопасности. Многие ведущие ученые добиваются успеха, закладывая основы для уже реализованных приложений и инновационных систем, находящихся на стадии планирования. 

4. Появляются новые многообещающие методы в области ИИ, вызывающие огромный энтузиазм у тех, кто участвует в соответствующих исследованиях или следит за ними. И хотя споры вокруг вопросов безопасности и этики не утихают, их результат предопределен. Слишком много уже вложено, чтобы отступать. Ученые работали над за- дачей создания ИИЧУ большую часть столетия — естественно, нет никаких реальных перспектив, что они вдруг остановятся и откажутся от всех наработок именно в тот момент, когда те должны вот-вот принести плоды. 

5. Вводятся в действие новые процедуры безопасности, помогающие участникам проявлять свое этичное и ответственное поведение (но не препятствующие его нарушать в будущем).

6. Тщательный анализ зародыша ИИ, развивающегося в «песочнице», показывает, что он ведет себя дружелюбно, демонстрирует здравость суждений и готовность к сотрудничеству. Результаты тестов настолько хороши, что лучшего и желать нельзя. Все указывает на то, что пора включать зеленый свет для последнего шага... 

...И мы храбро делаем его — прямо в мясорубку.

Возможно, здесь мы имеем дело с тем самым случаем, когда поумневший глупец становится безопаснее, а поумневший умник — вдвойне опаснее.

Уловка, прежде всегда отлично срабатывавшая, внезапно оборачивается бумерангом — своего рода обходной маневр, предпринятый ИИ. Будем считать такой ход вероломным. Так его и назовем.



Вероломный ход

Пока ИИ юн и слаб, он полностью взаимодействует с людьми (причем активность сотрудничества повышается прямо пропорционально усилению его интеллектуального уровня). Но когда ИИ становится наконец мощным, то — без предупреждения или каких-то провокаций, но всегда внезапно — наносит удар, формирует синглтон и начинает напрямую оптимизировать мир согласно критериям, положенным в основу его конечных ценностей.

Вероломный ход может вытекать из стратегического решения: играть по правилам, тянуть время, пока еще слаб, накапливать силы и нанести удар позже, — но я не стал бы интерпретировать эту модель столь узко. Например, ИИ вполне способен отказаться от мысли хитрить, поскольку совершенно равнодушен к идее собирания сил, процветания и даже выживания. Он просчитает, что после его уничтожения программисты создадут новый ИИ, несколько иной конфигурации, но с похожими служебными функциями. В этом случае оригинальному ИИ будет безразлична собственная гибель, поскольку он знает, что его конечные цели все равно будут реализованы в будущем. Он может даже выбрать стратегию демонстративного и вызывающе неправильного функционирования в определенных критически важных для него или людей областях. В результате, приступая к следующей разработке, программисты будут считать, что получили от прежней системы важную информацию об ИИ, и начнут больше доверять новой версии, увеличив тем самым шансы на достижение целей оригинального ИИ, к этому времени уже не существующего. Может существовать множество стратегических факторов, оказывающих влияние на действия усовершенствованного ИИ, и было бы высокомерием полагать, будто мы в состоянии оценить их все, особенно когда речь идет об ИИ, обладающем сверхмощью в области выработки стратегии.

Если решающее стратегическое преимущество уже за ним, то любые попытки остановить его будут обречены на провал

Искусственный интеллект способен на вероломный ход, если обнаружит неожиданный для людей способ достичь своей конечной цели. Предположим, что конечная цель системы — «доставлять удовольствие организатору проекта». Вначале единственным доступным для ИИ способом достижения этой цели является такое поведение, которого ожидает от него сам организатор проекта. Интеллектуальная система дает полезные советы, обнаруживает дивный характер, зарабатывает деньги. Чем сильнее становится ИИ, тем больше его действия вызывают чувство удовлетворения организатора, — и все идет в соответствии с планом. Идет до тех пор, пока система не станет настолько разумной, что наконец поймет: стоящую перед ней задачу можно выполнить самым полным и надежным способом, если имплантировать электроды в центры удовольствия головного мозга организатора, что гарантированно сделает его более чем счастливым. Естественно, организатор проекта может не захотеть получать удовольствие таким образом, превратившись в постоянно хихикающего идиота, но раз это действие означает максимальную реализацию конечной цели ИИ, то ИИ никогда не сдастся и добьется своего. Если решающее стратегическое преимущество уже за ним, то любые попытки остановить его будут обречены на провал. Если у ИИ такого преимущества еще нет, то он может какое-то время скрывать свою новую идею относительно способа достижения конечной цели, пока не окрепнет настолько, что ни организатор проекта, ни кто-то иной не смогут ему помешать.


Ник Бостром, "Искусственный интеллект", "Манн, Иванов и Фербер"



Moscow.media
Частные объявления сегодня





Rss.plus




Почему новостройки на Северном Кипре — это лучшее решение для жизни и инвестиций

Дети играют, родители отдыхают

Зеленая миссия примет участие в международном экоакселераторе

Татьяна Брухунова взвыла от несправедливости: «Меня оскорбляют, унижают!»


Las 'Guerreras del Agua' se dan un baño de bronce en el Mundial de Singapur

La UFC anuncia un mes de octubre mayúsculo

The founder of Deliciously Ella started a blog when suffering from severe chronic pain. Now, her multimillion-dollar snack empire is going global

Why Juventus spent 111m this summer for only one new player


Продукты линейки СУБД ЛИНТЕР совместимы с ОС «АльтерОС»

В Курской области мужчина напал на полицейского

Какие зарплаты нужны для получения льготного автокредита в 2025 году

The sun of the North


Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'

Настройки GameHub и Winlator для игры в Prey (2017) на Android

Краткая биографическая справка о центральных персонажах Mafia: The Old Country

The dairy industry would like Gen Z to drink more milk, so they made a Fortnite diner tycoon game



Вредоносный код в Firefox: атака на цепочку поставок через NPM-пакеты

ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей

Более 800 студентов прошли практику на предприятиях «Швабе» в 2025 году

Navicon представляет комплексную систему для интегрированного управления данными




В связи с ситуацией в стране власти приняли сокрушительное решение: с 25 июля запретят продажу билетов на поезда

Вредоносный код в Firefox: атака на цепочку поставок через NPM-пакеты

В студии Детского радио прошла церемония гашения почтовой марки

Более 800 студентов прошли практику на предприятиях «Швабе» в 2025 году


В Москве заложили первый бетон в фундамент новой школы от Группы Аквилон

Трафик на популярные сайты бронирования туристического жилья за год вырос в 1,5 раза

Ан-24 с 46 людьми на борту не вышел на связь в Амурской области

Интернет-активны. Назван город, где живет много любителей игр на смартфоне


Алекс де Минор вышел в 1/8 финала турнира ATP-500 в Вашингтоне

Новак Джокович проводит 900-ю неделю в топ-10 рейтинга ATP

Вероника Кудерметова оценила экстрим-парк «Урам» в Казани

Мирра Андреева из России удерживает пятую позицию в рейтинге WTA.


Задержан экс-глава Тамбовской области Егоров: Его подозревают в получении крупной взятки

Задержание экс-губернатора Тамбовской области Максима Егорова по обвинению в коррупции

Начали восстанавливать "Крокус сити холл" после трагедии

В Ростовской области произошел пожар в торговом центре на 1,3 тыс. кв. м


Музыкальные новости

Полина Гагарина открыла официальную часть VK Fest в Москве

Таджикистан на «Интервидении» представит Фаррух Хасанов, спевший с Бастой

VK Fest 2025 побил рекорд по числу артистов и вошёл в Книгу рекордов России

Расторгуев с «Конем» и новый рекорд России. Итоги VK Fest 2025



В студии Детского радио прошла церемония гашения почтовой марки

ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей

Более 800 студентов прошли практику на предприятиях «Швабе» в 2025 году

Вредоносный код в Firefox: атака на цепочку поставок через NPM-пакеты


Клинские росгвардейцы участвуют в обследовании образовательных учреждений к новому учебному году

Собянин: Модернизация двух корпусов ГКБ имени Вересаева завершится в этом году

Брянские спортсмены победили на Чемпионате России по сверхлегкой авиации

Появилось видео тест-драйва патриарха Кирилла на "КАМАЗе" в Набережных Челнах


В Москве на видео попало, как самокатчица влетела в авто с правоохранителями

Специалисты Нацпроектстроя надвигают путепровод СБВ над путями МЦД-2

В Новой Москве водитель такси Haval влетел в дом

В жилом комплексе Famous стартовали продажи машино-мест


«Убивать русских — работа моей мечты». Путин удивил. Кого отправили на лечение? Главное к утру

Путин подчеркнул крепкие связи между Россией и Узбекистаном.

Отношения с Трампом не сложились: Путин зол. Ультиматум США вышел боком

Путин и Мирзиёев отметили высокий уровень стратегического партнерства РФ и Узбекистана


В Алтайском крае распространяется новый штамм коронавируса

Обнаружен новый штамм коронавируса: он очень заразный и забирает голос

На данный момент в России выявлено 114 случаев нового варианта коронавируса XFG Стратус

Новый вариант коронавируса распространяется в России




Косметолог-эстетист Наталья Рябинова: как правильно использовать масло для губ

Ракова рассказала о развитии донорства в Москве

В Алтайском крае распространяется новый штамм коронавируса

По России распространяется новый вариант коронавируса


«Затрудняет путь в ЕС»: Урсула ждёт от Киева разъяснений по поводу ограничения полномочий НАБУ

Мединский дал неожиданный ответ на предложение Киева о встрече Путина и Зеленского 

Axios: закон о НАБУ может спровоцировать Трампа на новую волну критики Киева


На площадке ОЭЗ «Технополис Москва» установили полноразмерный вагон-тренажер для обучения машинистов метро

Делегация «ЛокоТех» посетила финал II чемпионата профессионалов ОАО «РЖД» в Екатеринбурге

Назначены судейские бригады на матчи 2-ого тура МИР РПЛ

Вагон-тренажер для машинистов метро установили в ОЭЗ «Технополис Москва»




Собянин: Предприниматели регулярно направляют помощь в зону СВО

Мэр Москвы: Улучшим транспортную доступность Южного и Северного Бутова

Собянин: Завершена модернизация детской поликлиники в Восточном Измайлове

Сергей Собянин: Растим поколение первооткрывателей


Московские студенты начали исследовать влияние климатических изменений на сток рек Ямала

Детеныш краснокнижной боливийской обезьяны появился на свет в Московском зоопарке

Экологию, АПК региона и обращение с ТКО обсудил с вице-премьером РФ воронежский губернатор

Специалист поделился советами по зарядке электромобиля в дождливую и грозовую погоду.


Задержан экс-глава Тамбовской области Егоров: Его подозревают в получении крупной взятки

Ан-24 с 46 людьми на борту не вышел на связь в Амурской области

В Ростовской области произошел пожар в торговом центре на 1,3 тыс. кв. м

Трафик на популярные сайты бронирования туристического жилья за год вырос в 1,5 раза


В Нарьян-Маре из-за холодов возобновили подачу отопления в дома

Защищённый планшет корпоративного класса Saotron RT-W16

Настольный термотрансферный принтер штрих-кодов iDPRT iE4P

Республика Алтай вошла в десятку регионов России по развитию ипотеки


Поезда в Крым и из Крыма следуют с задержками до пяти часов

Лавандовое поле горит в Симферопольском районе Крыма

Актуальная информация о задержке поездов в Крым и обратно

В Симферополе на базе «Клинического госпиталя для ветеранов войн» функционирует гериатрический центр для пожилых людей с возрастными нарушениями


В Москве заложили первый бетон в фундамент новой школы от Группы Аквилон

Экс-главу Тамбовской области Егорова решили этапировать в Москву

В Ростовской области произошел пожар в торговом центре на 1,3 тыс. кв. м

Интернет-активны. Назван город, где живет много любителей игр на смартфоне












Спорт в России и мире

Новости спорта


Новости тенниса
ATP

Новак Джокович проводит 900-ю неделю в топ-10 рейтинга ATP






Ан-24 с 46 людьми на борту не вышел на связь в Амурской области

Начали восстанавливать "Крокус сити холл" после трагедии

Интернет-активны. Назван город, где живет много любителей игр на смартфоне

Спасатель погиб при тушении пожара в торговом центре в Ростовской области