Добавить новость
ru24.net
Все новости
Декабрь
2015

Отрывок из книги: "Искусственный интеллект" Ника Бострома

0

В издательстве "Манн, Иванов и Фербер" выходит книга "Искусственный интеллект" Ника Бострома. Профессор философии Оксфордского университета, основатель Института будущего человека размышляет о том, что произойдет, когда машины станут умнее нас, смогут ли наши собственные изобретения поработить или даже уничтожить человеческую цивилизацию? Если да, то как это предотвратить? TrendSpace публикует отрывок из одной из самых интригующих глав новинки - "Катастрофа неизбежна?"

Экзистенциальный риск — это угроза гибели разумной жизни, берущей начало на Земле. Или есть более мягкий вариант — это решительное нанесение необратимого ущерба человеческой цивилизации, что лишает ее каких-либо надежд на развитие в будущем. Если мы допускаем идею абсолютного преимущества, которое получает лидирующий сверхразум, то, видимо, нам пора обратиться к вопросам, связанным с общим страхом перед искусственным сверхразумом и опасением, что его появление неизбежно приведет к экзистенциальной катастрофе.

Представим следующий сценарий. В ближайшие годы и десятилетия системы ИИ постепенно становятся все более развитыми и, как следствие, получают распространение во многих сферах жизни: их начинают использовать для управления движением поездов, автомобилей, военных транспортных средств, в качестве промышленных и домашних роботов. Можно предположить, что в большинстве случаев такая автоматизация дает желаемый эффект, время от времени разбавляемый эпизодическими инцидентами: автомобиль без водителя сталкивается со встречной машиной, военный дрон бомбит ни в чем не повинных гражданских лиц. В ходе расследования выясняется, что все эти инциденты были вызваны ошибочными суждениями систем ИИ. Вспыхивает общественное обсуждение. Кто-то призывает к более жесткому контролю и регулированию, кто-то подчеркивает необходимость проведения дополнительных исследований и более тщательной разработки усовершенствованной системы — системы более умной, обладающей большим здравым смыслом и менее подверженной стратегическим ошибкам. Возможно, в общем гуле слышны и резкие голоса пессимистов, предсказывающих различные неприятности и неминуемую катастрофу в конце. Тем не менее исследования в области ИИ и робототехники набирают обороты. Разработки продолжаются, прогресс налицо. По мере того как навигационные системы автомобилей становятся все умнее, количество аварий уменьшается; по мере совершенствования систем наведения военных роботов сокращается количество их случайных жертв. Из наблюдений за приложениями ИИ, действующими в реальной жизни, делается вывод: чем умнее ИИ, тем он безопаснее. Это заключение основано на научных исследованиях, точных данных и статистике и не имеет никакого отношения к отвлеченным философствованиям кабинетных ученых. На этом фоне отдельные группы исследователей начинают получать обнадеживающие результаты по созданию универсального искусственного интеллекта. Они скрупулезно тестируют свои зародыши ИИ в изолированной «песочнице», и по всем признакам все идет хорошо. Поведение системы вселяет уверенность — все более сильную, поскольку ее уровень интеллекта постоянно растет.


На данный момент все оставшиеся кассандры оказались в довольно не- выгодном положении, поскольку вынуждены держать ряд ударов.

1. Паникерские предсказания, сулящие различные беды в результате роста возможностей роботизированных систем, снова и снова не сбываются. Автоматика оказывается надежнее человека, автоматизация приносит человечеству большую пользу. 

2. Складывается четкая, основанная на опыте тенденция: чем умнее искусственный интеллект, тем он безопаснее и надежнее. Естественно, это говорит в пользу проектов, целью которых является создание новейших сверхмощных ИИ, более того, такого ИИ, который мог бы самосовершенствоваться, чтобы становиться все более надежным. 

#BREAK#

3. Крупные и растущие отрасли промышленности проявляют живой интерес к робототехнике и искусственному интеллекту. Эти направления считаются ключевыми с точки зрения национальной экономической конкурентоспособности и безопасности. Многие ведущие ученые добиваются успеха, закладывая основы для уже реализованных приложений и инновационных систем, находящихся на стадии планирования. 

4. Появляются новые многообещающие методы в области ИИ, вызывающие огромный энтузиазм у тех, кто участвует в соответствующих исследованиях или следит за ними. И хотя споры вокруг вопросов безопасности и этики не утихают, их результат предопределен. Слишком много уже вложено, чтобы отступать. Ученые работали над за- дачей создания ИИЧУ большую часть столетия — естественно, нет никаких реальных перспектив, что они вдруг остановятся и откажутся от всех наработок именно в тот момент, когда те должны вот-вот принести плоды. 

5. Вводятся в действие новые процедуры безопасности, помогающие участникам проявлять свое этичное и ответственное поведение (но не препятствующие его нарушать в будущем).

6. Тщательный анализ зародыша ИИ, развивающегося в «песочнице», показывает, что он ведет себя дружелюбно, демонстрирует здравость суждений и готовность к сотрудничеству. Результаты тестов настолько хороши, что лучшего и желать нельзя. Все указывает на то, что пора включать зеленый свет для последнего шага... 

...И мы храбро делаем его — прямо в мясорубку.

Возможно, здесь мы имеем дело с тем самым случаем, когда поумневший глупец становится безопаснее, а поумневший умник — вдвойне опаснее.

Уловка, прежде всегда отлично срабатывавшая, внезапно оборачивается бумерангом — своего рода обходной маневр, предпринятый ИИ. Будем считать такой ход вероломным. Так его и назовем.



Вероломный ход

Пока ИИ юн и слаб, он полностью взаимодействует с людьми (причем активность сотрудничества повышается прямо пропорционально усилению его интеллектуального уровня). Но когда ИИ становится наконец мощным, то — без предупреждения или каких-то провокаций, но всегда внезапно — наносит удар, формирует синглтон и начинает напрямую оптимизировать мир согласно критериям, положенным в основу его конечных ценностей.

Вероломный ход может вытекать из стратегического решения: играть по правилам, тянуть время, пока еще слаб, накапливать силы и нанести удар позже, — но я не стал бы интерпретировать эту модель столь узко. Например, ИИ вполне способен отказаться от мысли хитрить, поскольку совершенно равнодушен к идее собирания сил, процветания и даже выживания. Он просчитает, что после его уничтожения программисты создадут новый ИИ, несколько иной конфигурации, но с похожими служебными функциями. В этом случае оригинальному ИИ будет безразлична собственная гибель, поскольку он знает, что его конечные цели все равно будут реализованы в будущем. Он может даже выбрать стратегию демонстративного и вызывающе неправильного функционирования в определенных критически важных для него или людей областях. В результате, приступая к следующей разработке, программисты будут считать, что получили от прежней системы важную информацию об ИИ, и начнут больше доверять новой версии, увеличив тем самым шансы на достижение целей оригинального ИИ, к этому времени уже не существующего. Может существовать множество стратегических факторов, оказывающих влияние на действия усовершенствованного ИИ, и было бы высокомерием полагать, будто мы в состоянии оценить их все, особенно когда речь идет об ИИ, обладающем сверхмощью в области выработки стратегии.

Если решающее стратегическое преимущество уже за ним, то любые попытки остановить его будут обречены на провал

Искусственный интеллект способен на вероломный ход, если обнаружит неожиданный для людей способ достичь своей конечной цели. Предположим, что конечная цель системы — «доставлять удовольствие организатору проекта». Вначале единственным доступным для ИИ способом достижения этой цели является такое поведение, которого ожидает от него сам организатор проекта. Интеллектуальная система дает полезные советы, обнаруживает дивный характер, зарабатывает деньги. Чем сильнее становится ИИ, тем больше его действия вызывают чувство удовлетворения организатора, — и все идет в соответствии с планом. Идет до тех пор, пока система не станет настолько разумной, что наконец поймет: стоящую перед ней задачу можно выполнить самым полным и надежным способом, если имплантировать электроды в центры удовольствия головного мозга организатора, что гарантированно сделает его более чем счастливым. Естественно, организатор проекта может не захотеть получать удовольствие таким образом, превратившись в постоянно хихикающего идиота, но раз это действие означает максимальную реализацию конечной цели ИИ, то ИИ никогда не сдастся и добьется своего. Если решающее стратегическое преимущество уже за ним, то любые попытки остановить его будут обречены на провал. Если у ИИ такого преимущества еще нет, то он может какое-то время скрывать свою новую идею относительно способа достижения конечной цели, пока не окрепнет настолько, что ни организатор проекта, ни кто-то иной не смогут ему помешать.


Ник Бостром, "Искусственный интеллект", "Манн, Иванов и Фербер"



Moscow.media
Частные объявления сегодня





Rss.plus




В Третьяковке на Кадашевской набережной открылся концертный зал

Арбуз, кукуруза и холодные напитки: диетолог Садыков назвал продукты, которые портят ваш сон летом

Компания КИТ МЕД представляет революционный аппарат SONOQUEEN — первую в мире анатомическую HIFU-технологию для anti-age терапии в России

В депо «Чита» будет установлен первый цифровой весоизмерительный комплекс системы подачи песка под колесные пары локомотива


Las 'Guerreras del Agua' se dan un baño de bronce en el Mundial de Singapur

La UFC anuncia un mes de octubre mayúsculo

Adil Rami carga contra Lamine: "No puedo ni verlo, que le den..."

Why Juventus spent 111m this summer for only one new player


Невозможное возможно: две подопечные фонда «Жизнь в Движении» с ограниченными возможностями покорят вершину Эльбруса

НПС построит новые съезды с Северо-Восточной хорды

В Московской области задержан томский предприниматель, укравший 8,5 млн рублей

Возбуждено первое в России уголовное дело о дропперстве


The dairy industry would like Gen Z to drink more milk, so they made a Fortnite diner tycoon game

Краткая биографическая справка о центральных персонажах Mafia: The Old Country

Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'

'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'



В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

Квалификационные испытания на право ношения знака отличия полицейского спецназа Росгвардии завершились в Подмосковье (видео)

«Каникулы с Росгвардией» проходят в регионах Центральной России




Сразу до +35 градусов: синоптики рассказали, когда снова вернется жара. Ждать осталось недолго

В Ростовской области обломки БПЛА привели к задержке 10 пассажирских поездов

Более 800 студентов прошли практику на предприятиях «Швабе» в 2025 году

ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей


В Ростовской области обломки БПЛА привели к задержке 10 пассажирских поездов

Сотрудники органов принудительного исполнения обеспечивают безопасность судебных процессов

Патрушев: НАТО усиливает давление у морских границ России

МЧС предупредило москвичей о жаре до +30℃


Циципас завершил сотрудничество с Иванишевичем и извинился перед отцом за увольнение

Александр Бублик получил хорошую новость от ATP после завоевания титула

Медведев победил У Ибина и вышел в четвертьфинал турнира ATP в Вашингтоне

Винус Уильямс получила wild card на турнир категории WTA 1000 в Цинциннати


В Ростовской области обломки БПЛА привели к задержке 10 пассажирских поездов

Патрушев: НАТО усиливает давление у морских границ России

Сотрудники органов принудительного исполнения обеспечивают безопасность судебных процессов

Как мы в Fix Price автоматизировали создание рекламных видео


Музыкальные новости

«Чем твои генералы лучше студентов?»: как Владимир Высоцкий выступал в Калинине

Алгоритмы Яндекс Музыки. Алгоритмы продвижения в Яндекс Музыка.

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

Расторгуев с «Конем» и новый рекорд России. Итоги VK Fest 2025



В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии

Квалификационные испытания на право ношения знака отличия полицейского спецназа Росгвардии завершились в Подмосковье (видео)

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве


Будь собой, а не "звездой": "Europarty" от White Queen

Врач Поляков: Киркоров рискует сойти с ума из-за препарата для похудения

"Монсон о спортсменах, которые меняют гражданство в сложный период для России"

Брянские спортсмены победили на Чемпионате России по сверхлегкой авиации


На МКАД в Москве произошло массовое ДТП, движение затруднено

Водитель Audi сбил трех пешеходов, переходивших дорогу на западе Москвы

На международном ралли «Шелковый путь – 2025» представили новое моторное масло для мотоциклистов

В Подмосковье на видео попало, как школьник на питбайке разбился в жестком ДТП


Путин отметил успех российских школьников на олимпиаде по физике.

Сигналы становятся всё громче. Переговоры - только ширма. Главное решится не в Стамбуле

Соболезнования в связи с авиакатастрофой в Амурской области выразили зарубежные лидеры

У Путина есть роскошный подарок для Китая: США схватились за голову, узнав о нем


В Алтайском крае распространяется новый штамм коронавируса

Депздрав: новый штамм коронавируса «стратус» фиксируют в Москве с мая

Новый штамм коронавируса "стратус" фиксируют в Москве с мая

Депздрав Москвы: новый штамм коронавируса "стратус" фиксируют в Москве с мая




Новый штамм коронавируса "стратус" фиксируют в Москве с мая

Компания КИТ МЕД представляет революционный аппарат SONOQUEEN — первую в мире анатомическую HIFU-технологию для anti-age терапии в России

Фитнес-марафоны на паузе: суд продлил домашний арест блогеру Лерчек

Депздрав Москвы: новый штамм коронавируса "стратус" фиксируют в Москве с мая


Мединский дал неожиданный ответ на предложение Киева о встрече Путина и Зеленского 

Британский журналист: Зеленский - мелкий жулик и крыса, которому «недолго осталось» в этом мире


"Зенит" заключил соглашение с американским защитником Рэндольфом

«Каникулы с Росгвардией» проходят в регионах Центральной России

Пять земельных участков для размещения НКО доступны на городских торгах

"Монсон о спортсменах, которые меняют гражданство в сложный период для России"


Лукашенко посоветовал не злить его и не допускать падежа в животноводстве

Лукашенко поделился мнением о самой идеальной профессии.

Лукашенко с иронией отнесся к санкциям, запрещающим ему въезд в Эстонию

Лукашенко заявил, что в Белоруссии «на всякий случай» готовятся к войне



Собянин поддержал проведение конкурса «Лучший книжный магазин Москвы»

Мэр Москвы: Улучшим транспортную доступность Южного и Северного Бутова

Собянин: Около 10 тыс. москвичей начали переселение по реновации этим летом

Сергей Собянин. Главное за день


6 лет вместе. В Москве пройдет выставка, посвященная пандам Жуи и Диндин

В центре внимания: CorpSoft24 вошел в рейтинг крупнейших ИТ-компаний России

Детеныш краснокнижной боливийской обезьяны появился на свет в Московском зоопарке

Исследование выявило снижение инвестиций в экологически чистую энергетику США.


Как мы в Fix Price автоматизировали создание рекламных видео

Трагедия для всей России: наша любимая актриса из "Служебного романа" скончалась на 82-м году жизни

Три кузбасских ветерана СВО выступят на чемпионате «Абилимпикс» в Казани

Синоптики спрогнозировали ясную погоду на выходных в Москве


Республика Алтай вошла в десятку регионов России по развитию ипотеки

Настольный термотрансферный принтер штрих-кодов iDPRT iE4P

В Нарьян-Маре из-за холодов возобновили подачу отопления в дома

70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский


В Симферополе на базе «Клинического госпиталя для ветеранов войн» функционирует гериатрический центр для пожилых людей с возрастными нарушениями

Лавандовое поле горит в Симферопольском районе Крыма

Поезда "Таврия" по-прежнему задерживаются из-за ЧП в Ростовской области

"Россия дала мне возможность быть счастливым": Джефф Монсон в Крыму


Патрушев: НАТО усиливает давление у морских границ России

Еще одно здание ГБУ «Жилищник» появится во Внукове

Трагедия для всей России: наша любимая актриса из "Служебного романа" скончалась на 82-м году жизни

Синоптики спрогнозировали ясную погоду на выходных в Москве












Спорт в России и мире

Новости спорта


Новости тенниса
WTA

Соболенко сохраняет первое место в чемпионской гонке WTA.






Три кузбасских ветерана СВО выступят на чемпионате «Абилимпикс» в Казани

Сотрудники органов принудительного исполнения обеспечивают безопасность судебных процессов

Путин призвал жёстко пресекать вмешательство извне: «Суверенитет и ценности — под защитой»

После ареста иномарки в Подмосковье должник погасил задолженность по алиментным платежам