Добавить новость
ru24.net
Все новости
Декабрь
2015

Отрывок из книги: "Искусственный интеллект" Ника Бострома

0

В издательстве "Манн, Иванов и Фербер" выходит книга "Искусственный интеллект" Ника Бострома. Профессор философии Оксфордского университета, основатель Института будущего человека размышляет о том, что произойдет, когда машины станут умнее нас, смогут ли наши собственные изобретения поработить или даже уничтожить человеческую цивилизацию? Если да, то как это предотвратить? TrendSpace публикует отрывок из одной из самых интригующих глав новинки - "Катастрофа неизбежна?"

Экзистенциальный риск — это угроза гибели разумной жизни, берущей начало на Земле. Или есть более мягкий вариант — это решительное нанесение необратимого ущерба человеческой цивилизации, что лишает ее каких-либо надежд на развитие в будущем. Если мы допускаем идею абсолютного преимущества, которое получает лидирующий сверхразум, то, видимо, нам пора обратиться к вопросам, связанным с общим страхом перед искусственным сверхразумом и опасением, что его появление неизбежно приведет к экзистенциальной катастрофе.

Представим следующий сценарий. В ближайшие годы и десятилетия системы ИИ постепенно становятся все более развитыми и, как следствие, получают распространение во многих сферах жизни: их начинают использовать для управления движением поездов, автомобилей, военных транспортных средств, в качестве промышленных и домашних роботов. Можно предположить, что в большинстве случаев такая автоматизация дает желаемый эффект, время от времени разбавляемый эпизодическими инцидентами: автомобиль без водителя сталкивается со встречной машиной, военный дрон бомбит ни в чем не повинных гражданских лиц. В ходе расследования выясняется, что все эти инциденты были вызваны ошибочными суждениями систем ИИ. Вспыхивает общественное обсуждение. Кто-то призывает к более жесткому контролю и регулированию, кто-то подчеркивает необходимость проведения дополнительных исследований и более тщательной разработки усовершенствованной системы — системы более умной, обладающей большим здравым смыслом и менее подверженной стратегическим ошибкам. Возможно, в общем гуле слышны и резкие голоса пессимистов, предсказывающих различные неприятности и неминуемую катастрофу в конце. Тем не менее исследования в области ИИ и робототехники набирают обороты. Разработки продолжаются, прогресс налицо. По мере того как навигационные системы автомобилей становятся все умнее, количество аварий уменьшается; по мере совершенствования систем наведения военных роботов сокращается количество их случайных жертв. Из наблюдений за приложениями ИИ, действующими в реальной жизни, делается вывод: чем умнее ИИ, тем он безопаснее. Это заключение основано на научных исследованиях, точных данных и статистике и не имеет никакого отношения к отвлеченным философствованиям кабинетных ученых. На этом фоне отдельные группы исследователей начинают получать обнадеживающие результаты по созданию универсального искусственного интеллекта. Они скрупулезно тестируют свои зародыши ИИ в изолированной «песочнице», и по всем признакам все идет хорошо. Поведение системы вселяет уверенность — все более сильную, поскольку ее уровень интеллекта постоянно растет.


На данный момент все оставшиеся кассандры оказались в довольно не- выгодном положении, поскольку вынуждены держать ряд ударов.

1. Паникерские предсказания, сулящие различные беды в результате роста возможностей роботизированных систем, снова и снова не сбываются. Автоматика оказывается надежнее человека, автоматизация приносит человечеству большую пользу. 

2. Складывается четкая, основанная на опыте тенденция: чем умнее искусственный интеллект, тем он безопаснее и надежнее. Естественно, это говорит в пользу проектов, целью которых является создание новейших сверхмощных ИИ, более того, такого ИИ, который мог бы самосовершенствоваться, чтобы становиться все более надежным. 

#BREAK#

3. Крупные и растущие отрасли промышленности проявляют живой интерес к робототехнике и искусственному интеллекту. Эти направления считаются ключевыми с точки зрения национальной экономической конкурентоспособности и безопасности. Многие ведущие ученые добиваются успеха, закладывая основы для уже реализованных приложений и инновационных систем, находящихся на стадии планирования. 

4. Появляются новые многообещающие методы в области ИИ, вызывающие огромный энтузиазм у тех, кто участвует в соответствующих исследованиях или следит за ними. И хотя споры вокруг вопросов безопасности и этики не утихают, их результат предопределен. Слишком много уже вложено, чтобы отступать. Ученые работали над за- дачей создания ИИЧУ большую часть столетия — естественно, нет никаких реальных перспектив, что они вдруг остановятся и откажутся от всех наработок именно в тот момент, когда те должны вот-вот принести плоды. 

5. Вводятся в действие новые процедуры безопасности, помогающие участникам проявлять свое этичное и ответственное поведение (но не препятствующие его нарушать в будущем).

6. Тщательный анализ зародыша ИИ, развивающегося в «песочнице», показывает, что он ведет себя дружелюбно, демонстрирует здравость суждений и готовность к сотрудничеству. Результаты тестов настолько хороши, что лучшего и желать нельзя. Все указывает на то, что пора включать зеленый свет для последнего шага... 

...И мы храбро делаем его — прямо в мясорубку.

Возможно, здесь мы имеем дело с тем самым случаем, когда поумневший глупец становится безопаснее, а поумневший умник — вдвойне опаснее.

Уловка, прежде всегда отлично срабатывавшая, внезапно оборачивается бумерангом — своего рода обходной маневр, предпринятый ИИ. Будем считать такой ход вероломным. Так его и назовем.



Вероломный ход

Пока ИИ юн и слаб, он полностью взаимодействует с людьми (причем активность сотрудничества повышается прямо пропорционально усилению его интеллектуального уровня). Но когда ИИ становится наконец мощным, то — без предупреждения или каких-то провокаций, но всегда внезапно — наносит удар, формирует синглтон и начинает напрямую оптимизировать мир согласно критериям, положенным в основу его конечных ценностей.

Вероломный ход может вытекать из стратегического решения: играть по правилам, тянуть время, пока еще слаб, накапливать силы и нанести удар позже, — но я не стал бы интерпретировать эту модель столь узко. Например, ИИ вполне способен отказаться от мысли хитрить, поскольку совершенно равнодушен к идее собирания сил, процветания и даже выживания. Он просчитает, что после его уничтожения программисты создадут новый ИИ, несколько иной конфигурации, но с похожими служебными функциями. В этом случае оригинальному ИИ будет безразлична собственная гибель, поскольку он знает, что его конечные цели все равно будут реализованы в будущем. Он может даже выбрать стратегию демонстративного и вызывающе неправильного функционирования в определенных критически важных для него или людей областях. В результате, приступая к следующей разработке, программисты будут считать, что получили от прежней системы важную информацию об ИИ, и начнут больше доверять новой версии, увеличив тем самым шансы на достижение целей оригинального ИИ, к этому времени уже не существующего. Может существовать множество стратегических факторов, оказывающих влияние на действия усовершенствованного ИИ, и было бы высокомерием полагать, будто мы в состоянии оценить их все, особенно когда речь идет об ИИ, обладающем сверхмощью в области выработки стратегии.

Если решающее стратегическое преимущество уже за ним, то любые попытки остановить его будут обречены на провал

Искусственный интеллект способен на вероломный ход, если обнаружит неожиданный для людей способ достичь своей конечной цели. Предположим, что конечная цель системы — «доставлять удовольствие организатору проекта». Вначале единственным доступным для ИИ способом достижения этой цели является такое поведение, которого ожидает от него сам организатор проекта. Интеллектуальная система дает полезные советы, обнаруживает дивный характер, зарабатывает деньги. Чем сильнее становится ИИ, тем больше его действия вызывают чувство удовлетворения организатора, — и все идет в соответствии с планом. Идет до тех пор, пока система не станет настолько разумной, что наконец поймет: стоящую перед ней задачу можно выполнить самым полным и надежным способом, если имплантировать электроды в центры удовольствия головного мозга организатора, что гарантированно сделает его более чем счастливым. Естественно, организатор проекта может не захотеть получать удовольствие таким образом, превратившись в постоянно хихикающего идиота, но раз это действие означает максимальную реализацию конечной цели ИИ, то ИИ никогда не сдастся и добьется своего. Если решающее стратегическое преимущество уже за ним, то любые попытки остановить его будут обречены на провал. Если у ИИ такого преимущества еще нет, то он может какое-то время скрывать свою новую идею относительно способа достижения конечной цели, пока не окрепнет настолько, что ни организатор проекта, ни кто-то иной не смогут ему помешать.


Ник Бостром, "Искусственный интеллект", "Манн, Иванов и Фербер"



Moscow.media
Частные объявления сегодня





Rss.plus




Любовь в сердце и в «Тропикана Парк»

Подводный праздник в Dhawa Ihuru: погружение за скидками

Ваше душевное благополучие важно: когда и как лечение в стационаре становится шагом к себе

Хаски на Summer Sound – выиграй билеты на Like FM


OpenAI warns that its new ChatGPT Agent has the ability to aid dangerous bioweapon development

The founder of Deliciously Ella started a blog when suffering from severe chronic pain. Now, her multimillion-dollar snack empire is going global

The Best Story Of Chicago Bulls’ Offseason Just Got A Happy Ending

Why Juventus spent 111m this summer for only one new player


На пожаре в частном доме обнаружили тела мужчины и женщины

The sun of the North

Нацпроектстрой изготовил уникальное оборудование для столичного моста парус

Движение к победе: в России стартует премия «Мы верим твердо в героев спорта»


Bungie promises to fix Destiny 2's new metroid-style morph ball as it makes players sick and glitches out on ultrawide monitors

Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'

The dairy industry would like Gen Z to drink more milk, so they made a Fortnite diner tycoon game

'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'



Аделина Панина: как силой мысли заставить человека написать или позвонить

Нам есть чем гордиться: каким будет Национальный центр «Россия» на Краснопресненской набережной

Движение к победе: в России стартует премия «Мы верим твердо в героев спорта»

Кайрат Бермуканов поддержал Петра Яна перед боем в Абу‑Даби




Хаски на Summer Sound – выиграй билеты на Like FM

Газзаев: «Балтика» только вышла в РПЛ, но уже стала показывать достойную игру

Лео Канделаки и Анжелика Стубайло сыграют в новую трэвел-игру «Кто куда» на ТНТ

Осквернение мемориала и кража продуктов. Литовский националист получил 23 года.


История одной семьи: результаты конкурса и победители

Синоптик Шепоренко предупредила о дождях в Свердловской области

Под Тамбовом пройдёт фестиваль авторской песни "Там, под Лысой Горой"

Парк Юрия Лужкова 19 июля стал площадкой фестиваля The BOWL


Бублик завоевал шестой в карьере титул на уровне ATP

Архангельская теннисистка завершила выступление на турнире WTA 250 в Яссах

Вероника Кудерметова оценила экстрим-парк «Урам» в Казани

Шаповалов одержал победу на теннисном турнире в Лос-Кабосе.


Госдума приняла закон о жесткой цензуре киновильфом — интересно, запретят ли "Каху"?

Психолог Шайдуллина рассказала о причинах возникновения лени

Массовые задержки в аэропорту Сочи: 39 рейсов выбились из графика

Парк Юрия Лужкова 19 июля стал площадкой фестиваля The BOWL


Музыкальные новости

Аранжировка Песен. Аранжировка Музыки. Создание Аранжировок.

Семеново, Онег, Борисово, Ивановка. Об усадьбах Рахманинова рассказала Наталья Басманова

VK Fest Санкт-Петербург: Детская сцена от PICCOLO и Radio Kids FM вновь покорила сердца юных зрителей!

Евродепутат высказался о срыве концерта Гергиева в Италии.



Аудиосказки про Турбозавров теперь на Яндекс Музыке!

Летняя школа Русского дома приняла детей из Карабаха

Движение к победе: в России стартует премия «Мы верим твердо в героев спорта»

Кайрат Бермуканов поддержал Петра Яна перед боем в Абу‑Даби


Клипмейкер. Лучший Клипмейкер. Клипмейкер в Москве.

В Шереметьево, Внуково, Домодедово и Жуковском отменили ограничения на полеты

Аэропорт Пулково будет принимать авиарейсы из Москвы на фоне ограничений

Движение к победе: в России стартует премия «Мы верим твердо в героев спорта»


Рискнул на 100 тысяч рублей: инженер из Смоленска купил более 1,7 тысячи лотерейных билетов и выиграл автомобиль от «Национальной Лотереи» и РОЛЬФ на VK Fest

Зарядки для электромобилей «Энергия Москвы» станут платными

Сильный ливень заблокировал людей в авто в центре Москвы

25 июля пилотажная группа "Звезда" пролетит над пробками на шоссе под Москвой


Путин отметил успехи российских школьников на математической олимпиаде.

Путин выразил соболезнования семье председателя Верховного суда Подносовой

Путин отметил победу синхрониста Мальцева на чемпионате мира в Сингапуре.

Министр юстиции поделился информацией о роли адвокатов в специальной военной операции.





Уже не крепкий орешек: как Брюс Уиллис живет с неизлечимой болезнью

Собянин: создание 5 центров женского здоровья завершат в этом году

«Я на инвалидном кресле, он на «Тесле»: что случилось с блогером Мариш Мариш

Офтальмолог Кирилл Светлаков: секреты здоровых глаз для тех, кто носит контактные линзы


Пока вы не уснули: открытая поддержка Алиевым Киева и «подзатыльник» Зеленскому от Трампа

«СТРАНА.ua»: Зеленский раскритиковал ЕС за непредоставление обещанной помощи


Движение к победе: в России стартует премия «Мы верим твердо в героев спорта»

Уже 59 орловчан решили побороться за просветительскую награду «Знание. Премия»

KENGURU GAMES в Звенигороде звенели на всю страну

В Москве впервые пройдет фестиваль экстремальных видов спорта


Два шота для сделки: юрист Трампа рассказал, как пил водку с Лукашенко для освобождения заключенных

Лукашенко призвал белорусских нефтяников «не раскачиваться, а бурить и бурить»

Посланник Трампа рассказал, как «неформально» договаривался с Лукашенко: после нескольких тостов Минск освободил политзаключенных

Юрист Трампа Коул рассказал, как пил водку с Лукашенко в Минске



Собянин рассказал, как город заботится о природе при строительстве метро

Более 800 спортивных площадок обновят и обустроят в Москве — Сергей Собянин

Собянин: Модернизация двух корпусов ГКБ имени Вересаева завершится в этом году

Собянин: Продолжаем внедрять новый стандарт заботы о женском здоровье в одном месте


Зарядки для электромобилей «Энергия Москвы» станут платными

Собянин рассказал, как Москва заботится о природе при строительстве метро

Фестиваль «Сады и цветы»: как Москву превращают в городской оазис

Россияне рассказали, по каким критериям выбирают квартиру для покупки в 2025 году


Психолог Шайдуллина рассказала о причинах возникновения лени

Массовые задержки в аэропорту Сочи: 39 рейсов выбились из графика

Мария Шувалова. В столице Татарстана чествовали балетную диву за блистательную «Анюту»

В Москве создали духи с ароматом русского быта


Девочка упала при посадке на теплоход в порту Архангельска

Собянин: Первый участок Рублево-Архангельской линии метро полностью пройден

В Башкирии ревнивец ранил жену шампуром и сдался полиции

Центр подготовки личного состава Северо-Западного округа Росгвардии пополнили призывники


В Симферополе на базе «Клинического госпиталя для ветеранов войн» функционирует гериатрический центр для пожилых людей с возрастными нарушениями

В Симферополе наградили юных крымчан за отвагу и решительность

Поезда "Таврия" по-прежнему задерживаются из-за ЧП в Ростовской области

Поезда в Крым и из Крыма следуют с задержками до пяти часов


Госдума приняла закон о жесткой цензуре киновильфом — интересно, запретят ли "Каху"?

Психолог Шайдуллина рассказала о причинах возникновения лени

В Москве создали духи с ароматом русского быта

История одной семьи: результаты конкурса и победители












Спорт в России и мире

Новости спорта


Новости тенниса
Вероника Кудерметова

Вероника Кудерметова оценила экстрим-парк «Урам» в Казани






Главный редактор канала «Baza» и его коллега задержаны в рамках уголовного дела

Госдума приняла закон о жесткой цензуре киновильфом — интересно, запретят ли "Каху"?

Герман Стерлигов посоветовал россиянам запастись гробами

«Компромиссная цифра»: на сколько ЦБ РФ может снизить ключевую ставку 25 июля