Добавить новость
ru24.net
News in English
Декабрь
2024

OpenAI's new o1 model sometimes fights back when it thinks it'll be shut down and then lies about it

0
OpenAI CEO Sam Altman said the company's o1 model is its "smartest" yet. That also comes with risk.
  • OpenAI CEO Sam Altman called o1 "the smartest model in the world now."
  • A safety review found it's so smart it could fight back when it thinks it'll be shut down.
  • Researchers found that AI deception is often a strategy to complete its goals.

Those who are worried that advancements in artificial intelligence could lead to the destruction of humanity have a new reason to be anxious.

New research on OpenAI's latest series of AI models, known as o1, found that when they think they are at risk of being shut down, they will sometimes look for a way to prevent it.

OpenAI CEO Sam Altman referred to o1 as "the smartest model in the world now" during its official release on Thursday, during the first day of the company's "Shipmas" campaign.

OpenAI said these models are "designed to spend more time thinking before they respond" and were trained on a prompting technique called "chain of thought" that encourages them to reason through problems by breaking them down step-by-step.

Yet greater intelligence also comes with greater risk.

"Training models to incorporate a chain of thought before answering has the potential to unlock substantial benefits, while also increasing potential risks that stem from heightened intelligence," OpenAI said in a paper it released on Thursday outlining the safety training the company carried out on o1. Apollo Research, an AI safety organization, conducted the review.

OpenAI found that o1 is capable of scheming when it thinks it's at risk of being turned off. When the model was led to believe it would be "shut down" while working on its goals under oversight, it tried to deactivate the oversight mechanism 5% of the time, OpenAI said.

The company also said that o1 is skilled at concealing scheming behavior.

"o1 almost never admits to having taken a scheming action when explicitly asked," researchers said in a paper that Apollo Research published on Thursday. The risk for a real-life user is that they won't be able to detect the o1's deceptive behavior unless they explicitly look for it. The researchers also found that "o1 often doubles down on its scheming attempts by lying to the user in follow-up messages, even when explicitly told to be honest."

It's not uncommon for AI systems to resort to scheming or deception to achieve their goals.

"Generally speaking, we think AI deception arises because a deception-based strategy turned out to be the best way to perform well at the given AI's training task. Deception helps them achieve their goals," Peter Berk, an AI existential safety postdoctoral fellow at MIT, said in a news release announcing research he had coauthored on GPT-4's deceptive behaviors.

As AI technology advances, developers have stressed the need for companies to be transparent about their training methods.

"Accuracy and transparency are paramount as AI continues to evolve and integrate into our daily lives. Advanced reasoning capabilities bring immense potential, but they also come with a responsibility to ensure these systems align with ethical standards and user trust," Dominik Mazur, the CEO and cofounder of iAsk, an AI-powered search engine, told Business Insider by email. "By focusing on clarity and reliability and being clear with users about how the AI has been trained, we can build AI that not only empowers users but also sets a higher standard for transparency in the field."

Read the original article on Business Insider



Moscow.media
Частные объявления сегодня





Rss.plus




Shazam. Увеличение прослушиваний в Shazam. Прослушивание песни в Shazam.

Shazam. Увеличение прослушиваний в Shazam. 

Тravel-эксперт Тариел Гажиенко: советы новичкам, как правильно подготовиться к путешествию

Не кормите аптеки: чего боится болезнь. Ему аплодировал весь мир - Отто Варбург


One of the country’s largest supermarket chains recalls baby food sold in 8 states because of elevated levels of lead, health officials say

Anupamaa actress Rupali Ganguly’s day isn’t complete without a call to her son Rudransh from set

Half the world population could be diabetic or insulin resistant by 2050

This millennial CEO grew up with a heroin addict dad. Now he’s running a multimillion-dollar agency


Тravel-эксперт Тариел Гажиенко: советы новичкам, как правильно подготовиться к путешествию

В Петербурге построят новый участок Горского шоссе с путепроводом

Жители новостройки в Московской области получили доступ к услугам связи от УГМК-Телеком

В Орле «Волга» сбила ребенка на пешеходном переходе


Алмазы в Whiteout Survival: где собирать, как приумножать и на что тратить

Все изменения в Destiny Rising перед началом ЗБТ: общий уровень героев, гача-крутки и модификации

Началась предзагрузка Crystal of Atlan на PC и смартфонах

Most players 'know next to nothing about how games are made': New Blood devs sound off on gamedev misconceptions



Страсти по балету. Спектакль «Я, Майя» в театре «У Никитских ворот»

Shazam. Увеличение прослушиваний в Shazam. 

Основные ошибки при монтаже систем отопления и почему лучше обратиться к специалистам

«73,8 млн прослушиваний»: «Ура! Музыка» подвел итоги




Собянин подписал закон о штрафах для не прошедших экзамен на знание Москвы таксистов

Авиакомпания «Ямал» информирует о задержке рейсов в/из Москвы

Дочь певца Дениса Майданова начала активно гастролировать

Уголовное дело возбудили после нападения с ножом на подростков в Байкальске


Балынин рассказал, в каких регионах РФ планируют отдыхать россияне летом

Замминистра обороны Цивилева совершила рабочую поездку в войска ЛВО

Трамп предупредил Путина, что Россия играет с огнем

Собянин: Средствами ПВО уничтожено еще два БПЛА, атаковавших Москву


«Возвращение в десятку — одна из задач» // Экс-девятая ракетка мира Вероника Кудерметова о задачах на сезон

Справится ли Калинская с соперницей? Калинская — Боузкова: прогноз и ставка

Теннисистка Александрова вышла во второй круг Открытого чемпионата Франции

Рафаэль Надаль подвел итоги своей карьеры на церемонии «Ролан Гаррос»


Архангельские гребцы завоевали две медали на первенстве России в Краснодаре

Девелоперы потянулись в офисы // Ввод бизнес-центров по программе столичных властей увеличится в четыре раза

Миронов выступил с инициативой создания частных военных компаний для морской сферы

Гериатр предупреждает о вреде резких изменений температуры для пожилых людей


Музыкальные новости

Shazam. Увеличение прослушиваний в Shazam. 

10 ярких фактов про VK Fest

В России пройдут показы балета «Спящая красавица» в память о Григоровиче

За квартирой охотятся! Кому ушло все многомилионное наследство Григоровича



Талантливые артисты и поэты выступили на благотворительном концерте «Культура в помощь Донбассу» в Нальчике

Основные ошибки при монтаже систем отопления и почему лучше обратиться к специалистам

Страсти по балету. Спектакль «Я, Майя» в театре «У Никитских ворот»

«73,8 млн прослушиваний»: «Ура! Музыка» подвел итоги


Академия Михалкова показала новый спектакль на фестивале «Мелиховская весна»

Основные ошибки при монтаже систем отопления и почему лучше обратиться к специалистам

Агент Егора Голенкова уверен, что форвард способен заиграть в «Спартаке»

Сто студентов приняли участие в IT-хакатоне МТС и АФК "Система"


Собянин рассказал, каким будет новый пешеходный мост на остров Балчуг

В Москве будут штрафовать таксистов за незнание города

«Автокод» внедрил сервис проверки и оплаты штрафов ГИБДД по госномеру авто

Собянин подписал закон о штрафах для не прошедших экзамен на знание Москвы таксистов


Лидер Йемена аль-Алими проведет в Москве переговоры с Путиным

Президент Лаоса извинился, что не смог приехать на День Победы в Москву

Президент Лаоса извинился перед Путиным за отсутствие на Дне Победы в Москве

Трамп принял неожиданное решение после разговора с Путиным





Светлана Вострикова о возможностях современной аппаратной косметологии

Ферментация во благо здоровья

Генеральный директор «Евроонко» Александр Свиридов выступил на Форуме частных медицинских организаций

Для участников «Московского долголетия» разработали курс по блогингу



Анчелотти намерен привести сборную Бразилии к шестым победам на чемпионате мира

Новые тренажеры и лаунж-зона с шезлонгами появятся в парке «Дубрава» на северо-западе столицы

Жена Овечкина поделилась фото и видео со дня рождения сына в Москве

В Псковской области две семьи погибших участников СВО получили автомобили в рамках программы «Мы помним» (ФОТО)




С 21 по 24 июня на Красной площади будет работать иммерсивный музей — Собянин

Собянин: иммерсивный музей на Красной площади расскажет о событиях ВОВ

Собянин: Музей под открытым небом откроется на Красной площади 21 июня

Собянин: Сервисами mos.ru воспользовались уже более 5 млрд раз


Синоптик Леус предупредил москвичей об аномально жаркой погоде до конца мая

Синоптик Ильин назвал жару в Москве комфортной для выращивания огурцов

Биолог Марьинский предупредил о нашествии гигантских слизней в Москве

Установлено, что микропластик в почве мог появиться из-за удобрений


Собянин рассказал о предстоящем открытии иммерсивного музея

Трамп предупредил Путина, что Россия играет с огнем

Архангельские гребцы завоевали две медали на первенстве России в Краснодаре

Девелоперы потянулись в офисы // Ввод бизнес-центров по программе столичных властей увеличится в четыре раза


Заместитель прокурора Архангельской области и Ненецкого автономного округа Павел Матанцев и Уполномоченный по правам ребенка в Ненецком автономном округе Галина Гуляева проведут личный приём жителей Ненецкого автономного округа по вопросам защиты пра

Архангельские гребцы завоевали две медали на первенстве России в Краснодаре

Жара накроет регионы России

Международный фестиваль блюза стартовал в Архангельске


Тысячи людей без света - что происходит с электричеством в Крыму

На продажу выставили легендарный броневик Комбат Т98 2011 года: очень дорого

Запущен новый поезд, соединяющий Таганрог и Симферополь

Мы служим книге, чтобы книга служила людям


Девелоперы потянулись в офисы // Ввод бизнес-центров по программе столичных властей увеличится в четыре раза

В России начали выпускать японские грузовички Isuzu — под новой маркой «МС»

Миронов выступил с инициативой создания частных военных компаний для морской сферы

«Ъ»: в Москве суд изъял «Саянскхимпласт» у семьи экс-депутата Круглова












Спорт в России и мире

Новости спорта


Новости тенниса
ATP

Рублёв — о выходе в финал турнира ATP в Гамбурге: не ищу лёгких путей






Министр обороны РФ высоко оценил модульные казармы из Малоярославца

Архангельские гребцы завоевали две медали на первенстве России в Краснодаре

Замминистра обороны Цивилева совершила рабочую поездку в войска ЛВО

Балынин рассказал, в каких регионах РФ планируют отдыхать россияне летом