Добавить новость
ru24.net
News in English
Август
2024

AI “godfather” Yoshua Bengio has joined a UK project to prevent AI catastrophes

0

Yoshua Bengio, a Turing Award winner who is considered one of the “godfathers” of modern AI, is throwing his weight behind a project funded by the UK government to embed safety mechanisms into AI systems.

The project, called Safeguarded AI, aims to build an AI system that can check whether other AI systems deployed in critical areas are safe. Bengio is joining the program as scientific director and will provide critical input and scientific advice. The project, which will receive £59 million over the next four years, is being funded by the UK’s Advanced Research and Invention Agency (ARIA), which was launched in January last year to invest in potentially transformational scientific research. 

Safeguarded AI’s goal is to build AI systems that can offer quantitative guarantees, such as a risk score, about their effect on the real world, says David “davidad” Dalrymple, the program director for Safeguarded AI at ARIA. The idea is to supplement human testing with mathematical analysis of new systems’ potential for harm. 

The project aims to build AI safety mechanisms by combining scientific world models, which are essentially simulations of the world, with mathematical proofs. These proofs would include explanations of the AI’s work, and humans would be tasked with verifying whether the AI model’s safety checks are correct. 

Bengio says he wants to help ensure that future AI systems cannot cause serious harm. 

“We’re currently racing toward a fog behind which might be a precipice,” he says. “We don’t know how far the precipice is, or if there even is one, so it might be years, decades, and we don’t know how serious it could be … We need to build up the tools to clear that fog and make sure we don’t cross into a precipice if there is one.”  

Science and technology companies don’t have a way to give mathematical guarantees that AI systems are going to behave as programmed, he adds. This unreliability, he says, could lead to catastrophic outcomes. 

Dalrymple and Bengio argue that current techniques to mitigate the risk of advanced AI systems—such as red-teaming, where people probe AI systems for flaws—have serious limitations and can’t be relied on to ensure that critical systems don’t go off-piste. 

Instead, they hope the program will provide new ways to secure AI systems that rely less on human efforts and more on mathematical certainty. The vision is to build a “gatekeeper” AI, which is tasked with understanding and reducing the safety risks of other AI agents. This gatekeeper would ensure that AI agents functioning in high-stakes sectors, such as transport or energy systems, operate as we want them to. The idea is to collaborate with companies early on to understand how AI safety mechanisms could be useful for different sectors, says Dalrymple. 

The complexity of advanced systems means we have no choice but to use AI to safeguard AI, argues Bengio. “That’s the only way, because at some point these AIs are just too complicated. Even the ones that we have now, we can’t really break down their answers into human, understandable sequences of reasoning steps,” he says. 

The next step—actually building models that can check other AI systems—is also where Safeguarded AI and ARIA hope to change the status quo of the AI industry. 

ARIA is also offering funding to people or organizations in high-risk sectors such as transport, telecommunications, supply chains, and medical research to help them build applications that might benefit from AI safety mechanisms. ARIA is offering applicants a total of £5.4 million in the first year, and another £8.2 million in another year. The deadline for applications is October 2. 

The agency is also casting a wide net for people who might be interested in building Safeguarded AI’s safety mechanism through a nonprofit organization. ARIA is eyeing up to £18 million to set this organization up and will be accepting funding applications early next year. 

The program is looking for proposals to start a nonprofit with a diverse board that encompasses lots of different sectors in order to do this work in a reliable, trustworthy way, Dalrymple says. This is similar to what OpenAI was initially set up to do before changing its strategy to be more product- and profit-oriented. 

The organization’s board will not just be responsible for holding the CEO accountable; it will even weigh in on decisions about whether to undertake certain research projects, and whether to release particular papers and APIs, he adds.

The Safeguarded AI project is part of the UK’s mission to position itself as a pioneer in AI safety. In November 2023, the country hosted the very first AI Safety Summit, which gathered world leaders and technologists to discuss how to build the technology in a safe way. 

While the funding program has a preference for UK-based applicants, ARIA is looking for global talent that might be interested in coming to the UK, says Dalrymple. ARIA also has an intellectual-property mechanism for funding for-profit companies abroad, which allows royalties to return back to the country. 

Bengio says he was drawn to the project to promote international collaboration on AI safety. He chairs the International Scientific Report on the safety of advanced AI, which involves 30 countries as well as the EU and UN. A vocal advocate for AI safety, he has been part of an influential lobby warning that superintelligent AI poses an existential risk. 

“We need to bring the discussion of how we are going to address the risks of AI to a global, larger set of actors,” says Bengio. “This program is bringing us closer to this.” 




Moscow.media
Частные объявления сегодня





Rss.plus



СВОИХ НЕ БРОСАЕМ!

Заместитель управляющего Отделением Фонда пенсионного и социального страхования Российской Федерации по г. Москве и Московской области Алексей Путин: «Клиентоцентричность - наш приоритет»

Филиал № 4 ОСФР по Москве и Московской области напоминает: Социальный фонд проинформирует самозанятых о формировании пенсионных прав

В подмосковной библиотеке сотрудники Росгвардии провели для ребят выставку уникальных экспонатов Великой Отечественной войны


100-летний юбилей отметили плановые органы Свердловской области

Необычные арт-объекты появились на улицах Москвы

Питчинг Релиза. Отправить релиз на Питчинг.

Препати премии «Звезды хайпа»: яркие хиты и секреты грядущей церемонии


Shaitani Rasmein actress Sumit Singh shared a heartfelt message she'd love to give her younger self

Mike Tyson, 58, appears to make retirement U-turn hours after calling out Logan Paul following loss to brother Jake

In closing arguments, lawyers in East Bay sibling’s murder trial cast divergent views of the case

Embezzlement trial poses 'significant threat' to Le Pen's 2027 presidential run


Волонтеры «Норникеля» получили в Москве очередную награду

18 ноября День рождения Деда Мороза

Заместитель управляющего Отделением Фонда пенсионного и социального страхования Российской Федерации по г. Москве и Московской области Алексей Путин: «Клиентоцентричность - наш приоритет»

Виды инсталляций для унитаза: какие бывают


Valve gets the original Half-Life 2 development team back together for a huge 20th anniversary update—and the game is now free for the weekend on Steam

At last, democracy has come to Helldivers 2: A new Democracy Space Station lets players vote on which planet gets bombarded for truth and justice every 24 hours

If you spend more time downloading Skyrim mods than actually playing them, 'Vanilla Plus' modding is the excuse you need to dive back in

Unreal Gold and Unreal Tournament are now free on the Internet Archive, and Epic says that's A-okay


Потрібні партнери в Україні та країнах СНД з експорту авто з Китаю


Филиал № 4 ОСФР по Москве и Московской области напоминает: Социальный фонд проинформирует самозанятых о формировании пенсионных прав

Заместитель управляющего Отделением Фонда пенсионного и социального страхования Российской Федерации по г. Москве и Московской области Алексей Путин: «Клиентоцентричность - наш приоритет»

«Грузовичкоф» принял участие в открытии Общественной приемной по вопросам логистики

«Грузовичкоф» принял участие в открытии Общественной приемной по вопросам логистики




Филиал № 4 ОСФР по Москве и Московской области напоминает: Социальный фонд проинформирует самозанятых о формировании пенсионных прав

Волонтеры «Норникеля» получили в Москве очередную награду

«Спартак» разгромил «Адмирал» в КХЛ. Рубцов оформил дубль

В Пскове 2 из 3 эйчаров считают, что у работника на удаленке меньше шансов на повышение — опрос


Главные новости Нижнего Новгорода за 18 ноября: уголовное дело и смертельная авария

В Подмосковье росгвардейцы помогли автолюбительнице, оказавшейся в сложной ситуации из-за гололеда

Синоптик Вильфанд сообщил о резком похолодании в Москве с 21 ноября

Агентство «IT monitoring» запускает пилотную версию онлайн-реестра IT-ассоциаций


Медведев опустился на пятое место в рейтинге ATP

Янник Синнер обошёл Алькараса на $ 7 млн по призовым за сезон, Медведев замкнул топ-5 ATP

Рублёв объяснил своё неудачное выступление на Итоговом турнире ATP

Рублев — об Итоговом турнире ATP: «Я сыграл три неплохие встречи с правильным рассудком»


ИИ СПОСОБЕН ЗАМЕНИТЬ ВСЕ ВЛАСТИ ЦИВИЛИЗАЦИЙ, ГДЕ ЦЕЛЕСООБРАЗНО? Россия, США, Европа могут улучшить отношения и здоровье общества?!

Пассажиры воспользовались сервисом Мострансавто «Скачай, не срывай» более 1,4 млн раз

Синоптик Вильфанд сообщил о резком похолодании в Москве с 21 ноября

Коченовские чтения 2024: магистранты факультета "Юридическая психология" МГППУ говорят о конференции


Музыкальные новости

Нюша воссоединилась с двухлетним сыном, которого не видит месяцами после развода

Оркестр Бутмана выступит на The Dubai Opera Ball 2024

Певица Жанна Бичевская: Поражений у меня не было

Участники из Бразилии и Мадагаскара победили в финале Международного конкурса детской авторской песни «Наше поколение»



Заместитель управляющего Отделением Фонда пенсионного и социального страхования Российской Федерации по г. Москве и Московской области Алексей Путин: «Клиентоцентричность - наш приоритет»

Филиал № 4 ОСФР по Москве и Московской области напоминает: Социальный фонд проинформирует самозанятых о формировании пенсионных прав

Сотрудники Пушкинского отдела вневедомственной охраны Главного управления Росгвардии по Московской области задержали 38-летнего местного жителя, который тайно похитил товар из супермаркета

«Грузовичкоф» принял участие в открытии Общественной приемной по вопросам логистики


Алена Мирная рассказала о своих планах и предстоящих концертах

Полпред поздравил Новосибирскую областную организацию "Динамо" со 100-летием

Росгвардейцы обеспечили безопасность транспортировки ракеты-носителя «Союз-2.1А» на космодроме «Байконур»

Станислав Кондрашов о том, как поколение Z переосмысливает карьерные амбиции


Сергей Собянин: Дополнительный участок МСД сделает поездки на юге Москвы быстрее

«Грузовичкоф» делится лучшими практиками на конференции «Грузоперевозки 2024»

Сотрудники вневедомственной охраны Главного управления Росгвардии по г. Москве оказали помощь женщине, у которой во время прогулки случился приступ эпилепсии.

В Москве отремонтируют 34 многоквартирных дома с арочными окнами


Заместитель управляющего Отделением Фонда пенсионного и социального страхования Российской Федерации по г. Москве и Московской области Алексей Путин: «Клиентоцентричность - наш приоритет»

Махинации на 175 миллиардов: дело молдавского политика Усатого передали в суд

Путин продлил полномочия ректоров МГУ и СПбГУ

Лукашенко сообщил, предлагал ли Путин жить в одном государстве





Специалист клиники «Мегастом» Светлана Фролова: гингивит у детей - симптомы, профилактика и лечение

Домодедовские онкологи напоминают о прохождении диспансеризации для своевременного выявления рака молочной железы

Диетолог Соломатина: от бесконтрольного приема «Оземпика» ухудшается зрение

Ядовитые «трубы ангела» зацвели в «Аптекарском огороде» в Москве


Американское издание: Решение Вашингтона по ATACMS сделало Зеленского «ходячим

«Ракеты сами за себя скажут»: США разрешили Киеву удары вглубь РФ около трех дней назад — Axios


Более 500 спортсменов приняли участие в турнире ко Дню самбо в Мытищах

Второй этап регионального чемпионата по настольному хоккею прошел в Реутове

Росгвардейцы обеспечили безопасность на спортивном мероприятии в Москве

Делегация от Псковской области приняла участие в Олимпиаде среди медицинских работников


Смоленский губернатор возложил венок к монументу Победы в Минске

Губернатор Василий Анохин встретился с президентом РБ Александром Лукашенко

Лукашенко сообщил, предлагал ли Путин жить в одном государстве

Василий Анохин и его команда по приглашению белорусского президента работают в Минске



Собянин: в Павлово-Посадском городском округе силами ПВО сбит еще один БПЛА

Сергей Собянин: Возводим сложный участок трассы

Собянин: Москва признана лидером по количеству музеев среди глобальных городов

Сергей Собянин рассказал о благоустройстве на западе Москвы


Ростовская АЭС получила высокую оценку состояния безопасности Московского центра ВАО АЭС

Красношейную поганку обнаружили в Строгинской пойме

Строгино – самый экологичный район старой Москвы

Двадцать электробусов вышли на маршруты в двух округах Москвы


Критерий выбора: что важно для образования в онлайне?

Сергунина: 342 тыс. человек посетили музей под открытым небом у Кремля

Пассажиры воспользовались сервисом Мострансавто «Скачай, не срывай» более 1,4 млн раз

Синоптик Вильфанд сообщил о резком похолодании в Москве с 21 ноября


Архивисты из разных регионов России собрались в Архангельске на научно-практическую конференцию

Подмосковных фермеров пригласили на межрегиональный форум

В Поморье проходит третий форум победителей конкурсов грантов губернатора Архангельской области

В Архангельске объявили о штормовом предупреждении с порывами ветра до 19 метров в секунду


Выставка-экспозиция "Вместе с книгой мы растем"

Выставка-гордость «И вечность возвестит, кто был Суворов»

Домашний ужин или офисный обед — где заказать пиццу в Симферополе?

Разыскиваемая за убийство внуков в 1999 году в Иркутске пенсионерка нашлась живой в Крыму


Пассажиры воспользовались сервисом Мострансавто «Скачай, не срывай» более 1,4 млн раз

Критерий выбора: что важно для образования в онлайне?

Россия как транспортный узел Евразии

Особняк и квартира. Стало известно, какое наследство оставил певец Левкин












Спорт в России и мире

Новости спорта


Новости тенниса
ATP

Медведев опустился на пятое место в рейтинге ATP






Незаконные постройки обнаружили в деревне Грибки в Мытищах

КХЛ. «Спартак» — «Адмирал». Прямая трансляция: смотреть онлайн

Агентство «IT monitoring» запускает пилотную версию онлайн-реестра IT-ассоциаций

Главные новости Нижнего Новгорода за 18 ноября: уголовное дело и смертельная авария