Бывшие сотрудники OpenAI считают, что ее деятельность угрожает человечеству
Среди бьющих тревогу инсайдеров особенно примечателен Дэниел Кокотайло, который в 2022 году присоединился к OpenAI в качестве исследователя по вопросам управления. На этом посту он прогнозировал скорость развития ИИ и не был оптимистичен. Изначально Кокотайло считал, что универсальный искусственный интеллект (AGI), равный человеку по способностям, появится к 2050 году. Сейчас он полагает, что такой ИИ появится уже к 2027 году с вероятностью 50%. Кроме того, аналитик уверен, что продвинутый ИИ уничтожит человечество или катастрофически навредит ему с вероятностью 70%. В индустрии эту мрачную статистику называют p(doom) (в вольном переводе "звиздецом").
Работая в OpenAI Кокотайло заметил, что компания крайне редко проводит надлежащие испытания перед выпуском продуктов. Совместный с Microsoft совет по безопасности никогда не замедлял развёртывание новых моделей, чтобы убедиться в их безопасности. Например, в 2022 году Microsoft начала тайно тестировать в Индии новую версию поисковика Bing на основе, как предполагается, GPT-4, самой продвинутой на тот момент модели. На это компания не запрашивала разрешение совета по безопасности. Кокотайло говорит, что когда поисковой сервис начал странно себя вести и неадекватно отвечать на вопросы пользователей, тестирование и не подумали сворачивать. Впрочем, пресс-секретарь Microsoft Фрэнк Шоу утверждает, что поисковик не содержал GPT-4 или любую другую модель OpenAI.
В прошлом году Кокотайло говорил с Альтманом о необходимости выделять больше времени и ресурсов вопросам безопасности. Гендиректор согласился с ним, однако никаких действий не предпринял. В апреле 2024 года Даниил покинул компанию, разочаровавшись в её подходе к безопасности. Спустя месяц компанию покинули ещё 2 ключевых исследователя по вопросам безопасности — Илья Суцкевер и Ян Лейке. Их уход часть сотрудников восприняла как шаг назад. Они не подписали открытое письмо, но Лейке публично критиковал OpenAI и говорил, что компания слишком зациклилась на привлекающих внимание продуктах и прибыли, поэтому безответственно относится к потенциальным рискам.
К письму также присоединились уволившиеся из OpenAI Уильям Сондерс, Кэролл Уэйнрайт, Джейкоб Хилтон и Дэниел Циглер. Сондерс сказал, что ему не понравился подход разработчиков: «Сначала выпустим продукт, потом будем исправлять проблемы с ним». Остальные подписывали обращение анонимно, потому что боялись преследования со стороны компании — она обязывает уходящих сотрудников навсегда отказаться от критики бывшего работодателя. В противном случае они могут потерять все свои акции и понести финансовую ответственность.
Ранее Альтман говорил, что такая мера рассматривалась как возможная, но на практике её не применяют. Однако, скорее всего, он лжёт: Кокотайло https://www.nytimes.com/2024/06/04/technology/openai-culture..., что сейчас рискует потерять $1,7 млн в акциях OpenAI из-за того, что выступил с критикой компании.
Интересно, что письмо также подписали 2 сотрудника Google, один бывший и один нынешний. Авторы инициативы считают, что в будущем к ним присоединятся сотрудники и других компаний, занимающихся разработкой ИИ. Они заручились поддержкой известного юриста и активиста Лоуренса Лессига, профессора права из Гарварда. Он известен борьбой за авторские права в эпоху интернета.
В https://righttowarn.ai/ активисты требуют, чтобы разработчики ИИ отказались от соглашений о неразглашении в вопросах, касающихся рисков и угроз от определенных моделей; они также просят правительство и другие социальные институты защищать информаторов от мести работодателей при разглашении информации, касающейся безопасности. Они призывают компании поддерживать культуру открытой критики и разрешать сотрудникам высказываться о рисках их технологий.
Кроме того, подписавшиеся просят наладить анонимный процесс жалоб на потенциальные риски продуктов не только в совет директоров, но и в другие регулирующие органы и общественные организации. У многих разработчиков ИИ есть свои анонимные линии доверия, однако авторы инициативы считают, что внутреннего регулирования недостаточно: у компаний слишком велик соблазн замалчивать любые проблемы ради повышения прибыли.