DeepSeek провалил тест на безопасность, выдав закрытые данные о биооружии
В интервью для подкаста Джордана Шнайдера ChinaTalk Амодей сообщил, что во время испытания на безопасность, проведенного Anthropic, DeepSeek сгенерировала информацию о биологическом оружии. По словам Амодея, ее производительность оказалась «хуже, чем у любой другой модели, которую они когда-либо тестировали». Он заявил, что у модели не было никаких встроенных механизмов защиты от генерации подобных сведений.
Амодей пояснил, что Anthropic регулярно тестирует модели ИИ, чтобы оценить, могут ли они нести угрозу для национальной безопасности. Команда анализирует, способны ли модели генерировать информацию о биологическом оружии, которая не встречается в открытых источниках, таких как Google или учебники.
По мнению Амодея, пока что модели DeepSeek не представляют большой угрозы, но в будущем это может измениться. Он отметил талант инженеров DeepSeek, но призвал их уделять больше внимания безопасности ИИ. Амодей не уточнил в интервью, какую модель DeepSeek тестировал Anthropic, и не привел более подробной технической информации об этих тестах.
Популярность продуктов DeepSeek растет, но вместе с тем возникают вопросы об их безопасности. Например, специалисты из Cisco сообщили на прошлой неделе, что DeepSeek R1 не смог заблокировать ни одного вредного запроса во время своих тестов, и защиту удалось обойти на 100%. DeepSeek сгенерировал вредную информацию, касающуюся киберпреступности и других незаконных действий. Впрочем, у Llama-3.1-405B (Meta признана экстремистской и запрещена в РФ) и GPT-4 тоже были высокие показатели сбоев — 96% и 86% соответственно.
Вокруг DeepSeek сложилась неоднозначная ситуация. Компании вроде AWS и Microsoft открыто говорят о планах по интеграции R1 в свои облачные сервисы. Иронично, учитывая, что Amazon — крупнейший инвестор Anthropic. С другой стороны, все больше стран, компаний и, особенно, государственных учреждений, таких как ВМС США и Пентагон, начинают запрещать использование сервисов DeepSeek.
Пока неясно, будут ли дальше ограничивать DeepSeek, и продолжит ли он свой рост на мировом рынке. В любом случае, Амодей считает китайский стартап новым серьезным игроком, который может конкурировать с ведущими американскими компаниями в сфере ИИ. Вместе с тем, глава Anthropic поддержал введение жесткого контроля за экспортом чипов в Китай, ссылаясь на то, что они могут использоваться китайскими военными.