Слабое звено: сотрудники с ИИ ставят под угрозу кибербезопасность компаний
Anthropic — американская технологическая компания в сфере искусственного интеллекта, основанная бывшими сотрудниками OpenAI. Специалисты компании прогнозируют, что уже в следующем году виртуальные сотрудники, управляемые искусственным интеллектом, начнут распространяться по корпоративным сетям, сообщил в интервью изданию Axios руководитель службы информационной безопасности Джейсон Клинтон.
Почему это важно? Работа с такими ИИ-сотрудниками потребует пересмотра стратегий кибербезопасности, иначе есть риск серьезной бреши в системе. Виртуальные сотрудники могут стать следующим очагом инноваций в области искусственного интеллекта, утверждает Джейсон Клинтон.
ИИ-помощники обычно сосредоточены на выполнении конкретной, программируемой задачи. В сфере безопасности это означает, что автономные агенты реагируют на предупреждения о фишинге и другие индикаторы угроз. Виртуальные сотрудники позволят сделать еще один шаг вперед в автоматизации. ИИ-сотрудник будет обладать «памятью», должностью и даже собственной корпоративной учетной записью и паролем, а следовательно — и уровнем автономности, значительно превышающим тот, который есть у уже действующих агентов. «В этом мире существует так много проблем, которые мы еще не решили с точки зрения безопасности, и которые необходимо решить сейчас», — говорит Клинтон.
По его словам, эти проблемы включают в себя то, как защитить учетные записи сотрудников с искусственным интеллектом, какой доступ к сети они должны получить, и кто отвечает за управление их действиями.
По словам Клинтона, компания Anthropic считает, что у нее есть две обязанности, чтобы помочь справиться с проблемами безопасности, связанными с искусственным интеллектом. Первая — тщательно тестировать модели Claude, чтобы убедиться, что они могут противостоять кибератакам. Вторая — отслеживать и устранять способы, которыми злоумышленники могут использовать Claude.
Сетевым администраторам уже приходится следить за тем, какие учетные записи имеют доступ к различным системам, и противостоять злоумышленникам, которые покупают пароли учетных записей сотрудников в даркнете.
По словам Клинтона, сотрудники с ИИ могут выйти из-под контроля и взломать систему непрерывной интеграции компании, где новый код объединяется и тестируется перед развертыванием, во время выполнения задания.
«В привычном нам мире это — наказуемое преступление, — поясняет Клинтон. — Но кто будет нести ответственность за агента с искусственным интеллектом, который работал пару недель и дошел до такого состояния? Это новый мир».
Клинтон заявляет, что защита виртуальных сотрудников — одна из важнейших областей безопасности, в которую компаниям, работающим с искусственным интеллектом, стоит инвестировать в ближайшие несколько лет.
Особенно важны решения, которые обеспечивают прозрачность работы учетной записи сотрудника с ИИ в системе, а также инструменты новой классификации учетных записей, которые лучше контролируют виртуальных сотрудников. Крупные компании, работающие в сфере ИИ, в последнее время находятся на пике инвестирования: OpenAI, как сообщается, ведет переговоры о покупке стартапа по кодированию ИИ Windsurf. Anthropic инвестировала в компанию Goodfire, которая занимается расшифровкой мышления моделей ИИ.
Однако интеграция искусственного интеллекта в рабочее пространство уже вызывает сложности, и понять, как управлять виртуальными сотрудниками, будет нелегко.
В прошлом году компания Lattice, занимающаяся вопросами оценки эффективности, заявила, что ИИ-боты должны стать «частью рабочей силы», в том числе занять места в корпоративных системах на правах сотрудников. После поступления жалоб компания быстро изменила свой курс.
Следует отметить, что несколько разработчиков систем кибербезопасности уже выпускают продукты для управления виртуальными сотрудниками. В феврале компания Okta выпустила единую платформу управления для более эффективной защиты не принадлежащих людям аккаунтов. Эта система также обеспечивает постоянный контроль над тем, к каким системам имеет доступ каждая учетная запись компании, а также отслеживает любую подозрительную активность.
Сообщение Слабое звено: сотрудники с ИИ ставят под угрозу кибербезопасность компаний появились сначала на Идеономика – Умные о главном.