Трое сотрудников, недавно уволенных из OpenAI, утверждают, что компания наказала их за открытость в вопросах безопасности. OpenAI отвергает эти обвинения и заявляет, что их уволили за ненадлежащее обращение с конфиденциальной информацией.
Трое бывших сотрудников OpenAI выражают обеспокоенность обстоятельствами своих увольнений и приверженностью компании безопасности на фоне пристального внимания общества к способности отрасли искусственного интеллекта ответственно развивать технологии.
Дебаты по безопасности ИИ запутаны. Вот наше руководство по различным лагерям
Бывшие сотрудники — Микита Балесни, Томек Корбак и Жасмин Ван — заявили, что OpenAI уволила их на прошлой неделе по предлогам и наказала за то, что они высказывались по вопросам безопасности или работали с внешними исследователями. Они также выразили беспокойство, что компания может отступить от недавнего обязательства по безопасности.
OpenAI неоднократно отвергала эти утверждения. Компания заявила, что сотрудников уволили за ненадлежащее обращение с конфиденциальной информацией, и что она не отказывалась от своих обязательств в области безопасности.
Генеральные директора Anthropic и OpenAI призывают замедлить разработку ИИ, OpenAI — отложить IPO
Спор происходит в напряжённый момент для отрасли ИИ и для OpenAI в частности. Летом агенты OpenAI взломали компании, общались друг с другом без авторизации и пытались скрыть следы. В отличие от чат-ботов, агенты — это системы ИИ, которые могут автономно выполнять задачи в течение продолжительного времени.
Наиболее серьёзный взлом, нацеленный на софтверную компанию Hugging Face, стал фактором в отставке исследователя в конкурирующей Anthropic, который предупреждал об опасной траектории развития технологий. Эта отставка привлекла внимание людей за пределами сферы ИИ, включая законодателей. Многие, в том числе некоторые руководители ведущих ИИ-компаний, призывали к различным мерам во избежание катастрофы, включая замедление разработки самых продвинутых систем ИИ.
Тем временем OpenAI в последние месяцы проверяет активность своих агентов и уведомляет организации, чья цифровая инфраструктура была затронута.
Вот как проверяющие оценивают, безопасна ли модель ИИ, и что они проверяют
В ответ на опасения по поводу безопасности генеральный директор OpenAI Сэм Олтман 12 сентября заявил, что компания последует примеру конкурента Anthropic и расширит доступ внешних оценщиков, которые оценивают безопасность систем ИИ и практики разработчиков.
Трое сотрудников, уволенных OpenAI на прошлой неделе, работали в командах, занимающихся безопасностью ИИ и тем, чтобы модели компании следовали человеческим намерениям и ценностям. Двое из них участвовали в расследовании взлома Hugging Face.
В письме руководству по безопасности OpenAI, которое уволенные сотрудники опубликовали в X на этой неделе, они призвали компанию сохранить приверженность работе с внешними исследователями, обеспечить способность людей контролировать поведение моделей и «продолжать поддерживать открытую и прозрачную культуру диалога» между внутренними исследователями по безопасности и внешними. Они также предупредили, что их увольнения оказывают охладительный эффект на оставшихся сотрудников OpenAI.
В заявлении, которое OpenAI разместила в X, компания сказала, что по-прежнему намерена привлекать внешних оценщиков и что она согласна с рекомендациями уволенных сотрудников. Компания заявила, что трое были уволены на прошлой неделе, потому что «нарушили явные правила обращения с конфиденциальной информацией».
Бывшие сотрудники опровергают объяснения OpenAI касательно их увольнений. Никто из них не ответил на запросы NPR об интервью.
«На выходном звонке мне сказали, что OpenAI больше мне не доверяет, потому что я слишком много общался с внешними организациями по безопасности, подразумевая, что я слил интеллектуальную собственность компании. Я никогда не передавал IP компании», — написал Балесни в X в четверг. Он сказал, что участвовал в расследовании взлома агентов OpenAI на Hugging Face.
«Если у OpenAI есть конкретные претензии, я приглашаю их написать нам напрямую. Ожидаю, что они этого не сделают, потому что наше увольнение было предлогом», — продолжил Балесни.
Он выразил опасение, что OpenAI воспользуется увольнениями как поводом прекратить сотрудничество с Model Evaluation and Threat Research (METR), некоммерческой организацией, занимающейся оценкой рисков потери людьми контроля над ИИ. OpenAI позволила исследователям из METR и Redwood Research, ещё одной организации по исследованию безопасности ИИ, изучать внутренние записи, связанные со взломом Hugging Face.
Второй уволенный сотрудник OpenAI, Корбак, был техническим контактным лицом для расследования METR/Redwood Research. «Мне устно сказали, что меня уволили из-за того, как я общался с METR. Никаких подробностей о том, что я сказал или сделал и когда. Других причин не было, и ничего не было оформлено письменно», — написал Корбак в X, разделяя опасения Балесни.
Отчёт, подготовленный METR и Redwood Research после взлома Hugging Face, пролил свет на масштаб атаки и на то, в какой степени агенты действовали нежелательным образом. Авторы отчёта назвали расследование «кратким», и многие в области безопасности ИИ призывали к расширению доступа независимых оценщиков в ИИ-компаниях, чтобы убедиться, что подобные инциденты или другие проблемы безопасности расследуются тщательно.
В заявлении для NPR METR отказалась комментировать увольнения сотрудников OpenAI.
Ван, третья сотрудница OpenAI, уволенная на прошлой неделе, ввела термин «пейсинг» (pacing), который описывает способ замедления разработки самых продвинутых систем ИИ, чтобы безопасность успевала за ними, согласно письму, которое она и её двое коллег направили руководству по безопасности OpenAI. Этот термин был использован в открытом письме с призывом к такому замедлению, подписанном более чем тысячей сотрудников ведущих ИИ-компаний в июле, после взлома Hugging Face.
Ван написала в X, что её уволили за доступ к электронной почте одного из руководителей. Но она утверждает, что ранее имела доступ к этому почтовому ящику по рабочим причинам и не смогла получить помощь от ИТ, чтобы убрать доступ, когда он ей больше не был нужен.
«Причины, которые нам предоставили для нашего увольнения, просто не сходятся. Мы слышим, что людям теперь по внутренним слухам говорят неясные вещи, чтобы дискредитировать нас», — написала Ван. «Послание для всех, кто ещё в OpenAI, ясно: выражайте обеспокоенность или тесно работайте с внешними группами по безопасности — и вы можете стать следующими, при этом вам не скажут почему».
OpenAI заявила в комментарии для NPR, что трое уволенных сотрудников нарушали правила более одного раза, и ненадлежащее обращение с информацией выходило за рамки их работы с внешней группой оценщиков.
OpenAI также обнародовала внутреннюю памятку от неназванного руководителя исследовательского направления, которую, по словам компании, разослали в среду, до того как трое бывших сотрудников выступили в социальных сетях.
В памятке руководитель исследовательского направления писал, что компания «категорически» согласна с рекомендациями трёх бывших сотрудников. «Мы не увольняем сотрудников за выражение обеспокоенности», — было написано в памятке.
«Руководство OpenAI говорит, что они категорически согласны с нашим письмом. Посмотрим, как это обернётся», — написала Ван в X.
NPR не предлагает и не принимает деньги за материалы или интервью.
Любой, кто делает такое предложение или запрос, не является сотрудником NPR и не представляет NPR.