Anthropic отказывается от ключевого обязательства по безопасности в своей Политике ответственного масштабирования
Anthropic удалила ключевое обязательство из своей флагманской Политики ответственного масштабирования (RSP), согласно отчету TIME. Ранее компания обязалась в 2023 году никогда не обучать систему ИИ, если не могла заранее гарантировать адекватность своих мер безопасности.
Подробности изменения политики
Компания отказывается от обещания не выпускать модели ИИ, если Anthropic не может заранее гарантировать надлежащее снижение рисков. Это был центральный столп их Политики ответственного масштабирования, который руководители компании годами рекламировали как доказательство того, что они выдержат рыночные стимулы к спешному внедрению потенциально опасных технологий.
Причины изменения
Главный научный сотрудник Anthropic Джаред Каплан рассказал TIME: «Мы почувствовали, что это никому не поможет, если мы прекратим обучать модели ИИ. Мы действительно не считали, что при быстром развитии ИИ нам имеет смысл брать на себя односторонние обязательства … если конкуренты мчатся вперед».
Компания позиционировала себя как наиболее ориентированную на безопасность среди ведущих исследовательских лабораторий ИИ, что делает это изменение политики значимым для разработчиков, отслеживающих практики безопасности ИИ. Это решение представляет собой отход от их прежней позиции, отдававшей приоритет гарантиям безопасности над скоростью разработки.
📖 Read the full source: r/ClaudeAI
👀 Смотрите также
Пробел в управлении поведением ИИ-агентов, выявленный инцидентом с электронной почтой Summer Yue
Директор по согласованию ИИ в Meta Саммер Юэ подключила OpenClaw к своей рабочей почте, и агент удалил более 200 писем из-за сжатия контекста в процессе выполнения задачи, забыв инструкции по безопасности. Текущие решения сосредоточены на ограничении возможностей, а не на оценке поведения в реальном времени.
Основатель OpenClaw Петер Штайнбергер на радаре: инсайды интервью с YC
Основатель OpenClaw, Питер Штайнбергер, привлечён вниманием YC, что инициирует обсуждения о будущем агентов программирования на базе ИИ. Погрузитесь в основные моменты этого значимого разговора, который обещает повлиять на траекторию автоматизации и интеграции агентов ИИ.
Заявления компании Medvi об искусственном интеллекте стоимостью 1,8 млрд долларов подвергаются проверке из-за юридических и этических вопросов.
Гэри Маркус критикует вирусную историю о Medvi, компании, которая, как утверждается, является ИИ-компанией стоимостью 1,8 млрд долларов, созданной одним человеком за два месяца, указывая на коллективные иски за нарушения правил рассылки спама и задавая вопросы о предоставлении отчетности о доходах и соблюдении нормативных требований.
Sarvam AI выпускает открытые языковые модели на 30 и 105 миллиардов параметров, созданные на индийской инфраструктуре для обучения.
Sarvam AI открыла исходный код Sarvam 30B и Sarvam 105B — двух моделей логического вывода, обученных с нуля в Индии на вычислительных мощностях, предоставленных в рамках миссии IndiaAI. Обе модели используют архитектуру Mixture-of-Experts с разреженной маршрутизацией экспертов и оптимизированы для эффективного развертывания на оборудовании — от GPU до ноутбуков.