Спасибо за статью в блоге, было интересно почитать, Сэм 
Об этом уже много пишут в интернете, но является ли угроза безопасности («наши модели слишком опасны») реальной или основной причиной задержки релиза?
Некоторые утверждают, что это скорее пиар-ход, хотя это не отменяет потенциальной мощи моделей. Один из примеров: On Anthropic's Mythos Preview and Project Glasswing - Schneier on Security
Я, конечно, ничего не понимаю во всех этих сложных темах, но я настороженно отношусь к статьям, которые мгновенно разлетаются по всем новостным сайтам и онлайн-сообществам. Предполагаю, что в утверждениях есть свои оговорки. Вероятно, где-то есть правда, а где-то информация требует уточнения или просто раздута.
У меня нет сомнений в том, что модели невероятно быстро находят и, вероятно, эксплуатируют уязвимости, и вы даже привели пример с кодом Discourse, подтверждающий это.
Что касается самой статьи, хочу отметить один момент, который показался мне странным:
Закрытый исходный код всегда был более слабой защитой для SaaS, чем люди готовы признать. Веб-приложение — это не то, что разово выпускают и прячут. Значительная его часть доставляется напрямую в браузер пользователя с каждым запросом: JavaScript, контракты API, клиентские сценарии, логика валидации и поведение функций. Злоумышленники уже могут проанализировать всё это, а ИИ делает такой анализ значительно дешевле. Закрытие репозитория может скрыть некоторые детали серверной реализации, но это не делает систему невидимой. В основном это лишь сокращает число защитников, способных увидеть полную картину.
Затем, чуть позже:
Закрытый исходный код может обеспечить определённую неясность, но неясность хрупка. Исходный код утекает, бинарные файлы реверс-инжинирятся, API картографируются, а злоумышленники узнают многое, просто опрашивая работающую систему. Настоящая защита — не в том, чтобы вечно скрывать код. Она в создании программного обеспечения и операционных практик, которые выдерживают scrutiny, когда оно наступает.
Прочитав второй абзац, я почувствовал, что уже читал это раньше.
Я прокрутил страницу вверх и заметил, что два абзаца очень, очень похожи. В обоих говорится одно и то же, но другими словами.
Я понимаю необходимость подытоживать, но в данном случае у меня действительно возникло ощущение, что я уже прочитал практически то же самое несколькими абзацами ранее.