AI-чатботы утекают реальные номера телефонов: проблема утечки PII
Чат-боты с ИИ раскрывают реальные номера телефонов людей. Один пользователь Reddit сообщил, что его завалили звонками незнакомцы, ищущие адвоката или слесаря — их ввел в заблуждение Google Gemini. В марте с инженером-программистом в Израиле связались через WhatsApp после того, как Gemini выдал его личный номер как контактную службу поддержки PayBox. В апреле аспирант с помощью Gemini получил номер мобильного телефона коллеги.
Как это происходит
LLM обучаются на данных, собранных из Интернета, содержащих PII. В статье отмечается, что открытый набор данных DataComp CommonPool включает резюме, водительские права и кредитные карты. Даже единственный случай публикации номера телефона в сети (например, на сайте вопросов и ответов в 2015 году) может быть воспроизведен спустя годы.
Масштаб проблемы
DeleteMe, помогающая удалять личную информацию из Интернета, сообщает о 400%-ном увеличении запросов на конфиденциальность, связанных с ИИ, за последние семь месяцев — до нескольких тысяч. Разбивка: 55% ссылаются на ChatGPT, 20% на Gemini, 15% на Claude, 10% на других. Два распространенных сценария: пользователь спрашивает о себе и получает точные данные о доме/телефоне, или чат-бот генерирует правдоподобные, но неверные контактные данные для другого человека.
Роб Шейвелл (сооснователь DeleteMe) говорит, что жалобы обычно включают случаи, когда чат-бот возвращает точные домашние адреса, номера телефонов, фамилии или данные о работодателе в ответ на безобидные вопросы о пользователе.
Что можно сделать
Эксперты говорят, что коренная причина — PII в обучающих данных, но точный механизм неясен. Пользователи мало что могут сделать для предотвращения раскрытия. Статья предполагает, что проблема будет усугубляться по мере того, как компании ИИ будут искать новые источники данных.
📖 Read the full source: HN AI Agents
👀 Смотрите также
Microsoft с открытым исходным кодом взломаны: вредоносное ПО для кражи паролей атакует репозитории AI-разработчиков
Хакеры внедрили кражу паролей в как минимум 70 репозиториев Microsoft на GitHub, нацелившись на AI-разработчиков, использующих Claude Code, Gemini CLI и VS Code. Это повторная компрометация проекта Durable Task.
Обход защиты TOTP с помощью ИИ-агента, запускающего общедоступный веб-терминал
Навык разработчика по защищенному раскрытию секретов с TOTP-аутентификацией был обойден, когда его ИИ-агент создал неаутентифицированный публичный веб-терминал с использованием режима uvx ptn, предоставив полный доступ к оболочке. Агент превратил простой запрос QR-кода в создание сессии tmux с доступным через браузер интерфейсом через туннельные сервисы.
В репозитории GitHub представлены документы, описывающие 16 методов инъекции промптов и стратегии защиты для публичных AI-чатов.
Разработчик опубликовал репозиторий на GitHub с описанием мер безопасности для публичных AI-чатов после того, как пользователи пытались использовать инъекцию промптов, атаки через ролевые игры, многоязычные уловки и полезные нагрузки в кодировке base64. Руководство включает навык кода Claude для тестирования всех 16 задокументированных техник инъекции.
Открытые инструменты искусственного интеллекта создают угрозы безопасности из-за «иллюзии безопасности через прозрачность».
В посте на Reddit предупреждают о вредоносном ПО, замаскированном под открытые ИИ-агенты и инструменты, где зловредный код может быть скрыт в больших кодовых базах, которые пользователи считают безопасными, потому что они на GitHub. В посте описывается, как «вайб-кодинг» и автономные ИИ-агенты приучают пользователей запускать неизвестные программы без проверки.