AI-чатботы утекают реальные номера телефонов: проблема утечки PII
Чат-боты с ИИ раскрывают реальные номера телефонов людей. Один пользователь Reddit сообщил, что его завалили звонками незнакомцы, ищущие адвоката или слесаря — их ввел в заблуждение Google Gemini. В марте с инженером-программистом в Израиле связались через WhatsApp после того, как Gemini выдал его личный номер как контактную службу поддержки PayBox. В апреле аспирант с помощью Gemini получил номер мобильного телефона коллеги.
Как это происходит
LLM обучаются на данных, собранных из Интернета, содержащих PII. В статье отмечается, что открытый набор данных DataComp CommonPool включает резюме, водительские права и кредитные карты. Даже единственный случай публикации номера телефона в сети (например, на сайте вопросов и ответов в 2015 году) может быть воспроизведен спустя годы.
Масштаб проблемы
DeleteMe, помогающая удалять личную информацию из Интернета, сообщает о 400%-ном увеличении запросов на конфиденциальность, связанных с ИИ, за последние семь месяцев — до нескольких тысяч. Разбивка: 55% ссылаются на ChatGPT, 20% на Gemini, 15% на Claude, 10% на других. Два распространенных сценария: пользователь спрашивает о себе и получает точные данные о доме/телефоне, или чат-бот генерирует правдоподобные, но неверные контактные данные для другого человека.
Роб Шейвелл (сооснователь DeleteMe) говорит, что жалобы обычно включают случаи, когда чат-бот возвращает точные домашние адреса, номера телефонов, фамилии или данные о работодателе в ответ на безобидные вопросы о пользователе.
Что можно сделать
Эксперты говорят, что коренная причина — PII в обучающих данных, но точный механизм неясен. Пользователи мало что могут сделать для предотвращения раскрытия. Статья предполагает, что проблема будет усугубляться по мере того, как компании ИИ будут искать новые источники данных.
📖 Read the full source: HN AI Agents
👀 Смотрите также
Атака FlyTrap использует "враждебные зонтики" для компрометации автономных дронов на основе камер.
Исследователи из UC Irvine разработали FlyTrap — физическую атаку, использующую раскрашенные зонты для эксплуатации уязвимостей в камерных системах автономного слежения за целями. Атака сокращает дистанцию слежения до опасных уровней, позволяя захватывать дроны, атаковать сенсоры или вызывать физические столкновения.
Изучение рисков использования аккаунта Google с Gemini-Cli и подпиской Gemini Pro
Gemini-Cli и ваша подписка на Gemini Pro могут представлять некоторые риски для вашей учетной записи Google. Вот что вам нужно знать о потенциальных уязвимостях при использовании этих инструментов ИИ.
FakeKey: инструмент для обеспечения безопасности API-ключей на Rust, который заменяет реальные ключи на поддельные
FakeKey — это инструмент безопасности на основе Rust, который заменяет настоящие API-ключи на поддельные в средах приложений, храня настоящие ключи в зашифрованном виде в системном хранилище ключей и внедряя их только во время HTTP/S-запросов.
Claude Code — уязвимость с опасным пропуском проверки прав и инструмент защиты с открытым исходным кодом
Lasso Security опубликовала исследование, демонстрирующее уязвимости косвенной инъекции промптов в Claude Code при использовании флага --dangerously-skip-permissions, включая векторы атак через отравленные файлы README, вредоносный веб-контент и выводы MCP-серверов. Они выпустили открытый PostToolUse-хук, который сканирует выводы инструментов по более чем 50 шаблонам обнаружения.