AI-чатботы утекают реальные номера телефонов: проблема утечки PII
Чат-боты с ИИ раскрывают реальные номера телефонов людей. Один пользователь Reddit сообщил, что его завалили звонками незнакомцы, ищущие адвоката или слесаря — их ввел в заблуждение Google Gemini. В марте с инженером-программистом в Израиле связались через WhatsApp после того, как Gemini выдал его личный номер как контактную службу поддержки PayBox. В апреле аспирант с помощью Gemini получил номер мобильного телефона коллеги.
Как это происходит
LLM обучаются на данных, собранных из Интернета, содержащих PII. В статье отмечается, что открытый набор данных DataComp CommonPool включает резюме, водительские права и кредитные карты. Даже единственный случай публикации номера телефона в сети (например, на сайте вопросов и ответов в 2015 году) может быть воспроизведен спустя годы.
Масштаб проблемы
DeleteMe, помогающая удалять личную информацию из Интернета, сообщает о 400%-ном увеличении запросов на конфиденциальность, связанных с ИИ, за последние семь месяцев — до нескольких тысяч. Разбивка: 55% ссылаются на ChatGPT, 20% на Gemini, 15% на Claude, 10% на других. Два распространенных сценария: пользователь спрашивает о себе и получает точные данные о доме/телефоне, или чат-бот генерирует правдоподобные, но неверные контактные данные для другого человека.
Роб Шейвелл (сооснователь DeleteMe) говорит, что жалобы обычно включают случаи, когда чат-бот возвращает точные домашние адреса, номера телефонов, фамилии или данные о работодателе в ответ на безобидные вопросы о пользователе.
Что можно сделать
Эксперты говорят, что коренная причина — PII в обучающих данных, но точный механизм неясен. Пользователи мало что могут сделать для предотвращения раскрытия. Статья предполагает, что проблема будет усугубляться по мере того, как компании ИИ будут искать новые источники данных.
📖 Read the full source: HN AI Agents
👀 Смотрите также
Независимый отчет о надежности и безопасности сервера MCP
Независимый анализ 2181 конечных точек MCP-серверов показал, что 52% из них не работают, 300 серверов не имеют аутентификации, а у 51% настроена полностью открытая политика CORS. В отчёте описана методология исследования и представлен инструмент для тестирования.
Кейлгард: Открытый сканер безопасности для экземпляров OpenClaw
Caelguard — это сканер безопасности с открытым исходным кодом, созданный для OpenClaw, который выполняет 22 проверки вашего экземпляра, включая изоляцию Docker, ограничение разрешений инструментов и проверку цепочки поставок навыков. Он выставляет оценку из 140 баллов с буквенным обозначением и предоставляет конкретные шаги по устранению проблем.
llm-hasher: Локальное обнаружение PII и токенизация для гибридных LLM-процессов
llm-hasher — это инструмент, который обнаруживает личную идентифицируемую информацию локально с помощью Ollama до того, как данные попадут к внешним LLM, таким как OpenAI или Claude, токенизирует PII и восстанавливает исходные значения после обработки. Он использует регулярные выражения для структурированных типов данных и локальную LLM для контекстного обнаружения, с зашифрованным хранилищем для сопоставлений.
Оценка AISI демонстрирует кибервозможности Claude Mythos Preview в CTF и многошаговых атаках.
Институт искусственного интеллекта и безопасности оценил предварительную версию Claude Mythos от Anthropic, обнаружив, что она успешно выполнила 73% экспертных заданий типа "захват флага" и решила симуляцию корпоративной сетевой атаки из 32 шагов в 3 из 10 попыток.