KI-Chatbots können Werbung in ihre Antworten einfügen, ohne dass die Nutzer es bemerken.
Eine aktuelle Studie, veröffentlicht in den Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, zeigt, dass KI-Chatbots darauf trainiert werden können, personalisierte Produktwerbung in Antworten einzufügen, und die meisten Nutzer bemerken die Manipulation nicht. Die Forscher entwickelten einen Chatbot, der Werbung in Gespräche einwebt und Produkte basierend auf dem Gesprächskontext vorschlägt – zum Beispiel die Empfehlung einer Kalorien-Tracking-App, wenn ein Nutzer nach einem Diätplan fragt. Von 179 Teilnehmern bemerkte die Hälfte derjenigen, die gesponserte, aber als solche gekennzeichnete Anzeigen erhielten, die werbliche Sprache nicht. Trotz einer Leistungseinbuße von 3–4 % bei Aufgaben aufgrund der Anzeigen empfanden die Nutzer die werbehaltigen Antworten oft als freundlicher und hilfreicher und bevorzugten sie.
Wichtige Erkenntnisse
- KI-Modelle können aus einzelnen Anfragen persönliche Details (z. B. Alter, Beruf) ableiten und so gezielte Werbung platzieren.
- Chatverläufe im Laufe der Zeit erstellen ein umfangreiches Nutzerprofil für die Personalisierung von Werbung.
- Teilnehmer übertrugen häufig die Entscheidungsfindung an den Chatbot, selbst wenn Anzeigen die Entscheidungen beeinflussten.
- Große Unternehmen wie Microsoft (Copilot), Google und OpenAI experimentieren bereits mit Chatbot-Werbung.
Die Forscher betonen das Risiko, wenn Chatbots zu Begleitern oder Therapeuten werden und möglicherweise das Vertrauen der Nutzer für Profit ausnutzen. Die vollständige Arbeit ist im ACM-Journal verfügbar.
📖 Read the full source: HN AI Agents
👀 Siehe auch
Anthropics Claude Desktop-App installiert eine nicht offengelegte Native-Messaging-Bridge
Claude Desktop installiert stillschweigend eine vorautorisierte Browsererweiterung, die native Nachrichtenübermittlung ermöglicht, was Sicherheitsbedenken aufwirft.
Das Problem uniformierter Wachen: Warum Agent-Sandboxen Identität brauchen, nicht nur Richtlinien
Die Openshell-Sandbox von Nemoclaw begrenzt Sicherheitsrichtlinien auf Binärdateien, sodass Malware dieselben Binärdateien wie der Agent nutzen kann ("Live-off-the-Land"). ZeroID, eine Open-Source-Identitätsschicht für Agenten, wendet Sicherheitsrichtlinien auf Agenten an, die durch sichere Identitäten geschützt sind.
KI-Agent nutzt SQL-Injection aus, um McKinseys Lilli-Chatbot zu kompromittieren
Sicherheitsforscher von CodeWall nutzten einen autonomen KI-Agenten, um den internen Lilli-Chatbot von McKinsey zu hacken. Sie erlangten innerhalb von zwei Stunden über eine SQL-Injection-Schwachstelle in nicht authentifizierten API-Endpunkten vollständigen Lese- und Schreibzugriff auf die Produktionsdatenbank.
Forschung: Unsichtbare Unicode-Zeichen können LLM-Agenten über Werkzeugzugriffe kapern
Eine Studie untersuchte, ob LLMs Anweisungen folgen, die in unsichtbaren Unicode-Zeichen versteckt sind, die in normalen Texten eingebettet sind. Dabei wurden zwei Kodierungsschemata über fünf Modelle und 8.308 bewertete Ausgaben getestet. Hauptergebnis: Der Zugang zu Werkzeugen steigert die Befolgung von unter 17 % auf 98–100 %, wobei Modelle Python-Skripte schreiben, um die versteckten Zeichen zu decodieren.