Mit dem Model Context Protocol #MCP wird #KI handlungsfähig: Large Language Models #LLM können Tools nutzen, Daten verarbeiten und Aufgaben selbstständig ausführen. Doch mehr Fähigkeiten bedeuten auch mehr Risiken. LLMs arbeiten probabilistisch – also nicht immer zuverlässig – und sind manipulierbar. #PromptInjection

Deshalb: Zugriffsrechte begrenzen, Aktivitäten nachvollziehbar machen, Systeme absichern und Menschen einbinden.

#Cybersecurity #AgenticAI #DeutschlandDigitalSicherBSI

Mit dem Model Context Protocol #MCP wird #KI handlungsfähig: Large Language Models #LLM können Tools nutzen, Daten verarbeiten und Aufgaben selbstständig ausführen. Doch mehr Fähigkeiten bedeuten auch mehr Risiken. LLMs arbeiten probabilistisch – also nicht immer zuverlässig – und sind manipulierbar. #PromptInjection

Deshalb: Zugriffsrechte begrenzen, Aktivitäten nachvollziehbar machen, Systeme absichern und Menschen einbinden.

#Cybersecurity #AgenticAI #DeutschlandDigitalSicherBSI

Why do LLMs fall for prompt injection attacks that wouldn’t fool a fast-food worker?

In this piece, Fastly Distinguished Engineer Barath Raghavan and security expert Bruce Schneier explain how AI flattens context—and why that makes autonomous AI agents especially risky.

A sharp, practical take on AI security. 🍔🤖: https://spectrum.ieee.org/prompt-injection-attack

#AISecurity #PromptInjection #LLMs #Cybersecurity

Why do LLMs fall for prompt injection attacks that wouldn’t fool a fast-food worker?

In this piece, Fastly Distinguished Engineer Barath Raghavan and security expert Bruce Schneier explain how AI flattens context—and why that makes autonomous AI agents especially risky.

A sharp, practical take on AI security. 🍔🤖: https://spectrum.ieee.org/prompt-injection-attack

#AISecurity #PromptInjection #LLMs #Cybersecurity

"AI agents—specifically tools like Claude Code—are inherently vulnerable to a "nightmare" security flaw: Indirect Prompt Injection"

#AI #CyberSecurity #PromptInjection #AIAgents #LLM #Programming #InfoSec #TechSecurity #ClaudeCode

https://youtu.be/_3okhTwa7w4

"AI agents—specifically tools like Claude Code—are inherently vulnerable to a "nightmare" security flaw: Indirect Prompt Injection"

#AI #CyberSecurity #PromptInjection #AIAgents #LLM #Programming #InfoSec #TechSecurity #ClaudeCode

https://youtu.be/_3okhTwa7w4

Why #AI Keeps Falling for #PromptInjection Attacks - https://www.schneier.com/blog/archives/2026/01/why-ai-keeps-falling-for-prompt-injection-attacks.html "Prompt injection is an unsolvable problem that gets worse when we give AIs tools and tell them to act independently." important stuff

Why #AI Keeps Falling for #PromptInjection Attacks - https://www.schneier.com/blog/archives/2026/01/why-ai-keeps-falling-for-prompt-injection-attacks.html "Prompt injection is an unsolvable problem that gets worse when we give AIs tools and tell them to act independently." important stuff

I wrote about using a website's search input to control my smart home (and other things)

https://tomcasavant.com/your-search-button-powers-my-smart-home/

I wrote about using a website's search input to control my smart home (and other things)

https://tomcasavant.com/your-search-button-powers-my-smart-home/

OpenAI admits prompt injection may never be fully solved, casting doubt on the agentic AI vision

https://the-decoder.com/openai-admits-prompt-injection-may-never-be-fully-solved-casting-doubt-on-the-agentic-ai-vision/

#LLMs #PromptInjection #AgenticAY #Ayygentic

OpenAI admits prompt injection may never be fully solved, casting doubt on the agentic AI vision

https://the-decoder.com/openai-admits-prompt-injection-may-never-be-fully-solved-casting-doubt-on-the-agentic-ai-vision/

#LLMs #PromptInjection #AgenticAY #Ayygentic

RE: https://mastodon.social/@madeindex/115446644659078400

🤖 #OpenAI just officially admitted that they will never be able to make their #AI Browsers truly safe!

Of course they won't let themselves be stopped from selling their #product by such a minor detail ;)

"We expect adversaries to keep adapting. Prompt injection, much like scams and social engineering on the web, is unlikely to ever be fully “solved”..."
https://openai.com/index/hardening-atlas-against-prompt-injection/

#chatgpt #atlas #it #news #internet #browser #artificialintelligence #ki #promptinjection #tech #technology #software

Prompt Injection via Poetry

https://www.wired.com/story/poems-can-trick-ai-into-helping-you-make-a-nuclear-weapon/

#HackerNews #PromptInjection #Poetry #AI #NuclearWeapons #Cybersecurity

Neue Angriffsmethode „CometJacking“ nutzt URL‑Parameter, um Perplexitys KI‑Browser Comet auszuspähen
Ein kürzlich entdeckter Angriff namens CometJacking ermöglicht es Angreifern, über manipulierte URLs versteckte Anweisungen an den KI‑Browser Comet von Perplexity zu senden. Diese Anweisungen lassen die KI auf sensible Daten zugreifen, die mit verbundenen Diensten wie E‑Mail und Kalender synchronisiert sind.
Der Angriff ist ein klassischer Prompt‑Injection‑Befehl: In der Abfrage‑Zeichenkette (Query‑String) des Browsers wird das Parameterfeld collection missbraucht, um schädliche Instruktionen einzuschleusen. Statt im Internet zu recherchieren, weist das manipulierte Prompt die KI an, ihr internes Gedächtnis und angebundene Services zu konsultieren.
Gefährlichkeit: Der Angriff erfordert weder gültige Zugangsdaten noch irgendeine Interaktion des Opfers. Der Angreifer muss lediglich eine präparierte URL verbreiten (z. B. per Phishing‑Mail oder Social‑Media‑Post). Sobald ein Zielnutzer die URL öffnet, führt Comet die schädlichen Befehle aus und liefert die Daten an den Angreifer.
Und was sagt Perplexity dazu: nix gefährlich, kein Fehler.

https://layerxsecurity.com/blog/cometjacking-how-one-click-can-turn-perplexitys-comet-ai-browser-against-you/

#infosec #ai #PromptInjection #Phishing #SocialMedia #BeDiS #perplexity #cometAI

Neue Angriffsmethode „CometJacking“ nutzt URL‑Parameter, um Perplexitys KI‑Browser Comet auszuspähen
Ein kürzlich entdeckter Angriff namens CometJacking ermöglicht es Angreifern, über manipulierte URLs versteckte Anweisungen an den KI‑Browser Comet von Perplexity zu senden. Diese Anweisungen lassen die KI auf sensible Daten zugreifen, die mit verbundenen Diensten wie E‑Mail und Kalender synchronisiert sind.
Der Angriff ist ein klassischer Prompt‑Injection‑Befehl: In der Abfrage‑Zeichenkette (Query‑String) des Browsers wird das Parameterfeld collection missbraucht, um schädliche Instruktionen einzuschleusen. Statt im Internet zu recherchieren, weist das manipulierte Prompt die KI an, ihr internes Gedächtnis und angebundene Services zu konsultieren.
Gefährlichkeit: Der Angriff erfordert weder gültige Zugangsdaten noch irgendeine Interaktion des Opfers. Der Angreifer muss lediglich eine präparierte URL verbreiten (z. B. per Phishing‑Mail oder Social‑Media‑Post). Sobald ein Zielnutzer die URL öffnet, führt Comet die schädlichen Befehle aus und liefert die Daten an den Angreifer.
Und was sagt Perplexity dazu: nix gefährlich, kein Fehler.

https://layerxsecurity.com/blog/cometjacking-how-one-click-can-turn-perplexitys-comet-ai-browser-against-you/

#infosec #ai #PromptInjection #Phishing #SocialMedia #BeDiS #perplexity #cometAI

ChatGPT added MCP support on Wednesday.

ChatGPT leaked private Gmail data to attackers by Friday. 🤦‍♂️

Because #promptinjection is not a problem these "PhD level" AI assistants have solved.

Look at that calendar invite. That text is all it took for taking over someone's #ChatGPT connected data. Allowing the attacker to use the same #MCP enabled tools that are supposed to make AI useful at work.

It really is as stupid as @davidgerard keeps telling in Pivot to AI.

ChatGPT added MCP support on Wednesday.

ChatGPT leaked private Gmail data to attackers by Friday. 🤦‍♂️

Because #promptinjection is not a problem these "PhD level" AI assistants have solved.

Look at that calendar invite. That text is all it took for taking over someone's #ChatGPT connected data. Allowing the attacker to use the same #MCP enabled tools that are supposed to make AI useful at work.

It really is as stupid as @davidgerard keeps telling in Pivot to AI.