KI-Sicherheit · AI Wiki · Metatron Intelligence

Was es ist

KI-Sicherheit stellt zwei Fragen. Erstens: Tut das System, was es soll, und nichts Schädliches? Zweitens: Ist es gegen Personen geschützt, die es missbrauchen wollen? Für ein Unternehmen läuft beides auf dasselbe hinaus — die KI darf keinen Schaden verursachen, den sie nicht verursachen sollte.

Die wichtigsten Risiken

Risiko	Was passiert	Gegenmaßnahme
Prompt-Injection	Versteckte Anweisungen in einer Webseite oder E-Mail übernehmen die Kontrolle über das Modell	Daten von Anweisungen trennen, Rechte begrenzen
Datenabfluss	Vertrauliche Daten erscheinen in Antworten oder verlassen das Unternehmen	Klare Datenregeln, Zugriffskontrolle
Jailbreak	Nutzer bringen das Modell dazu, seine Regeln zu ignorieren	Filter, Tests, Monitoring
Übermäßige Handlungsbefugnis	Ein Agent tut mehr als er sollte	Minimale Rechte, menschliche Freigabe
Halluzination	Falsche Aussagen werden als Tatsache genommen	Prüfungen vor der Verwendung

Die Liste folgt den OWASP Top 10 für LLM-Anwendungen.¹

Frameworks

NIST AI Risk Management Framework (USA, 2023): steuern, zuordnen, messen, verwalten.²
ISO/IEC 42001 (2023): der erste zertifizierbare Management-System-Standard für KI.³
EU-KI-Verordnung: rechtliche Pflichten nach Risikoklasse, einschließlich Cybersicherheit für Hochrisikosysteme.⁴

In der Praxis

Führen Sie eine Liste der KI-Tools und wer sie verwenden darf.
Geben Sie KI-Systemen nur den Zugriff, den sie benötigen.
Lassen Sie eine Person irreversible Aktionen genehmigen.
Testen Sie mit Angriffen vor dem Livegang und protokollieren Sie, was das System tut.

Schlüsselbegriffe

Alignment: Das Verhalten eines Modells an menschliche Absichten anpassen.
Red Teaming: Ein System gezielt angreifen, um Schwachstellen zu finden, bevor es andere tun.
Least Privilege: Nur die Mindestrechte, die eine Aufgabe benötigt.

Neueste Forschung

Neue Papers und Berichte, die diesen Begriff erwähnen, gefunden durch unseren täglichen Quellen-Scan. Eine Zeile pro Quelle, zitiert wie veröffentlicht.