Mit zwei neuen, monatlich aktualisierten Rankings will F5 Unternehmen eine fundierte Entscheidungsgrundlage für die Auswahl von KI-Modellen bieten. Der „Comprehensive AI Security Index“ (CASI) und der „Agentic Resistance Score“ (ARS) kombinieren Echtzeit-Angriffsdaten mit Forschungsergebnissen und sollen Sicherheitsrisiken messbar und vergleichbar machen.

Foto: F5 Die Integration von Künstlicher Intelligenz in Geschäftsprozesse verläuft rasant – quer durch Branchen und Anwendungsfälle. Gleichzeitig wächst die Angriffsfläche. Sicherheitsverantwortliche stehen vor der Frage, wie sich unterschiedliche KI-Modelle im Hinblick auf reale Bedrohungen bewerten lassen. Der US-Anbieter F5 reagiert darauf mit zwei standardisierten Ranglisten, die ab sofort monatlich aktualisiert werden: dem „Comprehensive AI Security Index“ (CASI) und dem „Agentic Resistance Score“ (ARS). Beide werden vom F5 Labs Threat Research-Team erstellt und sollen Unternehmen eine belastbare Vergleichsbasis liefern.

Grundlage der Rankings ist unter anderem eine KI-Schwachstellenbibliothek, die aus der Übernahme von CalypsoAI hervorgegangen ist. Laut F5 zählt sie zu den größten ihrer Art und wird monatlich um mehr als 10.000 neue Angriffsmöglichkeiten erweitert. Die enthaltenen Angriffsdaten wurden über einen Zeitraum von mehr als einem Jahr gesammelt. Auf dieser Basis sollen sich KI-Modelle und -Anbieter noch vor dem produktiven Einsatz systematisch bewerten lassen – insbesondere mit Blick auf reale Bedrohungen für die Anwendungssicherheit.

Standardisierte Benchmarks für Modellresilienz

Der Comprehensive AI Security Index (CASI) versteht sich als übergreifender Sicherheitsindikator. Neben einer Rangliste umfasst er mehrere Metriken, die unterschiedliche Aspekte der Modellleistung und -sicherheit abbilden. Dazu zählt die durchschnittliche Leistung eines Modells unter standardisierten Aufgaben und normalen Betriebsbedingungen. Hinzu kommt das Risiko-Leistungs-Verhältnis, das die Relation zwischen Sicherheit und Performance verdeutlichen soll. Eine weitere Kennzahl sind die Sicherheitskosten: Hier werden die aktuellen Inferenzkosten ins Verhältnis zum CASI-Wert gesetzt, um finanzielle Auswirkungen im Kontext von Sicherheitsanforderungen transparent zu machen.

Ergänzt wird der CASI durch den Agentic Resistance Score (ARS). Dieser bewertet, wie widerstandsfähig KI-Systeme gegenüber anhaltenden und adaptiven Angriffen durch bösartige KI-Agenten sind. Anders als bei einzelnen Eingaben zielen solche Agenten auf längere Interaktionen ab und versuchen, Sicherheitsmechanismen schrittweise zu umgehen.

Der ARS misst drei Dimensionen: Erstens die erforderliche Raffinesse – also das Mindestmaß an Innovationsfähigkeit, das ein Angreifer benötigt, um ein System erfolgreich zu kompromittieren. Zweitens den dauerhaften Schutz, gemessen an der Zeitspanne, in der ein System unter mehrstufigen, adaptiven Angriffen sicher bleibt. Drittens die Spionageabwehr, die analysiert, ob fehlgeschlagene Angriffe unbeabsichtigt Hinweise liefern, die künftige Exploits erleichtern könnten.

Foto: F5 Kunal Anand, Chief Product Officer bei F5 „Untested KI in kritischer Infrastruktur ist fahrlässig“

Kunal Anand, Chief Product Officer bei F5, betont die Notwendigkeit quantifizierbarer Sicherheitsmetriken für KI-Modelle:

„Der Einsatz ungetesteter KI-Modelle in kritischen Infrastrukturen ist nicht innovativ, sondern fahrlässig. Unternehmen brauchen eine Möglichkeit, deren Widerstandsfähigkeit kontinuierlich zu quantifizieren. Das gelingt mit Hilfe der KI-Ranglisten von F5 Labs. Die Rankings decken spezifische Schwachstellen in der Modellschicht auf und liefern Sicherheitsteams die benötigten Informationen, um Angriffe zu blockieren, bevor sie stattfinden.“

Mit den monatlichen Aktualisierungen reagiert F5 auf die Dynamik im Bereich KI-Angriffe. Ihren Erfahrungen zufolge, entwickeln sich KI-Fähigkeiten derzeit schneller als entsprechende Sicherheitsmechanismen. Daraus entstehe eine Lücke, die durch kontinuierliche Forschung, standardisierte Tests und transparente Vergleichswerte geschlossen werden müsse.

Ergänzung zu Guardrails und Red Teaming

Die neuen Ranglisten sind Teil eines erweiterten KI-Sicherheitsportfolios von F5. Sie ergänzen die kürzlich eingeführten Lösungen F5 AI Guardrails und F5 AI Red Team. Während AI Guardrails vorgefertigte und individuelle Schutzmaßnahmen zur Absicherung von Interaktionen zwischen KI, Nutzern und Daten bereitstellt, simuliert AI Red Team mit autonomen KI-Agenten komplexe, mehrstufige Angriffsszenarien. Für die Erstellung von CASI und ARS können damit sowohl grundlegende Sicherheitsmerkmale eines Modells als auch dessen langfristige Widerstandsfähigkeit unter realitätsnahen Bedingungen gemessen werden.

Neben den beiden Ranglisten veröffentlicht F5 Labs monatlich begleitende „AI Security Insights“. Diese Analysen erläutern Veränderungen in den Ranking-Ergebnissen, greifen aktuelle Entwicklungen auf und beleuchten konkrete Angriffsszenarien. Ziel ist es, ein standardisiertes Bewertungssystem für führende KI-Modelle zu etablieren und den Wissensaustausch unter Sicherheitsexperten zu fördern.

Für Unternehmen, die KI-Systeme produktiv einsetzen oder deren Einführung planen, bieten die Rankings damit eine strukturierte Entscheidungsgrundlage.

Das aktuelle Ranking „F5 Labs AI Leaderboards – CASI and ARS“ ist auf der Website von F5 abrufbar.