Holistic Evaluation of Language Models (HELM)

Geltungsbereich

Geprüfte Identität des Benchmarks oder Evaluationsprotokolls; Modellergebnisse und Leaderboard-Ränge sind separate, nicht abgebildete Beobachtungen.

Versteht die KI Ihr Unternehmen? Prüfen Sie Ihre Website kostenlos, in einer halben Minute →

Abgrenzung

HELM ging am 2026-06-01 in den Wartungsmodus über. Die Verfügbarkeit des Frameworks ist kein Beleg dafür, dass jedes gehostete Leaderboard-Ergebnis aktuell oder vergleichbar ist.

Benchmark-Vergleichbarkeitspass

Publisher

Stanford CRFM

Version

Quellenrevision 63754d05; keine semantische Benchmark-Version angegeben

Aufgabenumfang

Framework für standardisierte, reproduzierbare Evaluierung von Sprach- und multimodalen Foundation-Modellen über Datensätze und Benchmarks hinweg.

Metrik-Vertrag

Szenariospezifische Metriken umfassen Dimensionen jenseits der Genauigkeit, etwa Effizienz, Bias und Toxizität; es wird kein einzelner HELM-Score dargestellt.

Evaluationsbedingungen

Ein Ergebnis ist an die festgeschriebene Framework-Revision, den Lauf-Eintrag, die Suite, den Modelladapter, das Szenario und die Metrik-Konfiguration gebunden.

Vergleichbarkeitsgrenze

Vergleichen Sie nur Läufe mit übereinstimmender HELM-Revision, übereinstimmendem Szenario, Adapter, Prompting-/Lauf-Spezifikation und übereinstimmender Metrik; die Route `latest` ist keine feste Version.

Kontaminationsgrenze

Die ausgewählte Quelle belegt nicht, dass Benchmark-Daten in den Trainingsdaten des Modells fehlen.

Dieser Pass beschreibt eine Benchmark-Definition oder ein Protokoll. Er veröffentlicht keinen Modellscore, keinen Rang und keine Äquivalenz zwischen Versionen.

Quellenqualifizierte Beziehungen

1. Für diese Identität wird keine geprüfte Beziehung behauptet.

Atlas-Aussagen mit einer exakten Quellenroute

1. Keine exakte Quell-URL-Verbindung in r0056. Es wurde kein Namensabgleich ersetzt.