Massive Multitask Language Understanding (MMLU)

Geltungsbereich

Geprüfte Identität des Benchmarks oder Evaluationsprotokolls; Modellergebnisse und Leaderboard-Ränge sind separate, nicht abgebildete Beobachtungen.

Versteht die KI Ihr Unternehmen? Prüfen Sie Ihre Website kostenlos, in einer halben Minute →

Abgrenzung

MMLU misst die Leistung auf seinem ausgewählten Test und seinen Kategorien; es ist kein universelles Maß für Intelligenz, Schlussfolgern oder Eignung für den Einsatz.

Benchmark-Vergleichbarkeitspass

Publisher

MMLU-Autoren

Version

Quellenrevision 4450500f; keine semantische Benchmark-Version angegeben

Aufgabenumfang

Multitask-Sprachverständnistest, dessen veröffentlichte Kategoriegruppierung Geisteswissenschaften, Sozialwissenschaften, MINT und weitere Fächer umfasst.

Metrik-Vertrag

Für den zitierten Test werden Kategorieergebnisse und ein Durchschnitt berichtet, doch Prompt- und Shot-Bedingungen bleiben Teil jedes Modellergebnisses und nicht der Benchmark-Identität.

Evaluationsbedingungen

Die Ergebnisidentität erfordert exakte Testdaten, die Revision von Repository/Evaluierungscode, Modellversion, Prompting- und Shot-/Fine-Tuning-Bedingung, Kategorieaggregation und Scoring-Implementierung.

Vergleichbarkeitsgrenze

Ergebnisse mit unterschiedlichen Prompts, Shot-Anzahlen, Fine-Tuning, Modell-Snapshots, Datenrevisionen oder Kategorieaggregation nicht als direkt vergleichbar behandeln.

Kontaminationsgrenze

Die ausgewählte Quelle belegt nicht, dass Testelemente in Trainings- oder Tuning-Daten der Modelle nicht enthalten waren.

Dieser Pass beschreibt eine Benchmark-Definition oder ein Protokoll. Er veröffentlicht keinen Modellscore, keinen Rang und keine Äquivalenz zwischen Versionen.

Quellenqualifizierte Beziehungen

1. Für diese Identität wird keine geprüfte Beziehung behauptet.

Atlas-Aussagen mit einer exakten Quellenroute

1. Keine exakte Quell-URL-Verbindung in r0056. Es wurde kein Namensabgleich ersetzt.