BIG-bench

Geltungsbereich

Geprüfte Identität des Benchmarks oder Evaluationsprotokolls; Modellergebnisse und Leaderboard-Ränge sind separate, nicht abgebildete Beobachtungen.

Versteht die KI Ihr Unternehmen? Prüfen Sie Ihre Website kostenlos, in einer halben Minute →

Abgrenzung

Die Aufgabenbreite der Community impliziert keine vollständige Abdeckung der Fähigkeiten, und Leaderboard-Ergebnisse werden durch diesen Identitätseintrag nicht abgebildet.

Benchmark-Vergleichbarkeitspass

Publisher

BIG-bench-Autoren

Version

Quellenrevision 092b196c; keine semantische Benchmark-Version angegeben

Aufgabenumfang

Kollaborative Suite mit mehr als 200 Sprachmodell-Aufgaben; BIG-bench Lite ist eine eigenständige Teilmenge mit 24 Aufgaben.

Metrik-Vertrag

Jede Aufgabe deklariert ihre Metriken und ihren bevorzugten Score; programmatische und JSON-Aufgaben können unterschiedliche Bewertungsfunktionen verwenden, sodass kein universeller Rohscore dargestellt wird.

Evaluationsbedingungen

Die Ergebnisidentität erfordert exakt das Repository/den Aufgabensatz, die Auswahl vollständig versus Lite, die Aufgabendefinitionen, die Metrik, die Modellschnittstelle, die Shot-Anzahl und den Evaluationscode.

Vergleichbarkeitsgrenze

BIG-bench vollständig, BIG-bench Lite und einzelne Aufgaben sind nicht austauschbar; Vergleiche erfordern denselben Aufgabensatz, dieselbe Revision, dasselbe Prompting und dieselben bevorzugten Metriken.

Kontaminationsgrenze

Aufgabendateien enthalten einen expliziten Canary, der die Aufnahme in aus dem Web gescrapte Trainingskorpora abschrecken soll; ein Canary beweist nicht die Abwesenheit einer Exposition.

Dieser Pass beschreibt eine Benchmark-Definition oder ein Protokoll. Er veröffentlicht keinen Modellscore, keinen Rang und keine Äquivalenz zwischen Versionen.

Quellenqualifizierte Beziehungen

1. Für diese Identität wird keine geprüfte Beziehung behauptet.

Atlas-Aussagen mit einer exakten Quellenroute

1. Keine exakte Quell-URL-Verbindung in r0056. Es wurde kein Namensabgleich ersetzt.