GPQA

Geltungsbereich

Geprüfte Identität des Benchmarks oder Evaluationsprotokolls; Modellergebnisse und Leaderboard-Ränge sind separate, nicht abgebildete Beobachtungen.

Versteht die KI Ihr Unternehmen? Prüfen Sie Ihre Website kostenlos, in einer halben Minute →

Abgrenzung

Der Titel `Google-Proof` ist der Name des Benchmarks, keine Garantie dafür, dass jeder Eintrag nicht durchsuchbar, unkontaminiert oder repräsentativ für alles Expertenurteilen ist.

Benchmark-Vergleichbarkeitspass

Publisher

GPQA-Autoren

Version

Quellenrevision 56686c06; keine semantische Benchmark-Version angegeben

Aufgabenumfang

Datensatz zur Fragebeantwortung auf Hochschulniveau, der Google-sicher ist, mit separaten Datendateien und Baseline-Implementierungen.

Metrik-Vertrag

Ein Ergebnis ist nur mit der exakten Datendatei/Teilmenge, dem Seed für gemischte Antwortoptionen und dem Prompt-/Retrieval-Modus aussagekräftig; ein einzelner aggregierter Wert wird hier nicht zugelassen.

Evaluationsbedingungen

Die Ergebnisidentität umfasst Repository-/Datenrevision, Teilmenge, Modell, Zero-/Few-Shot- oder Chain-of-Thought-Modus, Closed-/Open-Book-Retrieval-Einstellung, Seed für die Mischung der Antwortoptionen und Cache-Verhalten.

Vergleichbarkeitsgrenze

Kombinieren Sie keine GPQA-Teilmengen und vergleichen Sie keine Retrieval- und Closed-Book-Läufe, unterschiedlichen Prompts, Seeds oder Code-Revisionen als eine Messung.

Kontaminationsgrenze

Der Datensatz enthält eine Canary-Zeichenkette; dies ist eine Hilfe zur Erkennung/Abschreckung, kein Beweis dafür, dass keine Trainings-Exposition stattgefunden hat.

Dieser Pass beschreibt eine Benchmark-Definition oder ein Protokoll. Er veröffentlicht keinen Modellscore, keinen Rang und keine Äquivalenz zwischen Versionen.

Quellenqualifizierte Beziehungen

1. Für diese Identität wird keine geprüfte Beziehung behauptet.

Atlas-Aussagen mit einer exakten Quellenroute

1. Keine exakte Quell-URL-Verbindung in r0056. Es wurde kein Namensabgleich ersetzt.