ENT-3e5d2087-d0b9-4f35-b4a7-dcd41c022197 · Benchmark · Benchmark für funktionale Korrektheit der Codegenerierung
HumanEval
Geprüfter Identifikator openai/human-eval@6d43fb980f9fee3c892a914eda09951f772ad10d · aktueller Status bewusst unbekannt
Geltungsbereich
Geprüfte Identität des Benchmarks oder Evaluationsprotokolls; Modellergebnisse und Leaderboard-Ränge sind separate, nicht abgebildete Beobachtungen.
Versteht die KI Ihr Unternehmen? Prüfen Sie Ihre Website kostenlos, in einer halben Minute →
Abgrenzung
Die Ausführung generierten Codes ist ohne eine robuste Sandbox ausdrücklich unsicher. Das Bestehen von Funktionstests ist kein Beweis für sicheren, wartbaren oder produktionsreifen Code.
Benchmark-Vergleichbarkeitspass
- Publisher
- OpenAI
- Version
- Quellenrevision 6d43fb98; keine semantische Benchmark-Version angegeben
- Aufgabenumfang
- Handgeschriebener Problemlösungsdatensatz für generierte Python-Funktionsvervollständigungen, bewertet durch ausführbare Tests.
- Metrik-Vertrag
- pass@k geschätzt aus mehreren generierten Stichproben; der offizielle Evaluator lehnt Fälle mit weniger Stichproben als k ab, da kein unverzerrter Schätzer verfügbar ist.
- Evaluationsbedingungen
- Die Ergebnisidentität umfasst Problemdatei, Stichprobenanzahl pro Aufgabe, k-Werte, Generierungseinstellungen, Vervollständigungsformat, Evaluator-Revision sowie Sandbox-/Laufzeitressourcen.
- Vergleichbarkeitsgrenze
- Vergleichen Sie nur Ergebnisse mit abgeglichenen Aufgabendaten, Stichprobenanzahl und Generierungs-Setup, k, Evaluator-Revision und Laufzeit; pass@1 und pass@100 beantworten unterschiedliche Fragen.
- Kontaminationsgrenze
- Die ausgewählte Quelle belegt nicht, dass HumanEval-Probleme oder Lösungen in den Trainingsdaten nicht enthalten sind.
Dieser Pass beschreibt eine Benchmark-Definition oder ein Protokoll. Er veröffentlicht keinen Modellscore, keinen Rang und keine Äquivalenz zwischen Versionen.
Quellenqualifizierte Beziehungen
Für diese Identität wird keine geprüfte Beziehung behauptet.
Atlas-Aussagen mit einer exakten Quellenroute
Keine exakte Quell-URL-Verbindung in r0056. Es wurde kein Namensabgleich ersetzt.
Jedes angezeigte Attribut verweist auf quellenqualifizierte Aussage-IDs. Beziehungen sind explizit und quellenqualifiziert. Identität impliziert weder Eigentum noch Rechtsstatus, aktuelle Verfügbarkeit oder Gleichwertigkeit mit einem veränderlichen Alias.