SWE-bench Verified

Geltungsbereich

Geprüfte Identität des Benchmarks oder Evaluationsprotokolls; Modellergebnisse und Leaderboard-Ränge sind separate, nicht abgebildete Beobachtungen.

Versteht die KI Ihr Unternehmen? Prüfen Sie Ihre Website kostenlos, in einer halben Minute →

Abgrenzung

Verifiziert bedeutet, dass die Teilmenge auf Lösbarkeit geprüft wurde; es ist keine Verifizierung eines eingereichten Modellergebnisses, der Softwarequalität oder der Fähigkeit zur Produktionssoftwareentwicklung.

Benchmark-Vergleichbarkeitspass

Publisher

SWE-bench

Version

Verifizierte Teilmenge; Quellenrevision 02e7a74f

Aufgabenumfang

Teilmenge von 500 Software-Repository-Problemen, die von Softwareentwicklern als lösbar bestätigt wurden.

Metrik-Vertrag

Pro Instanz erzeugtes Ergebnis gelöst/nicht gelöst durch den ausgewählten SWE-bench-Evaluierungs-Harness; es wird kein harnessübergreifendes Aggregat dargestellt.

Evaluationsbedingungen

Die Ergebnisidentität erfordert exakte Datensatzrevision, Zustand des Aufgaben-Repositorys, Vorhersage-Patch, Container-Image-/Harness-Version, Run-ID und Bewertungsprotokolle.

Vergleichbarkeitsgrenze

Vergleichen Sie Ergebnisse nicht über Datensatz-, Aufgaben-Repository-, Image-, Harness- oder Bewertungsrevisionen hinweg ohne ausdrückliche Überbrückung; zwischengespeicherte Run-IDs können frühere Ergebnisse wiederverwenden, selbst wenn sich Vorhersagen ändern.

Kontaminationsgrenze

Die ausgewählte Quelle belegt nicht, dass Probleme, Patches oder Repositorys keinen Trainings- oder Tool-Retrieval-Expositionen ausgesetzt waren.

Dieser Pass beschreibt eine Benchmark-Definition oder ein Protokoll. Er veröffentlicht keinen Modellscore, keinen Rang und keine Äquivalenz zwischen Versionen.

Quellenqualifizierte Beziehungen

1. Für diese Identität wird keine geprüfte Beziehung behauptet.

Atlas-Aussagen mit einer exakten Quellenroute

1. Keine exakte Quell-URL-Verbindung in r0056. Es wurde kein Namensabgleich ersetzt.