ENT-da6a449a-c99c-42d4-8e13-f5b1280fd72e · Benchmark · Metriksuite zur Agentenzuverlässigkeit
METR Task-Completion Time Horizon 1.1
Geprüfter Bezeichner METR Time Horizon 1.1 · aktueller Status bewusst unbekannt
Geltungsbereich
Geprüfte Identität des Benchmarks oder Evaluationsprotokolls; Modellergebnisse und Leaderboard-Ränge sind separate, nicht abgebildete Beobachtungen.
Versteht die KI Ihr Unternehmen? Prüfen Sie Ihre Website kostenlos, in einer halben Minute →
Abgrenzung
Der Zeithorizont ist Aufgabenschwierigkeit, gemessen in menschlicher Zeit, nicht die Wanduhr-Autonomie eines Agenten, die Abdeckung aller geistigen Arbeit, Jobautomatisierung oder Bereitstellungszuverlässigkeit.
Benchmark-Vergleichbarkeitspass
- Publisher
- METR
- Version
- 1.1
- Aufgabenumfang
- Mehr als einhundert eigenständige Aufgaben aus Software-Engineering, maschinellem Lernen und Cybersicherheit mit Schätzungen der Dauer durch menschliche Experten.
- Metrik-Vertrag
- Vorhergesagte Aufgabendauer für menschliche Experten, bei der ein Agent eine festgelegte Zuverlässigkeit erreicht, abgeleitet aus einer logistischen Erfolgskurve; die Seite berichtet Horizonte von 50 % und 80 %.
- Evaluationsbedingungen
- Die Ergebnisidentität umfasst Modell, Scaffold, Version der Aufgabensuite, Methode der menschlichen Dauer, Test-Split, Zuverlässigkeitsschwelle, Token-/Zeitlimits, sechs unabhängige Aufgabenläufe und jede menschliche Neubewertung.
- Vergleichbarkeitsgrenze
- Nur bei übereinstimmender Suite-Version, Aufgabenverteilung, Scaffold, Dauer-Modell und Zuverlässigkeitsschwelle vergleichen; Werte über sechzehn Stunden sind für die aktuelle Suite als unzuverlässig gekennzeichnet.
- Kontaminationsgrenze
- Einige Aufgaben sind privat, aber die Quelle belegt nicht, dass jedem bewerteten Modell jede Aufgabe oder eine analoge Aufgabe vorenthalten wurde.
Dieser Pass beschreibt eine Benchmark-Definition oder ein Protokoll. Er veröffentlicht keinen Modellscore, keinen Rang und keine Äquivalenz zwischen Versionen.
Quellenqualifizierte Beziehungen
Für diese Identität wird keine geprüfte Beziehung behauptet.
Atlas-Aussagen mit einer exakten Quellenroute
Jedes angezeigte Attribut verweist auf quellenqualifizierte Aussage-IDs. Beziehungen sind explizit und quellenqualifiziert. Identität impliziert weder Eigentum noch Rechtsstatus, aktuelle Verfügbarkeit oder Gleichwertigkeit mit einem veränderlichen Alias.