{
  "$schema": "https://json-schema.org/draft/2020-12/schema",
  "$id": "https://intelligence.metatron.marketing/benchmarks/observation.schema.json",
  "type": "object",
  "additionalProperties": false,
  "required": [
    "schema",
    "schema_version",
    "observation_id",
    "observation_kind",
    "result_status",
    "model",
    "system",
    "benchmark",
    "harness",
    "grader",
    "protocol",
    "run_set",
    "metric",
    "integrity",
    "verification",
    "publication",
    "observed_at",
    "published_at",
    "retrieved_at",
    "data_cutoff",
    "source_receipts",
    "supersedes",
    "superseded_by",
    "correction_reason",
    "boundary"
  ],
  "properties": {
    "schema": {
      "const": "metatron.intelligence.benchmark-observation.v1"
    },
    "schema_version": {
      "const": "1.0.0"
    },
    "observation_id": {
      "type": "string",
      "pattern": "^OBS-[0-9a-f]{8}-[0-9a-f]{4}-4[0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$"
    },
    "observation_kind": {
      "enum": [
        "reported",
        "official_submission",
        "independent_reproduction",
        "derived_statistic"
      ]
    },
    "result_status": {
      "enum": [
        "provisional",
        "published",
        "corrected",
        "superseded",
        "invalidated",
        "withdrawn"
      ]
    },
    "model": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "entity_id",
        "publisher",
        "canonical_name",
        "version_or_deployment_id",
        "endpoint_provider",
        "weights_or_artifact_digest",
        "training_data_cutoff",
        "quantization_and_precision"
      ],
      "properties": {
        "entity_id": {
          "type": "string",
          "pattern": "^ENT-[0-9a-f]{8}-[0-9a-f]{4}-4[0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$"
        },
        "publisher": {
          "type": "string",
          "minLength": 1
        },
        "canonical_name": {
          "type": "string",
          "minLength": 1
        },
        "version_or_deployment_id": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        },
        "endpoint_provider": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        },
        "weights_or_artifact_digest": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        },
        "training_data_cutoff": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        },
        "quantization_and_precision": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        }
      }
    },
    "system": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "scaffold",
        "system_prompt",
        "tools",
        "resource_budget"
      ],
      "properties": {
        "scaffold": {
          "type": "string",
          "minLength": 1
        },
        "system_prompt": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        },
        "tools": {
          "type": "array",
          "items": {
            "type": "string",
            "minLength": 1
          },
          "uniqueItems": true
        },
        "resource_budget": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "tokens",
            "wall_time",
            "calls",
            "retries",
            "compute",
            "monetary_cost",
            "enforcement_method"
          ],
          "properties": {
            "tokens": {
              "type": "object",
              "additionalProperties": false,
              "required": [
                "status",
                "value",
                "reason"
              ],
              "properties": {
                "status": {
                  "enum": [
                    "disclosed",
                    "unknown",
                    "not_applicable"
                  ]
                },
                "value": {
                  "type": [
                    "string",
                    "null"
                  ]
                },
                "reason": {
                  "type": [
                    "string",
                    "null"
                  ]
                }
              },
              "allOf": [
                {
                  "if": {
                    "properties": {
                      "status": {
                        "const": "disclosed"
                      }
                    }
                  },
                  "then": {
                    "properties": {
                      "value": {
                        "type": "string",
                        "minLength": 1
                      },
                      "reason": {
                        "type": "null"
                      }
                    }
                  },
                  "else": {
                    "properties": {
                      "value": {
                        "type": "null"
                      },
                      "reason": {
                        "type": "string",
                        "minLength": 1
                      }
                    }
                  }
                }
              ]
            },
            "wall_time": {
              "type": "object",
              "additionalProperties": false,
              "required": [
                "status",
                "value",
                "reason"
              ],
              "properties": {
                "status": {
                  "enum": [
                    "disclosed",
                    "unknown",
                    "not_applicable"
                  ]
                },
                "value": {
                  "type": [
                    "string",
                    "null"
                  ]
                },
                "reason": {
                  "type": [
                    "string",
                    "null"
                  ]
                }
              },
              "allOf": [
                {
                  "if": {
                    "properties": {
                      "status": {
                        "const": "disclosed"
                      }
                    }
                  },
                  "then": {
                    "properties": {
                      "value": {
                        "type": "string",
                        "minLength": 1
                      },
                      "reason": {
                        "type": "null"
                      }
                    }
                  },
                  "else": {
                    "properties": {
                      "value": {
                        "type": "null"
                      },
                      "reason": {
                        "type": "string",
                        "minLength": 1
                      }
                    }
                  }
                }
              ]
            },
            "calls": {
              "type": "object",
              "additionalProperties": false,
              "required": [
                "status",
                "value",
                "reason"
              ],
              "properties": {
                "status": {
                  "enum": [
                    "disclosed",
                    "unknown",
                    "not_applicable"
                  ]
                },
                "value": {
                  "type": [
                    "string",
                    "null"
                  ]
                },
                "reason": {
                  "type": [
                    "string",
                    "null"
                  ]
                }
              },
              "allOf": [
                {
                  "if": {
                    "properties": {
                      "status": {
                        "const": "disclosed"
                      }
                    }
                  },
                  "then": {
                    "properties": {
                      "value": {
                        "type": "string",
                        "minLength": 1
                      },
                      "reason": {
                        "type": "null"
                      }
                    }
                  },
                  "else": {
                    "properties": {
                      "value": {
                        "type": "null"
                      },
                      "reason": {
                        "type": "string",
                        "minLength": 1
                      }
                    }
                  }
                }
              ]
            },
            "retries": {
              "type": "object",
              "additionalProperties": false,
              "required": [
                "status",
                "value",
                "reason"
              ],
              "properties": {
                "status": {
                  "enum": [
                    "disclosed",
                    "unknown",
                    "not_applicable"
                  ]
                },
                "value": {
                  "type": [
                    "string",
                    "null"
                  ]
                },
                "reason": {
                  "type": [
                    "string",
                    "null"
                  ]
                }
              },
              "allOf": [
                {
                  "if": {
                    "properties": {
                      "status": {
                        "const": "disclosed"
                      }
                    }
                  },
                  "then": {
                    "properties": {
                      "value": {
                        "type": "string",
                        "minLength": 1
                      },
                      "reason": {
                        "type": "null"
                      }
                    }
                  },
                  "else": {
                    "properties": {
                      "value": {
                        "type": "null"
                      },
                      "reason": {
                        "type": "string",
                        "minLength": 1
                      }
                    }
                  }
                }
              ]
            },
            "compute": {
              "type": "object",
              "additionalProperties": false,
              "required": [
                "status",
                "value",
                "reason"
              ],
              "properties": {
                "status": {
                  "enum": [
                    "disclosed",
                    "unknown",
                    "not_applicable"
                  ]
                },
                "value": {
                  "type": [
                    "string",
                    "null"
                  ]
                },
                "reason": {
                  "type": [
                    "string",
                    "null"
                  ]
                }
              },
              "allOf": [
                {
                  "if": {
                    "properties": {
                      "status": {
                        "const": "disclosed"
                      }
                    }
                  },
                  "then": {
                    "properties": {
                      "value": {
                        "type": "string",
                        "minLength": 1
                      },
                      "reason": {
                        "type": "null"
                      }
                    }
                  },
                  "else": {
                    "properties": {
                      "value": {
                        "type": "null"
                      },
                      "reason": {
                        "type": "string",
                        "minLength": 1
                      }
                    }
                  }
                }
              ]
            },
            "monetary_cost": {
              "type": "object",
              "additionalProperties": false,
              "required": [
                "status",
                "value",
                "reason"
              ],
              "properties": {
                "status": {
                  "enum": [
                    "disclosed",
                    "unknown",
                    "not_applicable"
                  ]
                },
                "value": {
                  "type": [
                    "string",
                    "null"
                  ]
                },
                "reason": {
                  "type": [
                    "string",
                    "null"
                  ]
                }
              },
              "allOf": [
                {
                  "if": {
                    "properties": {
                      "status": {
                        "const": "disclosed"
                      }
                    }
                  },
                  "then": {
                    "properties": {
                      "value": {
                        "type": "string",
                        "minLength": 1
                      },
                      "reason": {
                        "type": "null"
                      }
                    }
                  },
                  "else": {
                    "properties": {
                      "value": {
                        "type": "null"
                      },
                      "reason": {
                        "type": "string",
                        "minLength": 1
                      }
                    }
                  }
                }
              ]
            },
            "enforcement_method": {
              "type": "string",
              "minLength": 8
            }
          }
        }
      }
    },
    "benchmark": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "family_id",
        "release_or_commit",
        "variant",
        "dataset_revision",
        "split_and_slice",
        "denominator"
      ],
      "properties": {
        "family_id": {
          "type": "string",
          "pattern": "^ENT-[0-9a-f]{8}-[0-9a-f]{4}-4[0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$"
        },
        "release_or_commit": {
          "type": "string",
          "minLength": 1,
          "not": {
            "pattern": "(?i)^latest$"
          }
        },
        "variant": {
          "type": "string",
          "minLength": 1
        },
        "dataset_revision": {
          "type": "string",
          "minLength": 1
        },
        "split_and_slice": {
          "type": "string",
          "minLength": 1
        },
        "denominator": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "eligible",
            "attempted",
            "completed",
            "graded",
            "excluded",
            "exclusion_reasons"
          ],
          "properties": {
            "eligible": {
              "type": "integer",
              "minimum": 1
            },
            "attempted": {
              "type": "integer",
              "minimum": 0
            },
            "completed": {
              "type": "integer",
              "minimum": 0
            },
            "graded": {
              "type": "integer",
              "minimum": 0
            },
            "excluded": {
              "type": "integer",
              "minimum": 0
            },
            "exclusion_reasons": {
              "type": "array",
              "items": {
                "type": "string",
                "minLength": 1
              }
            }
          }
        }
      }
    },
    "harness": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "name_version_commit",
        "environment",
        "hardware"
      ],
      "properties": {
        "name_version_commit": {
          "type": "string",
          "minLength": 1
        },
        "environment": {
          "type": "string",
          "minLength": 1
        },
        "hardware": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        }
      }
    },
    "grader": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "identity",
        "configuration"
      ],
      "properties": {
        "identity": {
          "type": "string",
          "minLength": 1
        },
        "configuration": {
          "type": "string",
          "minLength": 1
        }
      }
    },
    "protocol": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "objective_and_construct",
        "prompt",
        "shots",
        "decoding",
        "answer_handling",
        "attempt_policy",
        "access_policy"
      ],
      "properties": {
        "objective_and_construct": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        },
        "prompt": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        },
        "shots": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        },
        "decoding": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        },
        "answer_handling": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        },
        "attempt_policy": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        },
        "access_policy": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        }
      }
    },
    "run_set": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "run_ids",
        "sample_count",
        "successful_count",
        "seeds",
        "failures",
        "raw_artifacts"
      ],
      "properties": {
        "run_ids": {
          "type": "array",
          "minItems": 1,
          "uniqueItems": true,
          "items": {
            "type": "string",
            "minLength": 1
          }
        },
        "sample_count": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "per_item",
            "total",
            "unit"
          ],
          "properties": {
            "per_item": {
              "type": "object",
              "additionalProperties": false,
              "required": [
                "status",
                "value",
                "reason"
              ],
              "properties": {
                "status": {
                  "enum": [
                    "disclosed",
                    "unknown",
                    "not_applicable"
                  ]
                },
                "value": {
                  "type": [
                    "string",
                    "null"
                  ]
                },
                "reason": {
                  "type": [
                    "string",
                    "null"
                  ]
                }
              },
              "allOf": [
                {
                  "if": {
                    "properties": {
                      "status": {
                        "const": "disclosed"
                      }
                    }
                  },
                  "then": {
                    "properties": {
                      "value": {
                        "type": "string",
                        "minLength": 1
                      },
                      "reason": {
                        "type": "null"
                      }
                    }
                  },
                  "else": {
                    "properties": {
                      "value": {
                        "type": "null"
                      },
                      "reason": {
                        "type": "string",
                        "minLength": 1
                      }
                    }
                  }
                }
              ]
            },
            "total": {
              "type": "integer",
              "minimum": 1
            },
            "unit": {
              "enum": [
                "completions",
                "battles",
                "queries",
                "runs"
              ]
            }
          }
        },
        "successful_count": {
          "type": "integer",
          "minimum": 0
        },
        "seeds": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        },
        "failures": {
          "type": "array",
          "items": {
            "type": "object",
            "additionalProperties": false,
            "required": [
              "code",
              "count",
              "treatment"
            ],
            "properties": {
              "code": {
                "type": "string",
                "minLength": 1
              },
              "count": {
                "type": "integer",
                "minimum": 0
              },
              "treatment": {
                "type": "string",
                "minLength": 1
              }
            }
          }
        },
        "raw_artifacts": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        }
      }
    },
    "metric": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "name",
        "definition",
        "value",
        "unit",
        "direction",
        "aggregation",
        "estimand",
        "parameters",
        "uncertainty",
        "statistical_assumptions",
        "comparison_test",
        "costs"
      ],
      "properties": {
        "name": {
          "type": "string",
          "minLength": 1
        },
        "definition": {
          "type": "string",
          "minLength": 1
        },
        "value": {
          "type": "number"
        },
        "unit": {
          "type": "string",
          "minLength": 1
        },
        "direction": {
          "enum": [
            "higher_is_better",
            "lower_is_better",
            "descriptive_only"
          ]
        },
        "aggregation": {
          "type": "string",
          "minLength": 1
        },
        "estimand": {
          "type": "string",
          "minLength": 1
        },
        "parameters": {
          "type": "object"
        },
        "uncertainty": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "method",
            "interval_type",
            "level",
            "lower",
            "upper",
            "variation_sources",
            "reason",
            "deterministic_finite_census"
          ],
          "properties": {
            "status": {
              "enum": [
                "estimated",
                "not_estimated"
              ]
            },
            "method": {
              "type": [
                "string",
                "null"
              ]
            },
            "interval_type": {
              "type": [
                "string",
                "null"
              ]
            },
            "level": {
              "type": [
                "number",
                "null"
              ],
              "exclusiveMinimum": 0,
              "exclusiveMaximum": 1
            },
            "lower": {
              "type": [
                "number",
                "null"
              ]
            },
            "upper": {
              "type": [
                "number",
                "null"
              ]
            },
            "variation_sources": {
              "type": "array",
              "items": {
                "type": "string",
                "minLength": 1
              }
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            },
            "deterministic_finite_census": {
              "type": "boolean"
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "estimated"
                  }
                }
              },
              "then": {
                "properties": {
                  "method": {
                    "type": "string",
                    "minLength": 1
                  },
                  "interval_type": {
                    "type": "string",
                    "minLength": 1
                  },
                  "level": {
                    "type": "number"
                  },
                  "lower": {
                    "type": "number"
                  },
                  "upper": {
                    "type": "number"
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "method": {
                    "type": "null"
                  },
                  "interval_type": {
                    "type": "null"
                  },
                  "level": {
                    "type": "null"
                  },
                  "lower": {
                    "type": "null"
                  },
                  "upper": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        },
        "statistical_assumptions": {
          "type": "string",
          "minLength": 1
        },
        "comparison_test": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        },
        "costs": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "status",
            "value",
            "reason"
          ],
          "properties": {
            "status": {
              "enum": [
                "disclosed",
                "unknown",
                "not_applicable"
              ]
            },
            "value": {
              "type": [
                "string",
                "null"
              ]
            },
            "reason": {
              "type": [
                "string",
                "null"
              ]
            }
          },
          "allOf": [
            {
              "if": {
                "properties": {
                  "status": {
                    "const": "disclosed"
                  }
                }
              },
              "then": {
                "properties": {
                  "value": {
                    "type": "string",
                    "minLength": 1
                  },
                  "reason": {
                    "type": "null"
                  }
                }
              },
              "else": {
                "properties": {
                  "value": {
                    "type": "null"
                  },
                  "reason": {
                    "type": "string",
                    "minLength": 1
                  }
                }
              }
            }
          ]
        }
      }
    },
    "integrity": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "dataset_visibility",
        "contamination_status",
        "assessment",
        "cheating_review"
      ],
      "properties": {
        "dataset_visibility": {
          "enum": [
            "public",
            "gated",
            "private",
            "sequestered",
            "mixed"
          ]
        },
        "contamination_status": {
          "enum": [
            "not_assessed",
            "unknown",
            "declared_overlap",
            "suspected",
            "tested_no_evidence",
            "confirmed"
          ]
        },
        "assessment": {
          "type": "string",
          "minLength": 1
        },
        "cheating_review": {
          "type": "string",
          "minLength": 1
        }
      }
    },
    "verification": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "status",
        "scope",
        "verified_by",
        "verified_at"
      ],
      "properties": {
        "status": {
          "enum": [
            "self_reported",
            "artifact_checked",
            "independently_reproduced",
            "owner_reviewed",
            "owner_published",
            "rejected"
          ]
        },
        "scope": {
          "type": "string",
          "minLength": 1
        },
        "verified_by": {
          "type": "string",
          "minLength": 1
        },
        "verified_at": {
          "type": "string",
          "format": "date-time"
        }
      }
    },
    "publication": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "rights_status",
        "licenses",
        "disclosure",
        "citation_and_mark",
        "claim_boundary"
      ],
      "properties": {
        "rights_status": {
          "enum": [
            "metadata_only",
            "redistribution_permitted",
            "restricted"
          ]
        },
        "licenses": {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "code",
            "data",
            "prompt",
            "output",
            "trace",
            "figure"
          ],
          "properties": {
            "code": {
              "type": "object",
              "additionalProperties": false,
              "required": [
                "status",
                "value",
                "reason"
              ],
              "properties": {
                "status": {
                  "enum": [
                    "disclosed",
                    "unknown",
                    "not_applicable"
                  ]
                },
                "value": {
                  "type": [
                    "string",
                    "null"
                  ]
                },
                "reason": {
                  "type": [
                    "string",
                    "null"
                  ]
                }
              },
              "allOf": [
                {
                  "if": {
                    "properties": {
                      "status": {
                        "const": "disclosed"
                      }
                    }
                  },
                  "then": {
                    "properties": {
                      "value": {
                        "type": "string",
                        "minLength": 1
                      },
                      "reason": {
                        "type": "null"
                      }
                    }
                  },
                  "else": {
                    "properties": {
                      "value": {
                        "type": "null"
                      },
                      "reason": {
                        "type": "string",
                        "minLength": 1
                      }
                    }
                  }
                }
              ]
            },
            "data": {
              "type": "object",
              "additionalProperties": false,
              "required": [
                "status",
                "value",
                "reason"
              ],
              "properties": {
                "status": {
                  "enum": [
                    "disclosed",
                    "unknown",
                    "not_applicable"
                  ]
                },
                "value": {
                  "type": [
                    "string",
                    "null"
                  ]
                },
                "reason": {
                  "type": [
                    "string",
                    "null"
                  ]
                }
              },
              "allOf": [
                {
                  "if": {
                    "properties": {
                      "status": {
                        "const": "disclosed"
                      }
                    }
                  },
                  "then": {
                    "properties": {
                      "value": {
                        "type": "string",
                        "minLength": 1
                      },
                      "reason": {
                        "type": "null"
                      }
                    }
                  },
                  "else": {
                    "properties": {
                      "value": {
                        "type": "null"
                      },
                      "reason": {
                        "type": "string",
                        "minLength": 1
                      }
                    }
                  }
                }
              ]
            },
            "prompt": {
              "type": "object",
              "additionalProperties": false,
              "required": [
                "status",
                "value",
                "reason"
              ],
              "properties": {
                "status": {
                  "enum": [
                    "disclosed",
                    "unknown",
                    "not_applicable"
                  ]
                },
                "value": {
                  "type": [
                    "string",
                    "null"
                  ]
                },
                "reason": {
                  "type": [
                    "string",
                    "null"
                  ]
                }
              },
              "allOf": [
                {
                  "if": {
                    "properties": {
                      "status": {
                        "const": "disclosed"
                      }
                    }
                  },
                  "then": {
                    "properties": {
                      "value": {
                        "type": "string",
                        "minLength": 1
                      },
                      "reason": {
                        "type": "null"
                      }
                    }
                  },
                  "else": {
                    "properties": {
                      "value": {
                        "type": "null"
                      },
                      "reason": {
                        "type": "string",
                        "minLength": 1
                      }
                    }
                  }
                }
              ]
            },
            "output": {
              "type": "object",
              "additionalProperties": false,
              "required": [
                "status",
                "value",
                "reason"
              ],
              "properties": {
                "status": {
                  "enum": [
                    "disclosed",
                    "unknown",
                    "not_applicable"
                  ]
                },
                "value": {
                  "type": [
                    "string",
                    "null"
                  ]
                },
                "reason": {
                  "type": [
                    "string",
                    "null"
                  ]
                }
              },
              "allOf": [
                {
                  "if": {
                    "properties": {
                      "status": {
                        "const": "disclosed"
                      }
                    }
                  },
                  "then": {
                    "properties": {
                      "value": {
                        "type": "string",
                        "minLength": 1
                      },
                      "reason": {
                        "type": "null"
                      }
                    }
                  },
                  "else": {
                    "properties": {
                      "value": {
                        "type": "null"
                      },
                      "reason": {
                        "type": "string",
                        "minLength": 1
                      }
                    }
                  }
                }
              ]
            },
            "trace": {
              "type": "object",
              "additionalProperties": false,
              "required": [
                "status",
                "value",
                "reason"
              ],
              "properties": {
                "status": {
                  "enum": [
                    "disclosed",
                    "unknown",
                    "not_applicable"
                  ]
                },
                "value": {
                  "type": [
                    "string",
                    "null"
                  ]
                },
                "reason": {
                  "type": [
                    "string",
                    "null"
                  ]
                }
              },
              "allOf": [
                {
                  "if": {
                    "properties": {
                      "status": {
                        "const": "disclosed"
                      }
                    }
                  },
                  "then": {
                    "properties": {
                      "value": {
                        "type": "string",
                        "minLength": 1
                      },
                      "reason": {
                        "type": "null"
                      }
                    }
                  },
                  "else": {
                    "properties": {
                      "value": {
                        "type": "null"
                      },
                      "reason": {
                        "type": "string",
                        "minLength": 1
                      }
                    }
                  }
                }
              ]
            },
            "figure": {
              "type": "object",
              "additionalProperties": false,
              "required": [
                "status",
                "value",
                "reason"
              ],
              "properties": {
                "status": {
                  "enum": [
                    "disclosed",
                    "unknown",
                    "not_applicable"
                  ]
                },
                "value": {
                  "type": [
                    "string",
                    "null"
                  ]
                },
                "reason": {
                  "type": [
                    "string",
                    "null"
                  ]
                }
              },
              "allOf": [
                {
                  "if": {
                    "properties": {
                      "status": {
                        "const": "disclosed"
                      }
                    }
                  },
                  "then": {
                    "properties": {
                      "value": {
                        "type": "string",
                        "minLength": 1
                      },
                      "reason": {
                        "type": "null"
                      }
                    }
                  },
                  "else": {
                    "properties": {
                      "value": {
                        "type": "null"
                      },
                      "reason": {
                        "type": "string",
                        "minLength": 1
                      }
                    }
                  }
                }
              ]
            }
          }
        },
        "disclosure": {
          "type": "string",
          "minLength": 1
        },
        "citation_and_mark": {
          "type": "string",
          "minLength": 1
        },
        "claim_boundary": {
          "type": "string",
          "minLength": 1
        }
      }
    },
    "observed_at": {
      "type": "string",
      "pattern": "^\\d{4}-\\d{2}-\\d{2}(?:T\\d{2}:\\d{2}:\\d{2}Z)?(?:/\\d{4}-\\d{2}-\\d{2}(?:T\\d{2}:\\d{2}:\\d{2}Z)?)?$"
    },
    "published_at": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "status",
        "value",
        "reason"
      ],
      "properties": {
        "status": {
          "enum": [
            "disclosed",
            "unknown",
            "not_applicable"
          ]
        },
        "value": {
          "type": [
            "string",
            "null"
          ]
        },
        "reason": {
          "type": [
            "string",
            "null"
          ]
        }
      },
      "allOf": [
        {
          "if": {
            "properties": {
              "status": {
                "const": "disclosed"
              }
            }
          },
          "then": {
            "properties": {
              "value": {
                "type": "string",
                "minLength": 1
              },
              "reason": {
                "type": "null"
              }
            }
          },
          "else": {
            "properties": {
              "value": {
                "type": "null"
              },
              "reason": {
                "type": "string",
                "minLength": 1
              }
            }
          }
        }
      ]
    },
    "retrieved_at": {
      "type": "string",
      "format": "date-time"
    },
    "data_cutoff": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "status",
        "value",
        "reason"
      ],
      "properties": {
        "status": {
          "enum": [
            "disclosed",
            "unknown",
            "not_applicable"
          ]
        },
        "value": {
          "type": [
            "string",
            "null"
          ]
        },
        "reason": {
          "type": [
            "string",
            "null"
          ]
        }
      },
      "allOf": [
        {
          "if": {
            "properties": {
              "status": {
                "const": "disclosed"
              }
            }
          },
          "then": {
            "properties": {
              "value": {
                "type": "string",
                "minLength": 1
              },
              "reason": {
                "type": "null"
              }
            }
          },
          "else": {
            "properties": {
              "value": {
                "type": "null"
              },
              "reason": {
                "type": "string",
                "minLength": 1
              }
            }
          }
        }
      ]
    },
    "source_receipts": {
      "type": "array",
      "minItems": 1,
      "items": {
        "type": "object",
        "additionalProperties": false,
        "required": [
          "source_id",
          "url",
          "final_url",
          "media_type",
          "byte_count",
          "capture_method",
          "retrieved_at",
          "content_sha256",
          "source_locator"
        ],
        "properties": {
          "source_id": {
            "type": "string",
            "minLength": 1
          },
          "url": {
            "type": "string",
            "format": "uri",
            "pattern": "^https://"
          },
          "final_url": {
            "type": "string",
            "format": "uri",
            "pattern": "^https://"
          },
          "media_type": {
            "type": "string",
            "minLength": 1
          },
          "byte_count": {
            "type": "integer",
            "minimum": 1
          },
          "capture_method": {
            "type": "string",
            "minLength": 1
          },
          "retrieved_at": {
            "type": "string",
            "format": "date-time"
          },
          "content_sha256": {
            "type": "string",
            "pattern": "^[0-9a-f]{64}$"
          },
          "source_locator": {
            "type": "string",
            "minLength": 1
          }
        }
      }
    },
    "supersedes": {
      "type": "array",
      "uniqueItems": true,
      "items": {
        "type": "string",
        "pattern": "^OBS-[0-9a-f]{8}-[0-9a-f]{4}-4[0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$"
      }
    },
    "superseded_by": {
      "type": "array",
      "uniqueItems": true,
      "items": {
        "type": "string",
        "pattern": "^OBS-[0-9a-f]{8}-[0-9a-f]{4}-4[0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$"
      }
    },
    "correction_reason": {
      "type": [
        "object",
        "null"
      ],
      "additionalProperties": false,
      "required": [
        "code",
        "owner_text",
        "source_id"
      ],
      "properties": {
        "code": {
          "type": "string",
          "minLength": 1
        },
        "owner_text": {
          "type": "string",
          "minLength": 1
        },
        "source_id": {
          "type": "string",
          "minLength": 1
        }
      }
    },
    "boundary": {
      "type": "string",
      "minLength": 1
    }
  },
  "allOf": [
    {
      "if": {
        "properties": {
          "result_status": {
            "enum": [
              "corrected",
              "superseded",
              "withdrawn",
              "invalidated"
            ]
          }
        }
      },
      "then": {
        "properties": {
          "correction_reason": {
            "type": "object"
          }
        }
      },
      "else": {
        "properties": {
          "correction_reason": {
            "type": "null"
          }
        }
      }
    }
  ]
}