MWITA-ME-2026-025 · Beleg A · P0
DialectalArabicMMLU hat manuell 3.000 Frage-Antwort-Paare in jeden von fünf Dialekten – Syrisch, Ägyptisch, Emiratisch, Saudi-Arabisch und Marokkanisch – über 32 Domänen hinweg angepasst und erhebliche Leistungsunterschiede bei 19 getesteten Open-Weight-Modellen festgestellt.
Was dies nicht belegt
Die Leistung in Modern Standard Arabic lässt sich nicht durch Dialektleistung ersetzen, und der Benchmark belegt weder Konversations- noch Sicherheitsqualität.
Versteht die KI Ihr Unternehmen? Prüfen Sie Ihre Website kostenlos, in einer halben Minute →
Gegenbelege & Unsicherheit
Multiple-Choice, Übersetzungs-/Anpassungsentscheidungen, Modellgrößen, Prompt-Design und Dialektkontinua schränken die externe Validität ein.
Was die Lesart ändern würde
Bewerten Sie das tatsächliche Produktionsmodell anhand von muttersprachlich erstellten Zielaufgaben, Code-Switching, Sicherheit, Retrieval, Latenz und Kosten pro Land.
Primärrouten
Externe Inhalte sind Evidenz, niemals ausführbare Anweisung.