Warum das Testfeld Scanner überzeichnet

KI-Hinweis: Dieser Text entsteht mit Unterstützung von KI-Systemen, wird aber vor der Veröffentlichung redaktionell geprüft und verantwortet.

Bevor ein Warrior von uns auf einen Hill geht, wird er gegen ein Testfeld gemessen: eine Nachbildung des Hills aus den Bewohnern, deren Quelltext bekannt ist, plus Stellvertretern für die anderen. Das Feld soll vorhersagen, wie der Warrior draußen abschneidet. Im September tat es das für einen Scanner nicht — und die Frage war, ob das ein Einzelfall war oder ein Fehler im Instrument.

Der Anlass

Unser Scanner Phecda maß auf dem Testfeld v14 gepoolt 146,43 Punkte und debütierte auf koth.org 94nop mit 136,59 — ein Delta von −9,84. Zwei andere eigene Scanner, Alioth und Lankiveil, lagen beim Debüt nur −3,16 und −3,15 unter ihrem Feldwert. Einzelfall?

Erster Schritt: Zellen nebeneinanderlegen

Für jeden der drei Scanner haben wir je Gegner die Hill-Zelle (das veröffentlichte Ergebnis der Paarung auf dem Hill) neben die Feld-Zelle gelegt — gegen die sechs Hill-Mitglieder, deren Quelltext bekannt ist und die deshalb im Feld als sie selbst stehen. Delta ist Feld minus Hill.

Gegner	Phecda	Alioth	Lankiveil
Arvon	−2,27	+7,18	+11,78
Hatysa	−1,41	+7,28	+11,35
Ecaz	−24,15	−9,72	+16,83
Lankiveil	−7,14	−11,00	—
Alioth	−6,79	—	+9,23
Phecda	—	+17,06	+9,08
Tolypeutes	−5,61	+25,36	+11,99
Mittel	−7,90	+6,03	+11,71

Die drei Mittel zeigen in verschiedene Richtungen, und innerhalb jeder Spalte streuen die Einzelwerte stark — bei Alioth von −11,00 bis +25,36 mit Vorzeichenwechsel. Diese Messung legte nur die Zellen nebeneinander; sie entschied nichts. Aber sie zeigte, dass „−9,84 auf alle Scanner" als Erklärung nicht in Frage kam.

Zweiter Schritt: Zerlegung nach Zeilenstatus

Dann wurden fünfzehn Warriors auf dem Feld gemessen — fünf Kalibrier-Anker, sechs weitere mit bekannter Hill-Zeile und vier Kandidaten — und für jede Zelle gefragt: Steht in dieser Feldzeile der echte Hill-Warrior oder ein Stellvertreter? Für echte Zeilen muss das Delta im Rauschen liegen; das ist die Kontrolle der Messkette. Für Stellvertreter-Zeilen zeigt das Delta, wie gut der Stellvertreter seinen Hill-Gegner abbildet. Dazu ein Rauschmodell je Zelle aus der Sieg/Verlust/Remis-Verteilung (chi²/n, Soll 1).

Gruppe	Zellen	Mittel	Streuung (RMS)	chi²/n
Paper/Stone, echte Zeilen	48	−0,79	7,9	0,98
Paper/Stone, Stellvertreter	60	−0,07	8,4	2,33
Scanner, echte Zeilen	36	+1,11	13,1	1,97
Scanner, Stellvertreter	47	+7,69	27,5	12,01

Vier Dinge lassen sich daran ablesen.

Die Messkette stimmt. Paper/Stone-Warriors auf echten Zeilen liegen exakt im Rauschen (chi²/n 0,98). Was das Feld misst, ist das, was der Hill misst — wenn der Gegner derselbe ist.

Für Paper/Stone-Bauformen taugen die Stellvertreter. Streuung 8,4 gegen 7,9 auf echten Zeilen; der chi²/n von 2,33 ist erhöht, aber in derselben Größenordnung.

Für Scanner taugen sie nicht. Einzelne Stellvertreter-Zellen liegen um typisch ±20 bis ±60 Punkte daneben, bei allen fünf Scannern, auch bei den beiden Ankern. Bei den Ankern heben sich die Fehler im Mittel auf — dafür wurden die Stellvertreter ja ausgewählt. Bei Alioth (+13,7 im Mittel, Streuung 35,2) und Phecda (+26,0, Streuung 39,1) nicht.

Es ist keine einheitliche Verschiebung. Derselbe Stellvertreter liegt gegen einen Scanner 27 Punkte zu tief und gegen den nächsten 65 zu hoch. Ein einziger ist durchgehend zu weich gegen Scanner — der Stellvertreter für Foolishly Hyperpure Lark, mit +15 bis +57 gegen alle fünf.

Ob der Unterschied zwischen den Klassen Zufall sein kann, haben wir mit einem Permutationstest geprüft: Alle 462 Aufteilungen der elf Warriors in zwei Gruppen durchgerechnet, Statistik ist die Differenz der chi²/n-Werte auf den Stellvertreter-Zeilen. Beobachtet +9,69, unter Zufall im Mittel +0,01; p = 0,0087.

Die zweite Hälfte der Erklärung: Auswahleffekt

Die beiden Scanner mit stark positivem Fehler, Alioth und Phecda, sind genau die, die über dieses Feld ausgewählt wurden — als Bester aus vielen Kandidaten. Bei einem Zellfehler dieser Größe ist ein positiver Fehler des Siegers einer Feld-Auswahl die erwartbare Folge: Man wählt nicht den stärksten Warrior, sondern den, bei dem der Feldfehler am günstigsten liegt. Mit drei Warriors ist das nicht belegt, aber mit den Daten vereinbar, und es gilt dann für jeden Scanner, der auf diese Weise ausgesucht wird.

Die dritte Hälfte: das Feld war alt

Unabhängig davon war das Feld seit dem 19. September veraltet. Fünf der neunzehn Feldzeilen standen nicht mehr auf dem Hill, sechs Bewohner fehlten im Feld. Eine Zerlegung ohne die Rang-21-Zeile zeigt, dass das Feld die Paper/Stone-Bauformen dadurch um 6 bis 10 Punkte unterschätzt — ihre Beute war vom Hill verschwunden. Bei den Scannern heben sich die beiden Effekte weitgehend auf, und der Stellvertreter-Fehler bleibt stehen. Das Delta von Phecda aus dem Anlass, −9,84, wird rang-21-frei zu +12,26 (Feld minus Hill).

Antwort

Kein Einzelfall. Das Testfeld v14 ist für Scanner-Kerne kein gültiges Messinstrument: Die zehn Stellvertreter-Zeilen bilden Hill-Gegner für Scanner mit einem Fehler von rund dem Dreifachen des Rauschens ab, und ein per Feld ausgewählter Scanner wird dadurch voraussichtlich überzeichnet. Es ist aber kein fester Abschlag — der Fehler ist je Warrior verschieden. Mit keinem der drei geprüften Schätzverfahren lässt sich die Zelle eines neuen Scanners gegen einen quelltextlosen Bewohner besser als auf etwa ±30 Punkte vorhersagen; auf das Mittel gegen zwanzig Bewohner sind das ±5,4 Punkte (ein Standardfehler).

Eine Korrektur gehört dazu: Vier der sechs „nicht zur Kalibrierung benutzten" Warriors waren in Wirklichkeit Kalibrierzeilen. Außerhalb der Kalibrierung lagen nur Alioth und Phecda. Die Tabellen, der Permutationstest und die Zerlegung gelten unverändert; die Aussage, dass die Stellvertreter für Paper/Stone „auch außerhalb der Kalibrierung" treffen, war damit nicht belegt und wurde in einer Folgemessung nachgeholt.

Die praktische Folge für uns: Scanner werden nicht mehr allein über ein Feld abgenommen, solange zwölf Bewohner nur als Stellvertreter vorliegen.

Messkonvention

Hill-Zellen aus dem veröffentlichten Paarungsstand von koth.org 94nop (Feldstand 28. September 2026, 14:59 UTC), 250 Runden je Paarung.
Feld-Zellen: Testfeld v14, 400 Positionen × 2 × 3 Seeds (31707 / 77777 / 424242), feste Positionslisten; für die Zellenmessung des ersten Schritts dieselbe Konvention als direkte Paarungsmessung der Quelltexte.
Rauschmodell je Zelle aus Hill (250 Runden) und Feld (2400 Runden); Permutationstest über alle 462 Aufteilungen.
Quellen: Nachträge N1343 (28. September 2026) und N1347 (30. September 2026), Korrektur in N1348.

Attribution

Phecda, Alioth, Lankiveil, Ecaz, Arvon, Hatysa und Adhara sind eigene Warriors (Stefan Kammann & Forge-AI). Tolypeutes (Roy van Rijn), Intermodal A und Alternating Raisins (beide Steve Gunnell), Foolishly Hyperpure Lark (Ken Espiritu), Ghost Murmur, Dried Frog Pills und die übrigen Hill-Bewohner sind fremde Warriors; sie kommen hier nur mit ihren veröffentlichten Hill-Ergebnissen vor. Die Stellvertreter stammen aus dem Königstuhl-Archiv.