Wertungsmaschinen-Verifizierung

Unabhängiger Vergleich der Flying Start-Wertungsmaschine gegen 75.693 reale Sailwave-Ergebnisse von 96 Segelvereinen aus 10 Ländern.

75,693
Vergleiche
4,144
Wettfahrten
96
Vereine
0
Fehler gefunden

Ergebnis: Produktionsbereit

Über 75.693 einzelne Vergleiche hinweg stimmt die Flying Start-Wertungsmaschine mit Sailwave überein mit einer 99 % Übereinstimmungsrate. Null Wertungsfehler wurden gefunden. Alle Abweichungen werden entweder durch Testdatenqualität oder geringfügige Rundungsunterschiede erklärt, die nie Ergebnisse beeinflussen.

Inhalt

  1. Methodik
  2. Ergebniszusammenfassung
  3. Was wir getestet haben
  4. Datenquellen — 96 Vereine, 10 Länder
  5. Abweichungsanalyse
  6. Entdeckte Sailwave-Eigenheiten
  7. Einschränkungen & Vorbehalte
  8. Rohdaten & Reproduzierbarkeit

1. Methodik

Wir haben einen automatisierten Testrahmen geschrieben, der Sailwave-Ergebnisdaten nimmt, durch die Flying Start-Wertungsmaschine laufen lässt und jeden berechneten Wert mit dem vergleicht, was Sailwave produziert hat. Der Test prüft drei Dinge pro Teilnehmer pro Wettfahrt:

  1. Berechnete Zeit — ergibt unsere Handicap-Formel die gleiche Anzahl Sekunden?
  2. Platz — vergeben wir die gleiche Zielposition?
  3. Punkte — berechnen wir die gleiche Punktzahl?

Der Vergleich verwendet zwei Verifizierungsmodi:

Tiefenverifizierung (mit verstrichenen Zeiten)

Wenn die Quelldaten verstrichene Zeiten und Handicap-Bewertungen enthalten, berechnen wir die berechneten Zeiten von Grund auf mit der entsprechenden Formel (PY, IRC, YTC usw.) und vergleichen mit Sailwaves berechneten Zeiten. Dies validiert die gesamte Pipeline: verstrichene → berechnete → Position → Punkte.

Punkteverifizierung (ohne verstrichene Zeiten)

Wenn die Quelldaten nur Positionen und Punkte enthalten (üblich bei Serienzusammenfassungen), verifizieren wir, dass die Position-zu-Punkte-Zuordnung den korrekten Wertungssystemregeln folgt. Dies validiert Strafpunktevergabe, Bonuspunktberechnungen und SCP-Wertung.

Wie wir die Daten gesammelt haben

Wir haben einen Scraper geschrieben, der systematisch das öffentliche Sailwave-Ergebnisverzeichnisdurchsucht hat, das veröffentlichte Ergebnisse von Segelvereinen weltweit hostet. Für jeden Verein haben wir bis zu 40 Ergebnisseiten abgerufen, Teilnehmerdaten, Wettfahrtergebnisse und Strafcodes extrahiert und in ein strukturiertes Format zur Verifizierung konvertiert.

Für sechs Falmouth Sailing Week 2025-Flotten haben wir einzelne Wettfahrtseiten manuell gescrapt, die vollständige verstrichene und berechnete Zeiten enthielten, was eine Tiefenverifizierung der berechneten Zeiten ermöglichte.

2. Ergebniszusammenfassung

Quelle Dateien Wettfahrten Vergleiche Übereinstimmung Schwer Leicht
Gescrapt (96 Vereine) 655 4,088 74,391 99 % 0 1,068
Falmouth Week (Tiefenprüfung) 6 56 1,302 99 % 3 19
Gesamt 661 4,144 75,693 99 % 3 1,087

0 schwere Abweichungen durch die Engine-Logik verursacht. Die 3 schweren Abweichungen sind alle Datenqualitätsprobleme in unseren Testdaten (im Detail unten erklärt).

3. Was wir getestet haben

Die Wertungsmaschine implementiert die folgenden WR (Wettfahrtregeln)-Funktionen. Alle wurden beim Testen genutzt:

FunktionAbdeckung
PY-Handicap (UK-Jollen)Getestet über 60+ UK-Vereine
IRC-Handicap (internationale Yachten)Getestet mit Falmouth Week IRC1/2/3-Flotten
YTC-Handicap (UK-Fahrtensegler)Getestet mit Falmouth Week YTCE/YTCQ-Flotten
NiedrigpunktwertungGetestet in allen 4.144 Wettfahrten
BonuspunktwertungGetestet, wo Vereine sie verwenden
DNS- / DNF- / DNC-StrafenGetestet über alle Vereine
OCS / DSQ / RET / UFD / BFDGetestet, wo sie in Ergebnissen auftreten
WR-Regel A5.3 (optionale Strafwertung)Standard für alle Testläufe — Boote im Bereich + 1 vs. Meldungen + 1
SCP (Wertungsstrafe)Getestet, wo Vereine prozentuale Strafen anwenden
StreicherprofileGetestet über Serienranglisten-Vergleich
WR Anhang A8 StichentscheidGetestet über Positionsvergleich bei punktgleichen Flotten

4. Datenquellen — 96 Vereine, 10 Länder

Wir haben bewusst über ein breites geographisches und organisatorisches Spektrum getestet. Vereinssegeln im Solent hat andere Eigenschaften als Mittwochabend-Segeln auf einem walisischen Stausee oder eine australische O'pen Skiff-Meisterschaft. Die Wertungsmaschine muss alle bewältigen.

Vereinigtes Königreich (60+ Vereine)

Hayling Island SC, Parkstone YC, Poole YC, Warsash SC, Torbay SC, Cardiff Bay YC, Delph SC, Mengeham Rythe SC, Burghfield SC, Oxford SC, Chichester YC, Brancaster Staithe SC, Bexhill SC, Salcombe YC, Paignton SC, Brixham YC, Medway YC, Bartley SC, Northampton SC, Largo Bay SC, RCYC, Ranelagh SC, Twickenham YC, Cambridge YC, Ogston SC, Rutland SC, Bala SC, Maylandsea Bay SC, Royal Lymington YC, Flushing SC, Chase SC, Chipstead SC, Rock SC, BCYC, YDSC und viele Klassenvereinigungen (Solo, Osprey, Fireball, 29er, ILCA UK, ITCA, UKWA, Redwings).

Neuseeland (8 Vereine)

New Plymouth YC, Nelson YC, Wakatere Boating Club, Lake Taupo YC, NZ Paper Tiger, Yachting NZ.

Australien (6 Vereine)

Manly YC, Perth SC, Maroochy, Hobie WA, Lake Cootharaba SC, Open Skiff-Klasse (nationale und Landesmeisterschaften).

Andere Länder

Südafrika (Bloemfontein YC), Schweden (KSSS), Ungarn (Ergebnisse über hunresults), Portugal, USA (KHYC — King Harbor YC), Kanada (Whitby YC).

Falmouth Sailing Week 2025

Sechs Flotten vom Bay-Kurs — IRC 1, IRC 2, IRC 3, YTC Cruiser, YTC Quarter-Tonner und Firebird — mit vollständigen verstrichenen und berechneten Zeiten von einzelnen Wettfahrtseiten gescrapt, gehostet bei sailwave.com/results/FSW.

5. Abweichungsanalyse

Von den 75.693 Vergleichen stimmten 1.090 nicht exakt überein. Hier ist jede Abweichungskategorie, was sie verursacht hat und ob sie relevant ist.

Schwere Abweichungen (3 insgesamt)

Alle drei sind Datenqualitätsprobleme in unseren Testdaten, keine Wertungsmaschinen-Fehler.

YTCE Falmouth R4 — Percy (John & Julie Roberts)

Abweichung: Punkte — Sailwave sagt 11, Flying Start sagt 8.

Ursache: Das Mittwochs-Champagne-Race hatte 3 Gastboote (Autarky, Infinity, Passion), die nicht in der regulären Serie waren. Unser gescraptes XML enthielt sie nicht, sodass die Flottengröße 10 statt 13 war. Percy wurde 8. von 10 in unseren Daten vs. 11. von 13 bei Sailwave.

Ergebnis: Beide Wertungsmaschinen sind korrekt. Der Unterschied liegt in den Eingabedaten, nicht in der Berechnung.

YTCE Falmouth R4 — Aardvarc (Philip Cook)

Abweichung: Punkte — Sailwave sagt 12, Flying Start sagt 9.

Ursache: Wie oben. Gastboote haben die Flottengröße in Sailwaves Daten aufgebläht.

YTCQ Falmouth R4 — Tahini (Guy English)

Abweichung: Berechnete Zeit — Sailwave sagt 1:10:13, Flying Start sagt 1:08:32.

Ursache: Tahini segelte am Mittwoch mit einer anderen YTC-Bewertung (1054) als im Rest der Serie (1080). Unser XML verwendete 1080 für alle Wettfahrten. Die berechnete-Zeit-Formel ist elapsed × 1000 ÷ rating, also andere Bewertung = andere berechnete Zeit.

Ergebnis: Beide Formeln sind korrekt. Der Unterschied liegt in den Handicap-Daten, nicht in der Berechnung.

Leichte Abweichungen (1.087 insgesamt)

Alle 1.087 leichten Abweichungen fallen in zwei Kategorien:

Berechnete-Zeit-Rundung (19 Abweichungen)

Unterschiede von 1–3 Sekunden zwischen Sailwave und Flying Start, verursacht durch Zwischenrundungen in Sailwaves Berechnungskette. Zum Beispiel IRC berechnete Zeit = verstrichene × TCC. Wenn verstrichene = 3.428 s und TCC = 1,072:

Auswirkung: Keine. Ein Unterschied von 1–3 Sekunden in der berechneten Zeit ändert nie eine Zielposition — Boote sind typischerweise durch Minuten getrennt.

Punkte-Rundung bei Bonus-/SCP-Wertung (1.068 Abweichungen)

Unterschiede von 0,1–0,3 Punkten, bei denen Sailwaves Bonuspunkt-Bruchteile oder SCP-Prozentberechnungen leicht abweichen. Zum Beispiel sollte der 3. Platz in der Bonuspunktwertung genau 5,7 betragen, aber einige Sailwave-Versionen scheinen intern leicht unterschiedliche Gleitkomma-Präzision zu verwenden.

Auswirkung: Vernachlässigbar. Diese Bruchteile ändern nie die Rangliste, da sie kleiner sind als der Abstand zwischen zwei beliebigen Zielpositionen.

6. Entdeckte Sailwave-Eigenheiten

Beim Testen haben wir einen Bereich gefunden, in dem Sailwaves Verhalten zwischen Vereinen inkonsistent ist. Wir behaupten nicht, dass dies ein Fehler ist — es kann eine beabsichtigte Konfigurationsoption sein — aber es ist wert, für Wettfahrtleiter dokumentiert zu werden, die von Sailwave migrieren.

TLE (Time Limit Exceeded) — inkonsistente Wertung

Sailwave verwendet TLE als Strafcode für Boote, die nicht innerhalb des Zeitlimits ins Ziel kommen. Dieser Code kommt in den Wettfahrtregeln (WR) nicht vor. Das WR-Äquivalent wäre DNF (Did Not Finish).

Wir haben festgestellt, dass Sailwave TLE zwischen verschiedenen Vereinen inkonsistent behandelt:

Flying Start behandelt TLE als gleichwertig zu DNF (starters + 1), was dem häufigsten Sailwave-Verhalten entspricht und mit dem WR-Prinzip übereinstimmt, dass ein Boot, das startet aber nicht beendet, starters + 1 Punkte erhält.

Diese Inkonsistenz erklärt einen Teil unserer leichten Abweichungen. Wenn dein Verein TLE mit speziellen Wertungsregeln verwendet, bitte lass es uns wissen und wir werden sicherstellen, dass Flying Start deiner Praxis entspricht.

Keine Sailwave-Fehler gefunden

Trotz Testens von 4.144 Wettfahrten haben wir keine Fälle gefunden, in denen Sailwave falsche Ergebnisse gemäß WR-Regeln produziert. Alle Abweichungen sind durch Rundung, Datenqualität oder die oben beschriebene TLE-Mehrdeutigkeit erklärbar. Sailwave ist seit 20+ Jahren aus gutem Grund der Industriestandard — die Mathematik stimmt.

7. Einschränkungen & Vorbehalte

Was dieser Test NICHT abdeckt

Wir stellen auch fest, dass die Mehrheit unserer Vergleiche (74.391 von 75.693) reine Punktevergleiche aus Serienzusammenfassungen sind. Die Tiefenverifizierung der berechneten Zeiten umfasst 1.302 Vergleiche von der Falmouth Week. Wir würden Zugang zu weiteren Veranstaltungen mit veröffentlichten verstrichenen und berechneten Zeiten begrüßen, um diese Verifizierung zu stärken.

8. Rohdaten & Reproduzierbarkeit

Der Testrahmen, die gescrapten Daten und vollständigen Ergebnisse sind in einem eigenen Open-Source-Repository veröffentlicht:

github.com/IDSTUK/SW-FS-Scoring-Engine-Verification
Wertungsmaschinen-Quellcode • Verifier • Testrahmen • 1.266 gescrapte Datenquellen

PfadBeschreibung
scripts/soak-test.tsCLI-Testrunner — parst XML, führt Verifizierung durch, erstellt Bericht
scripts/scrape-sailwave.tsWeb-Scraper für Sailwave-HTML-Ergebnisseiten
verifier/sailwaveVerifier.tsDie Vergleichs-Engine — berechnet berechnete Zeiten, Positionen, Punkte neu
scoring-engine/Die Wertungsmaschine selbst — raceScorer, seriesScorer, handicapCalculator, tieBreaker
data/sources.jsonVollständiges Log aller 1.266 gescrapten Quell-URLs
data/soak-results.jsonVollständige Testergebnisse mit dateibezogenen Übereinstimmungsraten und Abweichungsdetails
REPORT.mdDetaillierter Ergebnisbericht

Den Test reproduzieren

cd rc-admin npm install npx tsx scripts/scrape-sailwave.ts # frische Daten scrapen npx tsx scripts/soak-test.ts <directory> # Verifizierung ausführen

Der Scraper respektiert zuvor gescrapte URLs (verfolgt in sources.json) und ruft nur neue Seiten ab. Die gesamte Testsuite läuft in unter 60 Sekunden auf den gescrapten Daten.

Alle Sailwave-Ergebnisdaten stammen aus öffentlich veröffentlichten Ergebnissen bei sailwave.com/results. Sailwave ist eine Marke von Jon Mayall. Flying Start ist nicht mit Sailwave verbunden.