23 golden-tests staan rood op main (sub-promille pixelverschil) #1988

New issue

Closed

opened 2026-09-04 09:31:51 +00:00 by brenno · 0 comments

brenno commented

2026-09-04 09:31:51 +00:00

Owner

Wat er aan de hand is

make check valt op test-golden: 23 van de 51 golden-tests falen op main
(87305c51d), zonder dat er een wijziging tegenover staat.

Bewijs dat het niet aan een tak ligt: dezelfde 23 namen falen in een verse
worktree op origin/main als op een willekeurige feature-tak — de twee lijsten
zijn letterlijk identiek (diff leeg).

Het soort verschil

Golden "goldens/openkat_scenario_states_light.png":
  Pixel test failed, 0.00%, 28px diff detected.
Golden "goldens/openkat_scenario_states_dark.png":
  Pixel test failed, 0.00%, 44px diff detected.

Tientallen pixels op een heel beeld, afgerond 0,00%. Dat is het patroon van een
verschuiving in de renderlaag (een Flutter-versie, een fontversie, een
hinting-instelling), niet van een gewijzigde indeling.

Waarom dit los staat

Geen enkele van deze tests raakt een wijziging die op dit moment onderhanden is;
openkat_wizard_golden_test.dart en slide_golden_test.dart renderen schermen
die niets met de lopende PDF-reparaties te maken hebben.

Het effect is wel breed: make check is hierdoor voor iedereen rood, en een
rode poort die "altijd al rood was" is precies hoe een échte regressie erdoorheen
glipt. Vergelijk de eerdere ronde hierover: main die over meerdere poorten rood
drijft.

Wat er moet gebeuren

Vaststellen wát er verschoven is — toolchainversie tegenover de vorige
groene run. make check-toolchain en de pin in
.github/pinned-ci-versions.json zijn de eerste plek om te kijken.
Pas dán de goldens opnieuw genereren, en met eigen ogen bevestigen dat er
visueel niets veranderd is. Blind regenereren maakt de poort groen en blind.
Nagaan waarom de CI dit niet ving: de vereiste check op een PR is
static-gate, en die draait de goldens niet.

## Wat er aan de hand is `make check` valt op `test-golden`: 23 van de 51 golden-tests falen op `main` (87305c51d), zonder dat er een wijziging tegenover staat. Bewijs dat het niet aan een tak ligt: dezelfde 23 namen falen in een verse worktree op `origin/main` als op een willekeurige feature-tak — de twee lijsten zijn letterlijk identiek (`diff` leeg). ## Het soort verschil ``` Golden "goldens/openkat_scenario_states_light.png": Pixel test failed, 0.00%, 28px diff detected. Golden "goldens/openkat_scenario_states_dark.png": Pixel test failed, 0.00%, 44px diff detected. ``` Tientallen pixels op een heel beeld, afgerond 0,00%. Dat is het patroon van een verschuiving in de renderlaag (een Flutter-versie, een fontversie, een hinting-instelling), niet van een gewijzigde indeling. ## Waarom dit los staat Geen enkele van deze tests raakt een wijziging die op dit moment onderhanden is; `openkat_wizard_golden_test.dart` en `slide_golden_test.dart` renderen schermen die niets met de lopende PDF-reparaties te maken hebben. Het effect is wel breed: `make check` is hierdoor voor iedereen rood, en een rode poort die "altijd al rood was" is precies hoe een échte regressie erdoorheen glipt. Vergelijk de eerdere ronde hierover: main die over meerdere poorten rood drijft. ## Wat er moet gebeuren 1. Vaststellen wát er verschoven is — toolchainversie tegenover de vorige groene run. `make check-toolchain` en de pin in `.github/pinned-ci-versions.json` zijn de eerste plek om te kijken. 2. Pas dán de goldens opnieuw genereren, en met eigen ogen bevestigen dat er visueel niets veranderd is. Blind regenereren maakt de poort groen en blind. 3. Nagaan waarom de CI dit niet ving: de vereiste check op een PR is `static-gate`, en die draait de goldens niet.

brenno added the

bug

label

2026-09-04 09:31:51 +00:00

brenno referenced this issue

2026-09-04 09:33:06 +00:00

Een pijl in een diagramlabel breekt de PDF-export niet meer (#1987) #1989

brenno added the

in-progress

label

2026-09-04 09:45:34 +00:00

brenno referenced this issue from a commit