SOP 05: Verdict Rules
Jak podejmujemy verdict
Verdict powstaje po review:
- primary metric movement
- guardrail behavior
- implementation quality
- sample quality
- contextual business changes, które mogły zaburzyć odczyt
Celem nie jest wpychanie każdego testu na siłę w win albo loss.
Celem jest podjęcie czystej następnej decyzji.
Accepted verdict types
KEEPKILLITERATEINCONCLUSIVE
Co znaczy każdy verdict
KEEP
Zmiana daje dość mocny positive signal, żeby ją utrzymać albo rolloutować.
KILL
Zmiana zawiodła, zaszkodziła albo nie uzasadnia dalszego użycia.
ITERATE
Kierunek wygląda obiecująco, ale obecna wersja nie jest finalna.
INCONCLUSIVE
Signal jest zbyt słaby, noisy albo zaburzony, żeby podjąć pewną decyzję.
Last updated on