Skip to Content
SOP05 Verdict Rules

SOP 05: Verdict Rules

Jak podejmujemy verdict

Verdict powstaje po review:

  • primary metric movement
  • guardrail behavior
  • implementation quality
  • sample quality
  • contextual business changes, które mogły zaburzyć odczyt

Celem nie jest wpychanie każdego testu na siłę w win albo loss.

Celem jest podjęcie czystej następnej decyzji.

Accepted verdict types

  • KEEP
  • KILL
  • ITERATE
  • INCONCLUSIVE

Co znaczy każdy verdict

KEEP

Zmiana daje dość mocny positive signal, żeby ją utrzymać albo rolloutować.

KILL

Zmiana zawiodła, zaszkodziła albo nie uzasadnia dalszego użycia.

ITERATE

Kierunek wygląda obiecująco, ale obecna wersja nie jest finalna.

INCONCLUSIVE

Signal jest zbyt słaby, noisy albo zaburzony, żeby podjąć pewną decyzję.

Last updated on