Biznis se promenio. Validation rules nisu.

Validation rule može da radi tačno onako kako je napravljen i da ipak bude pogrešan.
Logika može da bude ispravna.
Kod može da se izvršava bez greške.
Kontrola može da pronalazi upravo ono za šta je napravljena.
A da rule ipak više ne odgovara poslovnoj realnosti.
Upravo zato validation rules ne bi trebalo posmatrati kao nešto što se jednom napravi i zatim zauvek ostavi da radi.
Biznis se menja.
Procesi se menjaju.
Definicije se menjaju.
Sistemi se menjaju.
A kada se to dogodi, pravila koja kontrolišu podatke moraju da se menjaju zajedno sa njima.
Prva osoba koja bi to normalno trebalo da primeti jeste Data Owner.
Od Data Governance-a se ne može očekivati da poznaje svaki poslovni proces dovoljno detaljno da odmah primeti svaku operativnu promenu.
To nije njegova uloga.
Data Owner je mnogo bliži poslovnoj realnosti.
U velikom broju organizacija Data Owner je istovremeno i menadžer Data Stewarda ili je makar direktno povezan sa timom koji održava podatke.
Zbog toga je upravo Data Owner prirodan prvi signal.
„Biznis se promenio.“
„Ovaj rule više ne odgovara načinu na koji danas radimo.“
Kada se taj signal pojavi, Data Governance treba odmah da reaguje.
Ali prvi korak nije automatsko gašenje rule-a.
Prvi korak je razumevanje zašto je postao zastareo.
Šta se promenilo?
Kada se promenilo?
Da li je promena privremena ili trajna?
Koji podaci su pogođeni?
Koji downstream izveštaji ili KPI-jevi zavise od njih?
I da li postojeća kontrola i dalje štiti neki relevantan poslovni rizik?
Odgovori na ta pitanja određuju šta se dalje radi.
Nekada se biznis promeni potpuno.
Proces ode u sasvim drugom pravcu i stara validation logika više nema nikakvog smisla.
U takvoj situaciji zadržavanje starog rule-a može da stvara više buke nego koristi.
Tada ga ima smisla ugasiti dok se nova kontrola ne pripremi.
Ali mnoge promene nisu toliko radikalne.
Ponekad poslovna logika evoluira umesto da potpuno nestane.
U takvim situacijama više volim da stari i novi validation rule neko vreme rade paralelno.
Jedan kvartal može da bude koristan period.
A poređenje ne bi trebalo da se svodi samo na pitanje koji rule prijavljuje manje grešaka.
Gledao bih broj flagovanih zapisa.
Broj false positive-a.
Vrste zapisa koje svaki rule pronalazi.
I, najvažnije, poslovni uticaj tih razlika.
Novi rule može statistički da izgleda mnogo bolje.
Može da daje manje upozorenja.
Može da ima manje false positive-a.
Ali ako propušta mali broj kritičnih slučajeva koji mogu da naprave veliki poslovni problem, onda to nije bolji rule.
To je lošiji rule.
Data Quality kontrole ne treba optimizovati tako da statistika izgleda lepo.
Treba ih optimizovati prema riziku koji treba da kontrolišu.
A promena validation logike nikada nije samo promena jednog rule-a.
Ako se promenila poslovna definicija, zajedno sa njom mora da se promeni i ceo data ekosistem.
Business Glossary mora da se ažurira.
Dokumentacija mora da se ažurira.
Data Lineage mora da prati novu logiku.
Downstream izveštaji i KPI-jevi moraju da se provere.
Relevantni korisnici moraju da razumeju šta se promenilo.
Dok sve to nije usklađeno, novi validation rule ne bi smeo da ode u produkciju.
U suprotnom organizacija može da dobije novu kontrolu koja proverava podatke prema jednoj definiciji, dok dokumentacija, izveštaji ili korisnici i dalje rade prema staroj.
Tada smo samo napravili novu vrstu Data Quality problema.
Validation rules takođe moraju da imaju jasno verzionisanje.
Novi rule ne bi trebalo jednostavno da pregazi prethodni i izbriše njegovu istoriju.
Organizacija mora da može da vidi koja validation logika je važila u kom periodu.
Rule verzija 1.
Važio od jednog datuma do drugog.
Rule verzija 2.
Počinje da važi od sledećeg datuma.
Uz razlog promene, zapis o tome šta je testirano i rezultate paralelnog poređenja.
To takođe znači da istorijski podaci u principu treba da ostanu ocenjeni prema rule-u koji je važio u trenutku kada su nastali.
Ako se rule promeni u aprilu, podaci iz januara ne postaju automatski pogrešni samo zato što ne prolaze aprilsku logiku.
Tada su važila druga poslovna pravila.
Istorijske podatke treba ponovo validirati samo kada postoji konkretan razlog da se nova logika primeni retroaktivno.
Svaki novi rule treba dodatno pratiti kada prvi put ode u produkciju.
Prvih mesec dana bih ga posmatrao mnogo pažljivije nego rule koji već dugo stabilno radi.
Previše false positive-a je upozorenje.
Propuštanje kritičnih slučajeva je upozorenje.
Ako poslovni korisnici kažu da kontrola ne odgovara stvarnom procesu, to je upozorenje.
Ako rule napravi neočekivan problem u downstream izveštajima ili KPI-jevima, i to je upozorenje.
Bilo koji od tih signala može da znači da rule mora nazad na doradu.
Nakon prvog meseca pojačanog praćenja, rule prelazi u standardni ciklus pregleda.
Za veliki broj pravila šestomesečni pregled može da bude razuman standard.
Ali životni ciklus svakog rule-a treba da bude zasnovan na riziku.
Kritičnije kontrole mogu zahtevati češće provere.
Manje rizični rule-ovi mogu da se proveravaju ređe.
A samu klasifikaciju rizika ne bi trebalo da određuje Data Governance samostalno.
Ona treba da bude rezultat saradnje sa Data Ownerima i poslovnim korisnicima koji najbolje razumeju šta može da se dogodi ako kontrola zakaže.
Postoji i još jedan razlog za pregled rule-a koji nema veze sa kalendarom.
Data Owner treba kontinuirano da prati biznis.
Ako se proces promeni sutra, nema razloga da se čeka još pet meseci do sledećeg planiranog pregleda.
Rule treba proveriti onda kada se promeni biznis.
To je njegov pravi životni ciklus.
Redovan pregled kada se ništa ne menja.
Vanredni pregled čim se nešto promeni.
Validation rule nije vredan zato što godinama radi.
Vredan je zato što i danas kontroliše pravi rizik.
Biznis može da se promeni.
Sistem može da se promeni.
Definicija može da se promeni.
I rule mora da ima mogućnost da se promeni zajedno sa njima.
Jer validation rule može da bude tehnički savršen i da ipak bude pogrešan ako biznis za koji je napravljen više ne postoji.



Comments