Politika kvality dat a datové standardy: zajištění spolehlivosti

Politika kvality dat a datové standardy: Zajištění spolehlivosti

Účel politiky kvality dat

Politika kvality dat (Data Quality Policy) stanovuje závazná pravidla, odpovědnosti a metriky pro systematické zajišťování kvality dat napříč organizací. Hlavní cíle: spolehlivé rozhodování, soulad s regulací, interoperabilita mezi systémy a snížení nákladů na nekvalitní data (opakovaná práce, incidenty, reputační riziko). Politika je závazná pro všechny systémy, integrační toky a datové produkty (reporty, API, datové marty, datové sady publikované třetím stranám).

Rozsah a principy

  • V rámci celé organizace: vztahuje se na kmenová data, referenční data, transakční data, analytické datové sady a nestrukturovaná data s metadaty.
  • Přístup založený na riziku: úroveň kontrol odpovídá riziku dopadu na podnikání a regulatorní citlivosti.
  • Odpovědnost u zdroje: kvalita se zajišťuje co nejblíže místu vzniku dat („shift-left“).
  • Standardizace a opakovaná použitelnost: jednotné definice, datové standardy a knihovny validačních pravidel.

Role a odpovědnosti (RACI)

Role Odpovědnost Příklady
Data Owner R – odpovědnost za kvalitu a přístupová práva v doméně Schvaluje pravidla, cíle kvality a rozpočet
Data Steward A – správa metadat, definic a pravidel Business glossary, pravidla DQ, workflow oprav
Data Custodian C – technická správa datových platforem Zajišťuje monitoring, katalog a lineage
Product/Report Owner C/I – garantuje datový produkt Definuje SLO/SLA datové sady a akceptační testy
Information Security & Compliance C – kontrola souladu GDPR, audit přístupů, retence
Data Governance Council A – schvaluje standardy a politiku Řídí změny standardů, řeší eskalované spory

Dimenze kvality dat a metriky

  • Správnost (Accuracy): odchylka od skutečnosti (externího či primárního zdroje); metrika: % záznamů bez chyby podle referenčního vzorku.
  • Úplnost (Completeness): vyplnění povinných atributů; metrika: % neprázdných hodnot v povinných polích.
  • Včasnost (Timeliness): prodleva od události do dostupnosti dat; metrika: latence P95, míra včasného doručení.
  • Konzistence (Consistency): shoda napříč systémy a v čase; metrika: počet konfliktů u sdílených klíčů.
  • Jedinečnost (Uniqueness): absence duplicit; metrika: podíl jedinečných podnikových klíčů.
  • Validita (Validity): shoda s doménovými a formálními pravidly; metrika: % záznamů splňujících pravidla.
  • Trasovatelnost (Traceability): dostupnost lineage a auditní stopy; metrika: % datových toků s úplnou lineage na úrovni sloupců.

Datové standardy – obecné zásady

  • Definice metadat: každé pole má název, popis, datový typ, doménu hodnot, pravidla kvality, klasifikaci citlivosti a vlastníka.
  • Jmenné konvence: jednotné pojmenování tabulek, sloupců, API a souborů; nejednoznačné zkratky jsou zakázány.
  • Datové typy: upřednostňovat škálovatelné nativní typy (např. DECIMAL(38, 6) pro finance, DATE/TIMESTAMP WITH TZ pro čas).
  • Kódové sady: pro země ISO-3166, měny ISO-4217, jazyky ISO-639, časová pásma IANA; interní číselníky verzovat.
  • Čas a lokalizace: ukládat v UTC s výslovně uvedeným časovým pásmem; data ve formátu ISO-8601.

Jmenné konvence (příklad)

# tabulky: <doména>__<objekt>__<granularita> sales__order__line # sloupce: snake_case, bez diakritiky customer_id, order_ts_utc, gross_amount, currency_code # soubory: kebab-case + datum customer-delta-2025-10-25.parquet # API: /v1/customers/{customer_id}

Standardy kvality: pravidla a prahové hodnoty

Pravidlo Popis Prahová hodnota Akce
COMPL_001 Vyplněné povinné atributy zákazníka ≥ 99,5 % Varování při > 0,3 %, incident při > 0,5 %
VALID_010 Formát e-mailu podle regulárního výrazu RFC ≥ 99,0 % Odmítnout ingest mimo whitelist
CONS_020 Shoda currency_code s ISO-4217 100 % Automatická oprava nebo odmítnutí
UNIQ_005 Jedinečnost podnikového klíče (iban) 100 % Dedup pipeline, blokace duplicit
TIMEL_015 Včasné doručení, P95 ≤ 15 min Eskalace po 1/4/8 h

Datové smlouvy (Data Contracts)

Datová smlouva definuje schéma, sémantiku, kvalitu a SLO pro datový produkt či API. Zahrnuje kontaktní osoby, verze, politiku změn a chování při porušení (např. „fail-fast“ vs. „graceful degradation“). Smlouvy jsou verzované (SemVer) a zveřejněné v katalogu.

Verzování schémat a řízení změn

  • Verzování: sémantické verzování (MAJOR.MINOR.PATCH). Zpětně nekompatibilní změny vyžadují nové endpointy/tabulky a migrační plán.
  • Schema Registry: centralizovaná registrace schémat JSON/Avro/Protobuf; validace při ingestu a změnách.
  • Change Control Board: schvaluje standardy a zásadní změny schémat; dopadová analýza se provádí prostřednictvím lineage.

Metadata, katalog a lineage

  • Business glossary: jednotné definice metrik a pojmů; vazba na datové prvky a pravidla kvality.
  • Technická metadata: zdroj, vlastník, klasifikace PII, retence, SLO, poslední aktualizace, náklady na využití.
  • Lineage: mapování „zdroj → transformace → cílové pole“ na úrovni sloupců; automatizované z nástrojů ETL/ELT.

Řízení referenčních a kmenových dat (MDM/RDM)

  • Model MDM: zlatý záznam (golden record), strategie „match-merge“, pravidla survivorship, workflow správy.
  • RDM: centrální správa číselníků, verzování, publikace do integračních rozhraní; zákaz volného textu tam, kde má být použit kód.

Kontroly kvality v životním cyklu dat

  1. Vstupní kontroly (ingest): vynucení schématu, datové typy, povinná pole, domény hodnot, deduplikace podle klíčů.
  2. Procesní kontroly (transformace): referenční integrita, konzistence SCD, podniková pravidla.
  3. Výstupní kontroly (publikace): validace podle datové smlouvy, regresní testy metrik, KPI kvality.

Testování kvality a observabilita dat

  • Jednotkové testy dat: testy pravidel na úrovni tabulek/sloupců (počet řádků, míra null hodnot, kontrola domény).
  • Contract tests: kompatibilita schémat a SLO s odběrateli.
  • Monitoring: detekce driftu distribucí, výkyvů objemů a změn vzorců (sezónnost, odlehlé hodnoty).
  • Upozorňování: prahové hodnoty, runbooky a eskalace; evidence incidentů (ticketing) s metrikami MTTR/MTBF.

Řízení incidentů, náprava a prevence

  • Workflow incidentů: nahlášení, třídění, dočasné zmírnění dopadů (např. backfill), analýza hlavní příčiny, post-mortem.
  • Seznam úkolů pro kvalitu dat: položky seřazené podle priority a dopadu; čtvrtletní plán nápravných opatření.
  • Prevence: validace „shift-left“ v UI/API, povinné referenční číselníky, linting transformací, kontrola pravidel kódu.

Bezpečnost a soulad

  • Klasifikace dat: veřejná, interní, důvěrná, vysoce důvěrná; odpovídající šifrování a řízení přístupu.
  • PII/PHI: minimalizace, pseudonymizace/tokenizace, dynamické maskování; audit přístupů a retence.
  • Retenční politika: pravidla uchovávání a výmazu v souladu s právním titulem; zdokumentovaná výjimka = schválení.

Metriky, KPI a hodnoticí přehled kvality

Kategorie KPI Cíl Způsob reportingu
Kvalita % splněných pravidel (souhrn) ≥ 98 % Měsíční hodnoticí přehled + upozornění při poklesu pod 95 %
Čerstvost Míra včasného doručení ≥ 99 % V reálném čase v DCIM/monitoringu
Incidenty MTTR (medián) ≤ 8 h Nástroj pro správu incidentů
Adopce % datových sad s úplnou lineage ≥ 90 % Katalog/systém správy metadat

Šablona pravidla kvality (policy pattern)

Id: VALID_030 Název: Validace IBAN Popis: Pole iban musí odpovídat normě ISO 13616 vč. kontrolní číslice Rozsah: Tabulka customer_account, sloupec iban Metrika: % validních záznamů Prahová hodnota: 100 % Akce při porušení: odmítnout záznam, vytvořit incident (závažnost: Medium) Vlastník: Data Owner – Finance Správce: Data Steward – Finance Implementace: knihovna dq_rules.v1.iban_check()

Standardy pro API a výměnu dat

  • Formáty: upřednostňují se JSON/Avro/Parquet; CSV pouze s výslovnou specifikací oddělovače, uvozování a kódování UTF-8.
  • Kontrakty: OpenAPI/AsyncAPI verzované a zveřejněné v katalogu; validace datových částí požadavků v gateway.
  • Chybová hlášení: standardizovaná struktura (code, message, details, correlation_id); neduplikovat PII.

Školení a kultura práce s daty

  • Onboarding: povinné školení Data Governance, práce s katalogem, hlášení incidentů.
  • Komunita odborníků: stewardi a analytici sdílejí knihovny pravidel a vzory.
  • Motivace: KPI kvality dat zahrnuté v cílech doménových týmů.

Implementační roadmapa

  1. Inventura datových produktů a mapování kritických toků.
  2. Definice standardů (jmenné konvence, číselníky, typy) a minimální sady pravidel DQ pro kritické datové prvky.
  3. Nasazení katalogu, glossary, lineage a observability.
  4. Datové smlouvy pro prioritní produkty a nastavení SLO/SLA.
  5. Monitoring a hodnoticí přehled, workflow incidentů a čtvrtletní plán zlepšování.

Kontrolní seznam pro revizi politiky kvality dat

  • Jsou pro každou doménu a datovou sadu určeny role (Owner/Steward)?
  • Existuje business glossary a vazby na technická metadata?
  • Jsou metriky kvality a prahové hodnoty stanoveny a měřeny?
  • Má každý datový produkt datovou smlouvu a verzované schéma?
  • Funguje správa incidentů s cílovými hodnotami MTTR a postupem post-mortem?
  • Je zajištěn soulad (klasifikace PII, retence, audit přístupů)?
  • Je zavedeno verzování číselníků a standardů s řízením změn?
  • Jsou pravidla kvality implementována na vstupu i výstupu (shift-left & gatekeeping)?

Závěr

Politika kvality dat a datové standardy tvoří pevný rámec, který umožňuje měřitelně řídit kvalitu, snižovat rizika a urychlovat práci s daty. Úspěch závisí na jasně vymezených rolích, standardizovaných pravidlech, automatizovaném monitoringu a kultuře odpovědnosti. Organizace, které důsledně uplatňují datové standardy a metriky kvality, dosahují vyšší důvěry v data, nižších nákladů a rychlejších inovací.