Účel politiky kvality dat
Politika kvality dat (Data Quality Policy) stanovuje závazná pravidla, odpovědnosti a metriky pro systematické zajišťování kvality dat napříč organizací. Hlavní cíle: spolehlivé rozhodování, soulad s regulací, interoperabilita mezi systémy a snížení nákladů na nekvalitní data (opakovaná práce, incidenty, reputační riziko). Politika je závazná pro všechny systémy, integrační toky a datové produkty (reporty, API, datové marty, datové sady publikované třetím stranám).
Rozsah a principy
- V rámci celé organizace: vztahuje se na kmenová data, referenční data, transakční data, analytické datové sady a nestrukturovaná data s metadaty.
- Přístup založený na riziku: úroveň kontrol odpovídá riziku dopadu na podnikání a regulatorní citlivosti.
- Odpovědnost u zdroje: kvalita se zajišťuje co nejblíže místu vzniku dat („shift-left“).
- Standardizace a opakovaná použitelnost: jednotné definice, datové standardy a knihovny validačních pravidel.
Role a odpovědnosti (RACI)
| Role | Odpovědnost | Příklady |
|---|---|---|
| Data Owner | R – odpovědnost za kvalitu a přístupová práva v doméně | Schvaluje pravidla, cíle kvality a rozpočet |
| Data Steward | A – správa metadat, definic a pravidel | Business glossary, pravidla DQ, workflow oprav |
| Data Custodian | C – technická správa datových platforem | Zajišťuje monitoring, katalog a lineage |
| Product/Report Owner | C/I – garantuje datový produkt | Definuje SLO/SLA datové sady a akceptační testy |
| Information Security & Compliance | C – kontrola souladu | GDPR, audit přístupů, retence |
| Data Governance Council | A – schvaluje standardy a politiku | Řídí změny standardů, řeší eskalované spory |
Dimenze kvality dat a metriky
- Správnost (Accuracy): odchylka od skutečnosti (externího či primárního zdroje); metrika: % záznamů bez chyby podle referenčního vzorku.
- Úplnost (Completeness): vyplnění povinných atributů; metrika: % neprázdných hodnot v povinných polích.
- Včasnost (Timeliness): prodleva od události do dostupnosti dat; metrika: latence P95, míra včasného doručení.
- Konzistence (Consistency): shoda napříč systémy a v čase; metrika: počet konfliktů u sdílených klíčů.
- Jedinečnost (Uniqueness): absence duplicit; metrika: podíl jedinečných podnikových klíčů.
- Validita (Validity): shoda s doménovými a formálními pravidly; metrika: % záznamů splňujících pravidla.
- Trasovatelnost (Traceability): dostupnost lineage a auditní stopy; metrika: % datových toků s úplnou lineage na úrovni sloupců.
Datové standardy – obecné zásady
- Definice metadat: každé pole má název, popis, datový typ, doménu hodnot, pravidla kvality, klasifikaci citlivosti a vlastníka.
- Jmenné konvence: jednotné pojmenování tabulek, sloupců, API a souborů; nejednoznačné zkratky jsou zakázány.
- Datové typy: upřednostňovat škálovatelné nativní typy (např.
DECIMAL(38, 6)pro finance,DATE/TIMESTAMP WITH TZpro čas). - Kódové sady: pro země ISO-3166, měny ISO-4217, jazyky ISO-639, časová pásma IANA; interní číselníky verzovat.
- Čas a lokalizace: ukládat v UTC s výslovně uvedeným časovým pásmem; data ve formátu ISO-8601.
Jmenné konvence (příklad)
# tabulky: <doména>__<objekt>__<granularita> sales__order__line # sloupce: snake_case, bez diakritiky customer_id, order_ts_utc, gross_amount, currency_code # soubory: kebab-case + datum customer-delta-2025-10-25.parquet # API: /v1/customers/{customer_id}
Standardy kvality: pravidla a prahové hodnoty
| Pravidlo | Popis | Prahová hodnota | Akce |
|---|---|---|---|
| COMPL_001 | Vyplněné povinné atributy zákazníka | ≥ 99,5 % | Varování při > 0,3 %, incident při > 0,5 % |
| VALID_010 | Formát e-mailu podle regulárního výrazu RFC | ≥ 99,0 % | Odmítnout ingest mimo whitelist |
| CONS_020 | Shoda currency_code s ISO-4217 | 100 % | Automatická oprava nebo odmítnutí |
| UNIQ_005 | Jedinečnost podnikového klíče (iban) | 100 % | Dedup pipeline, blokace duplicit |
| TIMEL_015 | Včasné doručení, P95 | ≤ 15 min | Eskalace po 1/4/8 h |
Datové smlouvy (Data Contracts)
Datová smlouva definuje schéma, sémantiku, kvalitu a SLO pro datový produkt či API. Zahrnuje kontaktní osoby, verze, politiku změn a chování při porušení (např. „fail-fast“ vs. „graceful degradation“). Smlouvy jsou verzované (SemVer) a zveřejněné v katalogu.
Verzování schémat a řízení změn
- Verzování: sémantické verzování (MAJOR.MINOR.PATCH). Zpětně nekompatibilní změny vyžadují nové endpointy/tabulky a migrační plán.
- Schema Registry: centralizovaná registrace schémat JSON/Avro/Protobuf; validace při ingestu a změnách.
- Change Control Board: schvaluje standardy a zásadní změny schémat; dopadová analýza se provádí prostřednictvím lineage.
Metadata, katalog a lineage
- Business glossary: jednotné definice metrik a pojmů; vazba na datové prvky a pravidla kvality.
- Technická metadata: zdroj, vlastník, klasifikace PII, retence, SLO, poslední aktualizace, náklady na využití.
- Lineage: mapování „zdroj → transformace → cílové pole“ na úrovni sloupců; automatizované z nástrojů ETL/ELT.
Řízení referenčních a kmenových dat (MDM/RDM)
- Model MDM: zlatý záznam (golden record), strategie „match-merge“, pravidla survivorship, workflow správy.
- RDM: centrální správa číselníků, verzování, publikace do integračních rozhraní; zákaz volného textu tam, kde má být použit kód.
Kontroly kvality v životním cyklu dat
- Vstupní kontroly (ingest): vynucení schématu, datové typy, povinná pole, domény hodnot, deduplikace podle klíčů.
- Procesní kontroly (transformace): referenční integrita, konzistence SCD, podniková pravidla.
- Výstupní kontroly (publikace): validace podle datové smlouvy, regresní testy metrik, KPI kvality.
Testování kvality a observabilita dat
- Jednotkové testy dat: testy pravidel na úrovni tabulek/sloupců (počet řádků, míra null hodnot, kontrola domény).
- Contract tests: kompatibilita schémat a SLO s odběrateli.
- Monitoring: detekce driftu distribucí, výkyvů objemů a změn vzorců (sezónnost, odlehlé hodnoty).
- Upozorňování: prahové hodnoty, runbooky a eskalace; evidence incidentů (ticketing) s metrikami MTTR/MTBF.
Řízení incidentů, náprava a prevence
- Workflow incidentů: nahlášení, třídění, dočasné zmírnění dopadů (např. backfill), analýza hlavní příčiny, post-mortem.
- Seznam úkolů pro kvalitu dat: položky seřazené podle priority a dopadu; čtvrtletní plán nápravných opatření.
- Prevence: validace „shift-left“ v UI/API, povinné referenční číselníky, linting transformací, kontrola pravidel kódu.
Bezpečnost a soulad
- Klasifikace dat: veřejná, interní, důvěrná, vysoce důvěrná; odpovídající šifrování a řízení přístupu.
- PII/PHI: minimalizace, pseudonymizace/tokenizace, dynamické maskování; audit přístupů a retence.
- Retenční politika: pravidla uchovávání a výmazu v souladu s právním titulem; zdokumentovaná výjimka = schválení.
Metriky, KPI a hodnoticí přehled kvality
| Kategorie | KPI | Cíl | Způsob reportingu |
|---|---|---|---|
| Kvalita | % splněných pravidel (souhrn) | ≥ 98 % | Měsíční hodnoticí přehled + upozornění při poklesu pod 95 % |
| Čerstvost | Míra včasného doručení | ≥ 99 % | V reálném čase v DCIM/monitoringu |
| Incidenty | MTTR (medián) | ≤ 8 h | Nástroj pro správu incidentů |
| Adopce | % datových sad s úplnou lineage | ≥ 90 % | Katalog/systém správy metadat |
Šablona pravidla kvality (policy pattern)
Id: VALID_030 Název: Validace IBAN Popis: Pole iban musí odpovídat normě ISO 13616 vč. kontrolní číslice Rozsah: Tabulka customer_account, sloupec iban Metrika: % validních záznamů Prahová hodnota: 100 % Akce při porušení: odmítnout záznam, vytvořit incident (závažnost: Medium) Vlastník: Data Owner – Finance Správce: Data Steward – Finance Implementace: knihovna dq_rules.v1.iban_check()
Standardy pro API a výměnu dat
- Formáty: upřednostňují se JSON/Avro/Parquet; CSV pouze s výslovnou specifikací oddělovače, uvozování a kódování UTF-8.
- Kontrakty: OpenAPI/AsyncAPI verzované a zveřejněné v katalogu; validace datových částí požadavků v gateway.
- Chybová hlášení: standardizovaná struktura (
code, message, details, correlation_id); neduplikovat PII.
Školení a kultura práce s daty
- Onboarding: povinné školení Data Governance, práce s katalogem, hlášení incidentů.
- Komunita odborníků: stewardi a analytici sdílejí knihovny pravidel a vzory.
- Motivace: KPI kvality dat zahrnuté v cílech doménových týmů.
Implementační roadmapa
- Inventura datových produktů a mapování kritických toků.
- Definice standardů (jmenné konvence, číselníky, typy) a minimální sady pravidel DQ pro kritické datové prvky.
- Nasazení katalogu, glossary, lineage a observability.
- Datové smlouvy pro prioritní produkty a nastavení SLO/SLA.
- Monitoring a hodnoticí přehled, workflow incidentů a čtvrtletní plán zlepšování.
Kontrolní seznam pro revizi politiky kvality dat
- Jsou pro každou doménu a datovou sadu určeny role (Owner/Steward)?
- Existuje business glossary a vazby na technická metadata?
- Jsou metriky kvality a prahové hodnoty stanoveny a měřeny?
- Má každý datový produkt datovou smlouvu a verzované schéma?
- Funguje správa incidentů s cílovými hodnotami MTTR a postupem post-mortem?
- Je zajištěn soulad (klasifikace PII, retence, audit přístupů)?
- Je zavedeno verzování číselníků a standardů s řízením změn?
- Jsou pravidla kvality implementována na vstupu i výstupu (shift-left & gatekeeping)?
Závěr
Politika kvality dat a datové standardy tvoří pevný rámec, který umožňuje měřitelně řídit kvalitu, snižovat rizika a urychlovat práci s daty. Úspěch závisí na jasně vymezených rolích, standardizovaných pravidlech, automatizovaném monitoringu a kultuře odpovědnosti. Organizace, které důsledně uplatňují datové standardy a metriky kvality, dosahují vyšší důvěry v data, nižších nákladů a rychlejších inovací.
