Ekosystém Big Data a role Hadoopu, Sparku a Kafky
Hadoop, Apache Spark a Apache Kafka patří mezi klíčové technologie moderní datové platformy. Hadoop poskytuje úložiště a dávkové zpracování ve velkém měřítku, Spark přináší výpočty orientované na paměť a jednotný analytický engine pro dávková i streamová data a Kafka slouží jako vysoce škálovatelná platforma pro streamování událostí, jejich ingest, přenos a zpracování v reálném čase. Tyto technologie se typicky nasazují společně v architekturách Lambda nebo Kappa a doplňují se o datové formáty (Parquet, ORC), metadatové vrstvy (Hive Metastore, Iceberg, Delta, Hudi) a nástroje pro orchestrace a správu (Airflow, Oozie, Kubernetes).
Hadoop: HDFS, YARN a MapReduce
- HDFS (Hadoop Distributed File System): distribuované, replikované úložiště velkých souborů optimalizované pro sekvenční čtení a zápis. Data se dělí na bloky (typicky 128–256 MB) a replikují (faktor 2–3+) napříč uzly, aby se zajistila odolnost proti výpadkům. Upřednostňuje koncept data locality – výpočty probíhají v blízkosti dat.
- YARN (Yet Another Resource Negotiator): plánovač zdrojů a běhové prostředí pro různé výpočetní frameworky (MapReduce, Spark, Tez, Flink). Odděluje správu clusteru od výpočetních modelů.
- MapReduce: dávkový paralelní model (fáze Map → Shuffle → Reduce), který dobře škáluje, ale je náročný na disk (mezivýsledky se ukládají na disk). Dnes se používá spíše pro ETL, kde není prioritou latence.
- Hive + Tez: SQL vrstvy nad HDFS; Tez nahrazuje MapReduce grafem DAG s menší režijní zátěží.
Apache Spark: paměťově orientovaný jednotný engine
- Abstrakce: RDD (nízkoúrovňová abstrakce, odolnost zajišťovaná pomocí lineage), DataFrame/Dataset (sloupcové, typově bohaté API), které využívají optimalizátor Catalyst a fyzické optimalizace Tungsten (off-heap paměť, generování kódu pro celé fáze).
- Moduly: Spark SQL (ANSI SQL, JDBC/ODBC), MLlib (strojové učení), GraphX (grafové výpočty), Structured Streaming (mikrodávkové a kontinuální zpracování streamů se sémantikou exactly-once prostřednictvím checkpointingu a idempotentních výstupních systémů).
- Režimy nasazení: Standalone, YARN, Kubernetes. Úlohy lze spouštět také v cloudových spravovaných službách (např. Dataproc/EMR/Azure HDInsight) nebo v plně spravovaných clusterech.
- Datové formáty a katalog: Parquet/ORC (sloupcové), Avro; metadatové vrstvy jako Apache Iceberg, Delta Lake nebo Apache Hudi přidávají ACID, cestování časem, vývoj schématu a efektivní operace upsert/merge-on-read.
Apache Kafka: streamování událostí a log zapisovaný na disk
- Architektura: brokers (uzly), topics (logy) rozdělené na partitions s replikací; klienti jsou producers a consumers. Konzumace probíhá v rámci consumer groups, což umožňuje horizontální škálování.
- Odolnost a výkon: sekvenční zápis, page cache, replikace (ISR). Retention policy podle času/velikosti/kompakce (log compaction) slouží k uchování poslední hodnoty klíče.
- Ekosystém: Kafka Connect (konektory pro databáze, souborové systémy, SaaS), Schema Registry (Avro/JSON/Protobuf s verzováním), Kafka Streams (vestavěná knihovna pro zpracování streamů) a streamovací procesory (Spark Structured Streaming, Flink).
- Konfigurace doručování: acks=all, idempotentní producenti, transakce pro zajištění sémantiky přesně jednoho zpracování (exactly-once) v rámci end-to-end pipeline.
Typické architektury: Lambda a Kappa
- Lambda: paralelní batch vrstva (Spark/Hive nad HDFS/objektovým úložištěm) a speed vrstva (Kafka → Spark/Flink) s výslednou obslužnou (serving) vrstvou (NoSQL, tabulky lakehouse). Výhoda: spolehlivé opravy prostřednictvím dávkových přepočtů; nevýhoda: složitost způsobená dvojím kódem.
- Kappa: jediná cesta zpracování streamů (Kafka jako zdroj pravdy), opětovné zpracování prostřednictvím topic replay. Nižší složitost, vysoké nároky na navrženou idempotenci a schémata.
Integrace Hadoopu, Sparku a Kafky v praxi
- Ingest: senzory/aplikace → Kafka (partition podle klíče/tenanta); schémata v Registry a pravidla kompatibility.
- Zpracování streamů: Spark Structured Streaming čte z Kafky (sémantika exactly-once s využitím checkpointu a transakcí), agreguje data a zapisuje je do tabulek Delta/Iceberg.
- Dávkové zpracování: pravidelné úlohy (Spark/Hive) nad datovým jezerem pro náročné transformace, trénink modelů a historické přepočty.
- Poskytování dat: BI přes SQL (Trino/Presto/Spark SQL), operativní API nad tabulkami, feature store pro ML.
Výkonové charakteristiky a škálování
- HDFS: škáluje lineárně přidáváním datových uzlů; propustnost roste se souběžností; počet souborů je omezen metadaty (NameNode). V praxi se upřednostňuje méně, zato větších souborů.
- Spark: výkon závisí na paměti a I/O. Zásadní jsou sloupcový formát + predicate pushdown, partition pruning, broadcast join u malých dimenzí a Adaptive Query Execution pro dynamické přizpůsobování plánů.
- Kafka: propustnost závisí na počtu partition, disku (NVMe), síti a kompresi (lz4, zstd). Příliš mnoho malých partition zvyšuje režijní zátěž řadičů/consumerů.
Formáty a tabulkové vrstvy: Parquet/ORC, Iceberg, Delta, Hudi
- Parquet/ORC: sloupcové formáty, komprese, statistiky, min/max, dictionary; ideální pro analytické úlohy.
- Iceberg/Delta/Hudi: správa metadat, snapshoty, cestování časem, ACID pro lakehouse. Výběr závisí na potřebách: merge-on-read (rychlé upserty) oproti copy-on-write (rychlé čtení), podporovaných enginech a správě dat.
Bezpečnost a správa dat
- Autentizace: Kerberos (Hadoop, Kafka), OAuth/OIDC (moderní brány), mTLS. V Kafce SASL/SCRAM/SASL-GSSAPI.
- Autorizace: Ranger/Sentry pro jemnozrnná oprávnění (tabulka/sloupec/řádek), Kafka ACL. Maskování a filtry na úrovni řádků.
- Šifrování: TLS při přenosu, šifrování uložených dat (HDFS TDE, KMS, cloud KMS). Rotace klíčů a auditní logy.
- Kvalita dat a lineage: Great Expectations/Deequ, OpenLineage/Marquez pro sledování datových toků.
Provoz a spolehlivost
- Monitorování: Prometheus/Grafana, metriky JMX (GC, executors, Kafka lag), SLA (time-to-insight, freshness).
- Odolnost: replikace (HDFS, Kafka), checkpointy (Spark), vzory exactly-once (idempotentní výstupní systémy, transakce).
- Orchestrace: Airflow/Dagster pro grafy DAG, správu závislostí, backfills a strategie retry s exponenciálním zpožděním.
- Kontejnerizace: nasazení Sparku a Kafky na Kubernetes (operátory), izolace zdrojů, automatické škálování.
Porovnání technologií: kdy co použít
| Scénář | Preferovaná technologie | Odůvodnění |
|---|---|---|
| Trvalé úložiště velkých datasetů | HDFS / objektové úložiště + Parquet/ORC | Škálovatelnost, sloupcové čtení, nízké náklady |
| Interaktivní SQL a dávkové ETL | Spark SQL | Optimalizace (Catalyst/Tungsten), široká konektivita |
| Ingest v reálném čase a integrace řízená událostmi | Kafka (+ Connect/Schema Registry) | Vysoká propustnost, retenční log, integrace |
| Streamové agregace a exactly-once | Spark Structured Streaming / Kafka Streams | Stavové operace, checkpointing, transakce |
| Upserty a ACID nad jezerem | Delta / Iceberg / Hudi | Tabulková vrstva s transakcemi a cestováním časem |
Návrhové vzory a anti-patterny
- Vzory: Event-carried state transfer (Kafka s kompakcí), Outbox + Debezium pro CDC, vrstva medallion (bronze/silver/gold) v jezeru, idempotentní výstupní systém s klíčem dedup.
- Anti-patterny: příliš mnoho malých souborů (problém malých souborů), nekontrolované wide dependencies ve Sparku (OOM během shuffle), globální broadcast obřích tabulek, Kafka topic s tisíci prázdnými partition.
Optimalizace úloh Spark
- Particionování: sladění s klíči joinů; salting pro eliminaci hotspotů.
- Strategie joinů: broadcast hash join pro malé dimenze; sort-merge join pro velké tabulky s vhodným partitioningem.
- Adaptive Query Execution (AQE): dynamická změna velikosti shuffle partitions, optimalizace skew join.
- Cache/persist: používat selektivně; vyvarovat se ukládání všeho do cache bez měření.
Osvědčené postupy pro Kafku
- Partitions a klíč: zvolit klíč, který rovnoměrně rozloží zátěž; počet partition dimenzovat podle plánovaného consumer parallelism.
- Konzistence: acks=all, idempotentní producenti, transakční zápisy pro atomické zápisy do více topiců.
- Schémata: povolit kompatibilitu backward/forward; schema registry jako jediný zdroj pravdy.
- Retence: kombinace časového a velikostního omezení a log compaction; sledovat úložiště a segmenty.
Správa dat, katalog a compliance
- Metadatový katalog: Atlas/Amundsen/DataHub – lineage, vlastnictví, klasifikace.
- Ochrana soukromí: pseudonymizace/šifrování citlivých sloupců, datové kontrakty pro události.
- Standardy: konvence pojmenování topiců/prefixů tabulek, verzování schémat a SLA kontrakty mezi týmy.
Migrace a modernizace
- Z MapReduce na Spark: převod pipeline na API DataFrame, zachování determinismu výpočtů, testy na vzorcích a odsouhlasení výsledků.
- Od monolitického ETL k architektuře řízené událostmi: CDC → Kafka → stream + tabulky lakehouse, postupný přechod s duálním zápisem (dual-write) a kontrolami read-after-write.
- Cloud-native: oddělení výpočetních zdrojů a úložiště (Spark nad objektovým úložištěm), automatické škálování, spot instance s tolerancí k předčasnému ukončení.
Ukazatele úspěchu a měření
- KPI datové platformy: time-to-data, freshness, spolehlivost pipeline (SLO), náklady na terabajt a na dotaz, poměr produktivity vývojářů a počtu incidentů.
- Metriky Kafky: zpoždění producentů/consumerů, stabilita ISR, latence požadavků, chybovost producentů/consumerů.
- Metriky Sparku: doba shuffle, spill na disk, využití paměti/CPU, poměr opakování fází, skew.
Závěr: společná strategie pro škálovatelnou datovou platformu
Hadoop poskytuje robustní úložiště a dávkové zpracování, Spark sjednocuje analytiku nad dávkovými i streamovými daty s vysokým výkonem a Kafka umožňuje spolehlivé a škálovatelné streamování událostí. Kombinací těchto technologií s moderní tabulkovou vrstvou (Iceberg/Delta/Hudi), kvalitní správou dat a zabezpečením lze vybudovat otevřenou a odolnou platformu lakehouse, která podporuje operativní reporting, pokročilou analytiku i skutečné případy užití v reálném čase. Klíčem je disciplinovaný návrh dat (schémata, kontrakty), osvědčené inženýrské postupy (particionování, idempotence, testování) a průběžné měření výkonu i kvality dat.
