Technologie pro big data: Hadoop, Spark a Kafka pro distribuované zpracování

Technologie pro Big Data: Hadoop, Spark a Kafka pro distribuované zpracování

Ekosystém Big Data a role Hadoopu, Sparku a Kafky

Hadoop, Apache Spark a Apache Kafka patří mezi klíčové technologie moderní datové platformy. Hadoop poskytuje úložiště a dávkové zpracování ve velkém měřítku, Spark přináší výpočty orientované na paměť a jednotný analytický engine pro dávková i streamová data a Kafka slouží jako vysoce škálovatelná platforma pro streamování událostí, jejich ingest, přenos a zpracování v reálném čase. Tyto technologie se typicky nasazují společně v architekturách Lambda nebo Kappa a doplňují se o datové formáty (Parquet, ORC), metadatové vrstvy (Hive Metastore, Iceberg, Delta, Hudi) a nástroje pro orchestrace a správu (Airflow, Oozie, Kubernetes).

Hadoop: HDFS, YARN a MapReduce

  • HDFS (Hadoop Distributed File System): distribuované, replikované úložiště velkých souborů optimalizované pro sekvenční čtení a zápis. Data se dělí na bloky (typicky 128–256 MB) a replikují (faktor 2–3+) napříč uzly, aby se zajistila odolnost proti výpadkům. Upřednostňuje koncept data locality – výpočty probíhají v blízkosti dat.
  • YARN (Yet Another Resource Negotiator): plánovač zdrojů a běhové prostředí pro různé výpočetní frameworky (MapReduce, Spark, Tez, Flink). Odděluje správu clusteru od výpočetních modelů.
  • MapReduce: dávkový paralelní model (fáze Map → Shuffle → Reduce), který dobře škáluje, ale je náročný na disk (mezivýsledky se ukládají na disk). Dnes se používá spíše pro ETL, kde není prioritou latence.
  • Hive + Tez: SQL vrstvy nad HDFS; Tez nahrazuje MapReduce grafem DAG s menší režijní zátěží.

Apache Spark: paměťově orientovaný jednotný engine

  • Abstrakce: RDD (nízkoúrovňová abstrakce, odolnost zajišťovaná pomocí lineage), DataFrame/Dataset (sloupcové, typově bohaté API), které využívají optimalizátor Catalyst a fyzické optimalizace Tungsten (off-heap paměť, generování kódu pro celé fáze).
  • Moduly: Spark SQL (ANSI SQL, JDBC/ODBC), MLlib (strojové učení), GraphX (grafové výpočty), Structured Streaming (mikrodávkové a kontinuální zpracování streamů se sémantikou exactly-once prostřednictvím checkpointingu a idempotentních výstupních systémů).
  • Režimy nasazení: Standalone, YARN, Kubernetes. Úlohy lze spouštět také v cloudových spravovaných službách (např. Dataproc/EMR/Azure HDInsight) nebo v plně spravovaných clusterech.
  • Datové formáty a katalog: Parquet/ORC (sloupcové), Avro; metadatové vrstvy jako Apache Iceberg, Delta Lake nebo Apache Hudi přidávají ACID, cestování časem, vývoj schématu a efektivní operace upsert/merge-on-read.

Apache Kafka: streamování událostí a log zapisovaný na disk

  • Architektura: brokers (uzly), topics (logy) rozdělené na partitions s replikací; klienti jsou producers a consumers. Konzumace probíhá v rámci consumer groups, což umožňuje horizontální škálování.
  • Odolnost a výkon: sekvenční zápis, page cache, replikace (ISR). Retention policy podle času/velikosti/kompakce (log compaction) slouží k uchování poslední hodnoty klíče.
  • Ekosystém: Kafka Connect (konektory pro databáze, souborové systémy, SaaS), Schema Registry (Avro/JSON/Protobuf s verzováním), Kafka Streams (vestavěná knihovna pro zpracování streamů) a streamovací procesory (Spark Structured Streaming, Flink).
  • Konfigurace doručování: acks=all, idempotentní producenti, transakce pro zajištění sémantiky přesně jednoho zpracování (exactly-once) v rámci end-to-end pipeline.

Typické architektury: Lambda a Kappa

  • Lambda: paralelní batch vrstva (Spark/Hive nad HDFS/objektovým úložištěm) a speed vrstva (Kafka → Spark/Flink) s výslednou obslužnou (serving) vrstvou (NoSQL, tabulky lakehouse). Výhoda: spolehlivé opravy prostřednictvím dávkových přepočtů; nevýhoda: složitost způsobená dvojím kódem.
  • Kappa: jediná cesta zpracování streamů (Kafka jako zdroj pravdy), opětovné zpracování prostřednictvím topic replay. Nižší složitost, vysoké nároky na navrženou idempotenci a schémata.

Integrace Hadoopu, Sparku a Kafky v praxi

  • Ingest: senzory/aplikace → Kafka (partition podle klíče/tenanta); schémata v Registry a pravidla kompatibility.
  • Zpracování streamů: Spark Structured Streaming čte z Kafky (sémantika exactly-once s využitím checkpointu a transakcí), agreguje data a zapisuje je do tabulek Delta/Iceberg.
  • Dávkové zpracování: pravidelné úlohy (Spark/Hive) nad datovým jezerem pro náročné transformace, trénink modelů a historické přepočty.
  • Poskytování dat: BI přes SQL (Trino/Presto/Spark SQL), operativní API nad tabulkami, feature store pro ML.

Výkonové charakteristiky a škálování

  • HDFS: škáluje lineárně přidáváním datových uzlů; propustnost roste se souběžností; počet souborů je omezen metadaty (NameNode). V praxi se upřednostňuje méně, zato větších souborů.
  • Spark: výkon závisí na paměti a I/O. Zásadní jsou sloupcový formát + predicate pushdown, partition pruning, broadcast join u malých dimenzí a Adaptive Query Execution pro dynamické přizpůsobování plánů.
  • Kafka: propustnost závisí na počtu partition, disku (NVMe), síti a kompresi (lz4, zstd). Příliš mnoho malých partition zvyšuje režijní zátěž řadičů/consumerů.

Formáty a tabulkové vrstvy: Parquet/ORC, Iceberg, Delta, Hudi

  • Parquet/ORC: sloupcové formáty, komprese, statistiky, min/max, dictionary; ideální pro analytické úlohy.
  • Iceberg/Delta/Hudi: správa metadat, snapshoty, cestování časem, ACID pro lakehouse. Výběr závisí na potřebách: merge-on-read (rychlé upserty) oproti copy-on-write (rychlé čtení), podporovaných enginech a správě dat.

Bezpečnost a správa dat

  • Autentizace: Kerberos (Hadoop, Kafka), OAuth/OIDC (moderní brány), mTLS. V Kafce SASL/SCRAM/SASL-GSSAPI.
  • Autorizace: Ranger/Sentry pro jemnozrnná oprávnění (tabulka/sloupec/řádek), Kafka ACL. Maskování a filtry na úrovni řádků.
  • Šifrování: TLS při přenosu, šifrování uložených dat (HDFS TDE, KMS, cloud KMS). Rotace klíčů a auditní logy.
  • Kvalita dat a lineage: Great Expectations/Deequ, OpenLineage/Marquez pro sledování datových toků.

Provoz a spolehlivost

  • Monitorování: Prometheus/Grafana, metriky JMX (GC, executors, Kafka lag), SLA (time-to-insight, freshness).
  • Odolnost: replikace (HDFS, Kafka), checkpointy (Spark), vzory exactly-once (idempotentní výstupní systémy, transakce).
  • Orchestrace: Airflow/Dagster pro grafy DAG, správu závislostí, backfills a strategie retry s exponenciálním zpožděním.
  • Kontejnerizace: nasazení Sparku a Kafky na Kubernetes (operátory), izolace zdrojů, automatické škálování.

Porovnání technologií: kdy co použít

Scénář Preferovaná technologie Odůvodnění
Trvalé úložiště velkých datasetů HDFS / objektové úložiště + Parquet/ORC Škálovatelnost, sloupcové čtení, nízké náklady
Interaktivní SQL a dávkové ETL Spark SQL Optimalizace (Catalyst/Tungsten), široká konektivita
Ingest v reálném čase a integrace řízená událostmi Kafka (+ Connect/Schema Registry) Vysoká propustnost, retenční log, integrace
Streamové agregace a exactly-once Spark Structured Streaming / Kafka Streams Stavové operace, checkpointing, transakce
Upserty a ACID nad jezerem Delta / Iceberg / Hudi Tabulková vrstva s transakcemi a cestováním časem

Návrhové vzory a anti-patterny

  • Vzory: Event-carried state transfer (Kafka s kompakcí), Outbox + Debezium pro CDC, vrstva medallion (bronze/silver/gold) v jezeru, idempotentní výstupní systém s klíčem dedup.
  • Anti-patterny: příliš mnoho malých souborů (problém malých souborů), nekontrolované wide dependencies ve Sparku (OOM během shuffle), globální broadcast obřích tabulek, Kafka topic s tisíci prázdnými partition.

Optimalizace úloh Spark

  • Particionování: sladění s klíči joinů; salting pro eliminaci hotspotů.
  • Strategie joinů: broadcast hash join pro malé dimenze; sort-merge join pro velké tabulky s vhodným partitioningem.
  • Adaptive Query Execution (AQE): dynamická změna velikosti shuffle partitions, optimalizace skew join.
  • Cache/persist: používat selektivně; vyvarovat se ukládání všeho do cache bez měření.

Osvědčené postupy pro Kafku

  • Partitions a klíč: zvolit klíč, který rovnoměrně rozloží zátěž; počet partition dimenzovat podle plánovaného consumer parallelism.
  • Konzistence: acks=all, idempotentní producenti, transakční zápisy pro atomické zápisy do více topiců.
  • Schémata: povolit kompatibilitu backward/forward; schema registry jako jediný zdroj pravdy.
  • Retence: kombinace časového a velikostního omezení a log compaction; sledovat úložiště a segmenty.

Správa dat, katalog a compliance

  • Metadatový katalog: Atlas/Amundsen/DataHub – lineage, vlastnictví, klasifikace.
  • Ochrana soukromí: pseudonymizace/šifrování citlivých sloupců, datové kontrakty pro události.
  • Standardy: konvence pojmenování topiců/prefixů tabulek, verzování schémat a SLA kontrakty mezi týmy.

Migrace a modernizace

  • Z MapReduce na Spark: převod pipeline na API DataFrame, zachování determinismu výpočtů, testy na vzorcích a odsouhlasení výsledků.
  • Od monolitického ETL k architektuře řízené událostmi: CDC → Kafka → stream + tabulky lakehouse, postupný přechod s duálním zápisem (dual-write) a kontrolami read-after-write.
  • Cloud-native: oddělení výpočetních zdrojů a úložiště (Spark nad objektovým úložištěm), automatické škálování, spot instance s tolerancí k předčasnému ukončení.

Ukazatele úspěchu a měření

  • KPI datové platformy: time-to-data, freshness, spolehlivost pipeline (SLO), náklady na terabajt a na dotaz, poměr produktivity vývojářů a počtu incidentů.
  • Metriky Kafky: zpoždění producentů/consumerů, stabilita ISR, latence požadavků, chybovost producentů/consumerů.
  • Metriky Sparku: doba shuffle, spill na disk, využití paměti/CPU, poměr opakování fází, skew.

Závěr: společná strategie pro škálovatelnou datovou platformu

Hadoop poskytuje robustní úložiště a dávkové zpracování, Spark sjednocuje analytiku nad dávkovými i streamovými daty s vysokým výkonem a Kafka umožňuje spolehlivé a škálovatelné streamování událostí. Kombinací těchto technologií s moderní tabulkovou vrstvou (Iceberg/Delta/Hudi), kvalitní správou dat a zabezpečením lze vybudovat otevřenou a odolnou platformu lakehouse, která podporuje operativní reporting, pokročilou analytiku i skutečné případy užití v reálném čase. Klíčem je disciplinovaný návrh dat (schémata, kontrakty), osvědčené inženýrské postupy (particionování, idempotence, testování) a průběžné měření výkonu i kvality dat.