Knihovny Pandas, NumPy a Matplotlib v praxi: datová věda

Knihovny Pandas, NumPy a Matplotlib v praxi: Datová věda

Proč právě NumPy, Pandas a Matplotlib

Ekosystém jazyka Python pro práci s daty stojí na třech pilířích: NumPy (numerické výpočty a pole), Pandas (tabulková data a datové rámce) a Matplotlib (vizualizace). Společně pokrývají celý proces od načítání a čištění dat přes agregace a vektorové výpočty až po přehledné grafy a reporting. V praxi je často doplňují Jupyter, SciPy, Seaborn či Plotly, zvládnutí trojice NumPy–Pandas–Matplotlib je však minimem pro efektivní datovou analytiku i produkční datové aplikace.

NumPy: vektorové výpočty a paměťově efektivní pole

ndarray je homogenní vícerozměrné pole s definovaným dtype (např. float64, int32). Vektorové operace jsou implementovány v jazycích C a Fortran, což přináší řádově vyšší výkon než iterace v čistém Pythonu.

  • Vytváření polí: np.array([1,2,3]), np.zeros((n,m)), np.arange(0, 10, 0.5), np.linspace(0,1,100).
  • Vektorizace: y = a*x + b pro celé vektory bez smyček; broadcasting zarovnává tvary podle pravidel (přidáním rozměrů o délce jedna).
  • Agregace: x.mean(axis=0), x.std(ddof=1), np.percentile(x, [5,95]).
  • Indexování a výřezy: booleovská maska x[x > 0], pokročilé indexování x[np.ix_(rows, cols)].
  • U-Funcs: univerzální funkce (np.log, np.exp, np.where) pracující po jednotlivých prvcích s podporou parametrů out a masek where.

Pandas: datové rámce jako páteř analytiky

DataFrame (tabulka) a Series (sloupec) přidávají nad NumPy index, pojmenované sloupce a bohatou sadu operací pro manipulaci s heterogenními daty. Pandas umí pracovat s časem, kategoriemi i chybějícími hodnotami a je ideální pro přípravu datových sad před modelováním či vizualizací.

  • Načítání dat: pd.read_csv("data.csv"), read_parquet, read_sql, read_excel, read_json.
  • Výběr a filtrování: df[["col1","col2"]], df.loc[mask, "col"], df.iloc[:, :3].
  • Transformace: assign() pro nové sloupce, rename(), astype(), clip(), fillna().
  • Agregace: groupby(["k1","k2"]).agg({"x":"mean","y":"sum"}), pivot_table(values="v", index="i", columns="c", aggfunc="mean").
  • Join/Merge: pd.merge(left, right, on="id", how="left"), concat pro skládání tabulek pod sebe či vedle sebe.

Datové typy, chybějící hodnoty a kategorické proměnné

Správná práce s dtype výrazně ovlivňuje výkon i využití paměti:

  • Číselné typy: pro celá čísla s NaN upřednostňujte Int32/Int64 s podporou chybějících hodnot; Float32 šetří paměť (pozor na přesnost).
  • Řetězce: string (typ pandas) s podporou operací .str a hodnot NA.
  • Kategorie: astype("category") pro sloupce s malým počtem unikátních hodnot – úspora paměti a rychlejší groupby.
  • Chybějící hodnoty: df.fillna({"col":0}), df.dropna(subset=["x"]), interpolate() u časových řad.

Index, třídění a převzorkování

  • Index: nastavte smysluplný klíč df.set_index("id", inplace=True) – zrychlí operace loc a spojování.
  • Třídění: sort_values(["date","user"], ascending=[True,False]), sort_index() pro rychlé vyhledávání.
  • Čas: pd.to_datetime(df["ts"]), převzorkování df.resample("5min").agg({"x":"mean"}), posuny shift(), okna rolling().

Skupinové operace a okna

groupby a rolling slouží k výpočtu agregací i pokročilých metrik:

  • Agregace: df.groupby("segment")["revenue"].sum(), více agregací najednou pomocí .agg().
  • Transformace: normalizace v rámci skupiny: df["z"] = df.groupby("segment")["x"].transform(lambda s: (s - s.mean())/s.std()).
  • Okna: klouzavé průměry a percentily df["ma7"] = df["y"].rolling(7, min_periods=1).mean().

Výkon: vektorizace, apply versus numba a paměť

  • Upřednostňujte vektorizaci: operace se sloupci či řádky jsou řádově rychlejší než smyčky v Pythonu.
  • Vyhýbejte se apply nad řádky: df.apply(f, axis=1) je pohodlné, ale pomalé. Lepší je rozložit funkci na operace se sloupci nebo použít np.where/np.select.
  • Numba: pro výpočetně náročné numerické jádro lze použít @njit nad poli NumPy a výsledky následně promítnout zpět do DataFrame.
  • Paměť: df.memory_usage(deep=True), zúžení typu (pd.to_numeric(x, downcast="integer")), výběr sloupců při načítání.

Čtení a zápis: CSV, Parquet, SQL

  • CSV: univerzální, ale textový formát – pomalejší a náročnější na paměť. Pro vyšší rychlost používejte dtype a usecols.
  • Parquet: sloupcový komprimovaný formát – rychlé čtení vybraných sloupců a zachování typů (doporučeno pro analytické pracovní postupy).
  • SQL: read_sql(query, conn), to_sql s if_exists="append", dávkové zpracování pomocí chunksize.

Matplotlib: od rychlého náhledu k produkčnímu grafu

Matplotlib je nízkoúrovňová knihovna s explicitní kontrolou nad osami, měřítky i anotacemi. Pro rychlé náhledy často stačí DataFrame.plot() (interně využívá Matplotlib), pro publikace je vhodné pracovat přímo s pyplot a objekty Figure/Axes.

  • Základ: import matplotlib.pyplot as plt, fig, ax = plt.subplots(), ax.plot(x, y), ax.set_title("…"), ax.set_xlabel("…").
  • Typy grafů: plot (časové řady), bar/barh (kategorické hodnoty), hist (rozdělení), scatter (korelace), boxplot/violinplot (variabilita).
  • Osy a měřítka: ax.set_yscale("log"), ax.grid(True), ax.legend(), formátování značek osy pro datum pomocí matplotlib.dates.
  • Export: plt.savefig("graf.png", dpi=200, bbox_inches="tight") pro tiskovou kvalitu.

Časté vizualizační vzory v praxi

  • Dashboard časových řad: více metrik nad společnou osou X; pozor na sekundární osy – používejte je střídmě.
  • Rozdělení a anomálie: histogram + KDE (v Matplotlib pomocí hist a ručního výpočtu hustoty v NumPy), boxplot pro identifikaci odlehlých hodnot.
  • Segmentace: groupby v Pandas a rozdělení do více panelů Axes pro srovnání kategorií.

Propojení: Pandas → NumPy → Matplotlib

Pandas je postavený na NumPy, proto je převod přímočarý: df["x"].to_numpy() předáte Matplotlibu či Numbě. Typický postup: načtení a čištění v Pandas → extrakce polí pro numerické výpočty v NumPy → vizualizace v Matplotlib. Díky tomu lze oddělit přípravu dat od numerického jádra a prezentace.

Praktické minirecepty

  • Normalizace sloupců: df[cols] = (df[cols] - df[cols].mean()) / df[cols].std(ddof=0).
  • Podmíněné přiřazení: df["flag"] = np.where((df["x"]>10)&(df["y"].notna()), 1, 0).
  • Klouzavé metriky: df["drawdown"] = (df["value"]/df["value"].cummax() - 1), df["ma20"] = df["value"].rolling(20).mean().
  • Rychlé kontingenční tabulky: pd.crosstab(df["seg"], df["state"], values=df["revenue"], aggfunc="sum").

Testování, reprodukovatelnost a pipeline

  • Determinismus: nastavte počáteční hodnotu generátoru np.random.default_rng(42).
  • Validace: kontrolujte tvary a rozsahy, df.describe(), vlastní asserty (assert df["x"].ge(0).all()).
  • Pipeline: rozdělte kroky (načtení → čištění → tvorba příznaků → vizualizace) do funkcí či tříd, aby je bylo možné snadno nasadit do produkce (Airflow, Prefect, Dagster).

Škálování: data větší než dostupná paměť a paralelizace

U dat, která se nevejdou do RAM, zvažte nástroje pro zpracování dat mimo paměť a distribuované zpracování (Dask, Polars, Spark). Matplotlib lze používat i v dávkových skriptech bez grafického rozhraní (backend Agg). Vždy měřte a profilujte: I/O často omezuje výpočet více než CPU.

Časté antipatterny a jak se jim vyhnout

  • Iterace po řádcích: nahraďte je vektorizací; pokud to není možné, použijte NumPy/Numba a teprve poté výsledky mapujte zpět.
  • Nespolehlivé typy: implicitní typ object u čísel zpomalí vše – vždy použijte astype pro nastavení správného dtype.
  • Chybějící index: při slučování velkých tabulek se nespoléhejte na výchozí nastavení – určete klíče, třídění a případně použijte kategoriální typy.
  • Graf bez kontextu: vždy popište osy, jednotky i zdroj dat a uveďte nejistotu (např. intervaly spolehlivosti).

Checklist osvědčených postupů

  • Po načtení dat opravte typy (to_datetime, astype, kategorie) a odstraňte nepotřebné sloupce.
  • Pro mezikroky a sdílení mezi týmy upřednostňujte Parquet.
  • V Pandas používejte assign, pipe a pojmenované kroky pro lepší čitelnost.
  • V NumPy stavte na vektorizaci a broadcastingu; vyhýbejte se smyčkám v Pythonu.
  • V Matplotlib pracujte s objekty Figure/Axes, pojmenovávejte osy, přidejte legendu a mřížku a ukládejte s bbox_inches="tight".

Závěr

Trojice NumPy–Pandas–Matplotlib poskytuje robustní a prověřený základ pro většinu datových úloh v Pythonu. NumPy nabízí rychlé numerické jádro, Pandas přidává ergonomii tabulek a bohaté možnosti transformace a Matplotlib zajišťuje univerzální vizualizace. Osvojení vektorového přístupu, správné práce s datovými typy a důslednost při tvorbě vizualizací zvyšují efektivitu i kvalitu výstupů – od průzkumné analýzy po produkční datové aplikace.