Automatizace technických auditů pomocí skriptů v Pythonu: příklady a knihovny

Technické SEO a strukturovaná data
Eva Senková
Automatizácia technických auditov pomocou Python skriptov: Príklady a knižnice

Proč automatizovat technické audity (v kontextu technického SEO a výkonu)

Technické SEO a výkonnost webu jsou dynamické disciplíny, v nichž se stav infrastruktury, šablon, směrování a obsahu mění prakticky neustále. Manuální audity jsou pomalé, neškálovatelné a náchylné k chybám. Automatizované skripty umožňují průběžné monitorování kritických metrik (indexovatelnost, vykreslování, rychlost, dostupnost) a rychlé odhalení regresí. Zkracují tak dobu mezi incidentem a nápravou, zvyšují spolehlivost dat a poskytují opakovatelné výsledky.

Základní principy návrhu auditovacích skriptů

  • Determinističnost: stejný vstup musí vést ke stejnému výstupu; skripty verzujte a uzamkněte jejich závislosti.
  • Idempotence: opakované spuštění nesmí poškodit stav (např. zbytečně zatížit server).
  • Škálování: paralelizace s limity (rate limiting), dávkování a mechanismy opakovaných pokusů.
  • Observabilita: podrobné logování, metriky, kontroly stavu a jasné chybové stavy.
  • Bezpečnost a etika: respektování souboru robots.txt, hlaviček, legislativy a interních zásad zatěžování.

Referenční architektura: od zdroje URL po report

  1. Zdroj URL: sitemap.xml, export z CMS, logy, databáze, API, vzorkování z GSC.
  2. Vrstva crawl/fetch: asynchronní provoz s limity, podpora HTTP/2 a správa cookies/hlaviček.
  3. Vykreslování: prerender (HTML), headless vykreslování pro JS (např. Puppeteer) u vybraných šablon.
  4. Analytika a validace: parsování DOM, ověření pravidel SEO, měření výkonu (CWV, TTFB).
  5. Ukládání dat: objektové úložiště (JSON/Parquet), relační databáze (agregace), data lake.
  6. Upozornění a reporty: prahové hodnoty → oznámení; denní/týdenní výstupy HTML nebo CSV.

Výběr technologií a knihoven

  • Python: httpx/requests (fetch), aiohttp (async), lxml/BeautifulSoup (parsování), pydantic (validace), pandas (agregace).
  • Node.js: Puppeteer/Playwright (vykreslování), cheerio (parsování HTML), got (HTTP), yargs (CLI).
  • Bash/CLI: curl, jq, grep, vhodné pro jednoduché kontroly v CI.
  • Měření výkonu: Lighthouse CLI, WebPageTest API, PageSpeed Insights API pro dávkové spouštění.
  • Ukládání a BI: SQLite/PostgreSQL, BigQuery; vizualizace v Metabase/Grafana.

Sestavení seznamu URL (pokrytí, vzorkování a priorita)

Ideální audit pracuje s reprezentativní množinou URL a prioritizací podle dopadu. Pro úplný crawling použijte indexy sitemap, u rozsáhlých webů kombinujte:

  • Stratifikované vzorkování: podle typu šablony (kategorie, detail, blog, filtrace).
  • Rizikové clustery: nově nasazené šablony, A/B testy, oblasti s historií chyb.
  • Vážení podle návštěvnosti: URL s nejvyšší návštěvností/počtem konverzí kontrolujte častěji.

Kontroly indexovatelnosti a směrování

  • Stavové kódy HTTP: 2xx, řetězce 3xx, 4xx/5xx; délka řetězení, detekce smyček.
  • robots.txt a meta robots (noindex, nofollow, max-snippet, max-image-preview).
  • Konzistence značek canonical (odkazování na sebe sama, mezi doménami, duplicity způsobené parametry).
  • Hreflang: správně propojené páry, zpětné odkazy, regionální kódy, konzistence s kanonickou URL.
  • Sitemap(y): dostupnost, velikost, lastmod, pokrytí v porovnání se skutečností, osamocené stránky.

Kontroly vykreslování a JavaScriptu

  • Prerender vs. vykreslování na straně klienta: přítomnost klíčového obsahu v HTML před spuštěním JS.
  • Hydratace a lazy-load: ověření, že přístup k důležitému obsahu není podmíněn interakcí.
  • Strukturovaná data: validace JSON-LD, přítomnost povinných polí pro rozšířené výsledky.

Výkon a Core Web Vitals v automatizaci

Automatizace musí sledovat metriky LCP, INP, CLS spolu s TTFB, velikostí HTML, počtem požadavků a zásadami cachování. Pro zajištění srovnatelnosti používejte konzistentní emulované podmínky (ať už Lighthouse CLI, nebo syntetické testy se stejnými profily throttlingu).

Metrika Doporučený práh Úroveň upozornění
LCP (pomalé připojení) < 2.5 s > 3.0 s
INP < 200 ms > 300 ms
CLS < 0.10 > 0.15
TTFB < 0.8 s > 1.2 s
Počet požadavků < 60 > 90

Audit médií a distribuční vrstvy

  • Formáty obrázků (WebP/AVIF), správné hodnoty sizes a srcset, lazy-load obsahu nad přehybem stránky.
  • Komprese (Brotli/Gzip), HTTP/2/3, CDN cache-control, ETag a stale-while-revalidate.
  • Video: preload="metadata", titulky, adaptivní datový tok, poster.

Praktické validátory a testy, které se vyplatí skriptovat

  • Testy stavových kódů a přesměrování: maximálně 1–2 přesměrování, bez řetězení na externí domény.
  • Canonical a duplicitní clustery: hash HTML/hlavních bloků, porovnání title a H1, identifikace kanonických skupin.
  • Matice hreflang: generování matice jazyk ↔ URL, ověření reciprocity a regionálních párů.
  • Direktivy robots: parsování X-Robots-Tag a meta značek, kontrola rozporů se sitemap a interním prolinkováním.
  • Strukturovaná data: schémata Product/Article/Breadcrumb/FAQ; přehled chybějících povinných polí.
  • Interní odkazy: hustota, hloubka kliknutí, detekce osamocených stránek, zacyklení navigace.
  • Bezpečnostní hlavičky: Content-Security-Policy, HSTS, X-Frame-Options, Referrer-Policy.

Implementační vzory (náčrty skriptů bez závislosti na frameworku)

1) Paralelní fetch s limitem (Python):

urls = load_urls()
sem = asyncio.Semaphore(10)
async def fetch(url):
  async with sem: resp = await client.get(url, timeout=20)
  return { "url": url, "status": resp.status, "ttfb": resp.elapsed.total_seconds() }
results = await asyncio.gather(*(fetch(u) for u in urls))

2) Kontrola vykresleného prvku (Node + Playwright):

for (const url of urls) {
 const page = await browser.newPage();
 await page.goto(url, { waitUntil: "networkidle" });
 const hasLd = await page.locator('script[type="application/ld+json"]').count();
 report(url, hasLd > 0);
}

3) Rychlá kontrola přesměrování (Bash):

while read url; do curl -I -s -L "$url" | grep -E "HTTP/|Location"; done < urls.txt

Propojení s CI/CD a plánováním

  • CI pipelines: spouštějte podmnožinu auditů při každém sloučení do main (např. kontrolu 404, přesměrování, strukturovaných dat).
  • CRON/plánovače: noční kompletní běhy s agregovanými reporty; hodinové smoke testy.
  • Feature flagy: rozlišujte produkční a testovací prostředí pomocí proměnných prostředí a seznamů povolených hostitelů.

Upozornění, prahové hodnoty a eskalace

Každou metriku propojte s prahem a trendem. Příklady:

  • Podíl 5xx > 0.5% za posledních 30 minut → upozornění úrovně High.
  • Průměrná hodnota LCP se mezidenně zhorší o > 15% → Warning + vytvoření úkolu v ticketovacím systému.
  • Nárůst počtu 404 u nové šablony o > 20 URL → okamžitá eskalace vývojářům.

Strukturování a verzování dat z auditů

Ukládejte nezpracované (raw) výsledky (raději JSON než CSV), k nim normalizované (normalized) tabulky (např. pages, requests, metrics) a odvozené (derived) agregace (denní KPI). Dodržujte verzované schéma:

  • schema_version v každém záznamu.
  • collected_at, runtime_env (ID úlohy CI, commit SHA), tool_version.

Metodika prioritizace zjištění

Přiřaďte skóre dopadu: Impact × Confidence × Ease. Například chyba 5xx na /checkout má vysoký Impact, Confidence je vysoká (více měření), Ease nízká (snadná oprava); výsledné skóre posune úkol na začátek backlogu.

Nejčastější úskalí a jak se jim vyhnout

  • Příliš agresivní crawl: nastavte concurrency a backoff podle zatížení serveru.
  • Nekonzistentní prostředí: uzamkněte verze nástrojů a používejte kontejnery.
  • Falešně pozitivní nálezy: ověřte zjištění pomocí druhého nástroje nebo manuálně na vzorku.
  • Ignorování vykreslování JS: u šablon závislých na JS vždy spouštějte kontrolu v headless režimu.

Automatizace mezinárodních webů

  • Validace hreflang pro všechny jazykové páry, detekce chybějících regionálních verzí.
  • Geografické varianty a přesměrování podle Accept-Language – testujte s různými hlavičkami.
  • Konzistence kanonických URL napříč doménami (ccTLD vs. podadresář/poddoména).

Reportování pro zainteresované strany

Vytvořte dvě vrstvy reportů: technické (podrobné CSV/JSON s řádkovými daty) a manažerské (HTML dashboard s KPI, trendy a prioritizovanými doporučeními). Každé zjištění by mělo obsahovat: popis, důkaz (URL/hlavičky/snímek), riziko, návrh řešení, odpovědnou osobu (owner) a SLA.

Kontrolní seznam pro první nasazení

  • Definovaný vzorek URL a šablon, pravidla zatěžování a identifikátor User-Agent.
  • Kontejnery s pevně stanovenými verzemi nástrojů, tajné údaje spravované prostřednictvím secrets manageru.
  • Úložiště dat a retenční politika, oprávnění a přístupové logy.
  • Prahové hodnoty metrik a příjemci upozornění, zkušební scénáře fire drill.

Mini playbook: od incidentu k nápravě

  1. Skript detekuje anomálii (např. nárůst 5xx).
  2. Spustí upozornění s přílohou (výběr URL, vzorky logů, graf trendu).
  3. Vytvoří ticket s prioritou a přiřazením; připojí poslední commit, který měnil šablonu.
  4. Po opravě spustí ověřovací běh a uzavře incident s měřitelným zlepšením.

Pokročilé techniky a heuristiky

  • Detekce duplicitního obsahu: shingle/MinHash nad textem, porovnání metadat a kanonických adres.
  • Audit link equity: výpočet interního PageRanku z grafu odkazů, identifikace slepých míst.
  • Rozdíly v době vykreslování: porovnání HTML před/po JS pro odhalení skrytého obsahu.
  • Monitorování změn: porovnání DOM u klíčových šablon po nasazení.

Automatizované technické audity pomocí skriptů mění reaktivní manuální procesy na předvídatelnou kontrolu kvality založenou na datech. Správně navržené skripty s jasnými prahovými hodnotami, stabilní infrastrukturou a inteligentním vzorkováním umožňují rychleji odhalovat chyby, konzistentně měřit výkon a poskytovat smysluplná doporučení – a to v rozsahu, který by manuální postupy neumožňovaly.