Lokální A/B testy: proč záleží na geografii
V lokálním GEO (optimalizaci pro geografické vyhledávání) optimalizujeme nabídky, CTA (výzvy k akci) a pracovní dobu tak, aby zohledňovaly specifika regionů, mikrooblastí a denních rytmů. Klasické A/B testy na úrovni celé země často přehlížejí lokální heterogenitu – rozdíly v kupní síle, mobilitě, počasí či kulturních zvyklostech. Lokální testování umožňuje rychle zjistit, které varianty fungují „tady a teď“, a škálovat je s minimálním rizikem kanibalizace.
Experimentální jednotka a randomizace v prostoru
- Jednotka: pobočka, PSČ, mřížková dlaždice (např. S2/Quadkeys), městská část, doručovací zóna.
- Randomizace: přiřaďte varianty A/B na úroveň jednotky, nikoli jednotlivce, abyste omezili spillover mezi uživateli na stejném místě.
- Stratifikace: před randomizací seskupte jednotky podle prediktorů (návštěvnost, tržby, demografie, historická sezónnost) a randomizujte v rámci strat.
- Kontrola interference: minimalizujte kontakty mezi A a B (nárazníkové zóny, nesousedící dlaždice, odlišné komunikační kanály).
Předtestová kalibrace: CUPED a předtestové období
Ke zvýšení citlivosti testu použijte CUPED (redukci rozptylu) s metrikami z předtestového období. U každé jednotky změřte výkon v období T–k před testem (návštěvnost, konverze, obrat). V samotném testu upravte odhady pomocí kovariáty z předtestového období. Výsledkem je menší potřebný vzorek a kratší testy.
Formáty lokálních A/B testů nabídek
- Cenová nabídka: A = −10 %, B = 2+1 zdarma; segmentace podle cenové elasticity (historické reakce na slevy).
- Bundling: A = samostatné produkty, B = lokální balíček (např. „městská svačina + káva“).
- Hyperlokální pobídky: A = obecná sleva, B = „po 17:00 v deštivých dnech −15 %“ (vazba na počasí a čas).
- Geofencing: A = bez cílení, B = do 500 m od pobočky s vyšším stropem CPA.
Formáty A/B testů CTA
- Jazyk a tón: A = „Objednejte online“, B = „Vyzvedněte si za 15 minut“ (CTA citlivé na blízkost).
- Časová CTA: A = statický text, B = „Máme otevřeno ještě 45 minut“ (odpočítávání do zavírací doby).
- Doprava a dostupnost: A = obecný odkaz, B = „Zobrazit trasu (X min pěšky)“ – zobrazuje aktuální dobu cesty.
- Varianty pro mikrooblasti: obchodní čtvrť vs. rezidenční zóna – odlišný důvod návštěvy (oběd vs. večerní vyzvednutí).
Testování pracovní doby a „daypartingu“
Optimalizace otevírací doby je účinnou pákou pro ovlivnění tržeb i nákladů. Testujte:
- Dřívější otevření (např. o 30 minut ráno) v kancelářských zónách během pracovních dnů.
- Pozdější zavření v pátek/sobotu v zábavních čtvrtích.
- Mikropřestávky v méně vytížených časových úsecích (např. 14:30–15:00) kvůli úspoře nákladů, pokud tím neutrpí SLA.
- Sezónní přechody (letní vs. zimní režim) – testy s přechodnými obdobími a kontrolou vlivu dovolených.
Metodika: návrh testu krok za krokem
- Definujte cíl: míra konverze, AOV, tržby za hodinu, návštěvnost pobočky, SLA (doba vyřízení), NPS.
- Zvolte jednotku: pobočka/PSČ/dlaždice; ověřte dostupnost dat v reálném čase.
- Spárujte „dvojčata“ (párování podle podobnosti) na základě předtestového období; v každém páru přiřaďte A vs. B.
- Určete délku testu: celé týdny, zahrňte stejné dny v týdnu; vyhněte se „neúplným“ víkendům.
- Stanovte ochranné ukazatele: minimální tržby, maximální nárůst čekací doby, limity compliance.
- Sledujte průběžné metriky bez zkreslení průběžným nahlížením do výsledků (Bayesovské monitorování nebo alpha spending).
Statistické přístupy: frequentistický vs. Bayesovský
- Frequentistický: dvouvýběrový t-test/GLM s robustními standardními chybami klastrovanými podle jednotky; korekce na vícenásobné testování (Holm, Benjamini–Hochberg).
- Bayesovský: posteriorní rozdělení rozdílu efektů s ROPE (oblastí praktické ekvivalence) a pravděpodobností, že B > A alespoň o δ.
- Geo-lift: model založený na syntetické kontrole (SCM) pro testy, u nichž je mediální/OOH expozice pouze v části geografických oblastí.
Výpočet velikosti vzorku a síly testu
U konverzí při lokálních testech je variabilita napříč jednotkami větší než na individuální úrovni. Použijte design effect (DEFF):
- DEFF ≈ 1 + (m − 1)ρ, kde m je průměrný počet pozorování na jednotku a ρ intraklastrová korelace (ICC).
- Upravte požadovanou velikost vzorku: nefektivní = n × DEFF.
- Při malém počtu jednotek upřednostněte párovaný design a normalizaci před/po (CUPED).
Měřené metriky a ochranné KPI
| Kategorie | Primární metrika | Ochranný ukazatel | Poznámka |
|---|---|---|---|
| Nabídky | Konverze/1 000 zobrazení | Marže ≥ X % | Kontrolujte kanibalizaci prodeje za plnou cenu |
| CTA | CTR → CVR → AOV | SLA ≤ Y min | Řetězec metrik: kliknutí → nákup → hodnota |
| Pracovní doba | Tržby za hodinu | Náklady za hodinu ≤ cíl | Vyhodnocujte samostatně podle „denních částí“ |
| Lokální signály | Návštěvnost provozovny, kliknutí v mapách | Spokojenost/NPS | Oddělte šum související se značkou (OOH, akce) |
Dayparting a časová granularita
- Části dne: ráno (6–11), oběd (11–14), odpoledne (14–17), večer (17–21), noc (21–24).
- Interakce: testujte varianty × části dne; účinky CTA jsou často časově specifické.
- Kalendářní efekty: pátek ≠ pondělí; do modelu zahrňte fixní efekty dne v týdnu.
Externí proměnné: počasí, mobilita, události
Kontrolujte vliv exogenních faktorů pomocí kovariát:
- Počasí: srážky, teplota, výstrahy – silné interakce s nabídkami v oblasti jídla a nápojů (F&B) a večerními časy.
- Mobilita: výluky MHD, dopravní zácpy, festivaly.
- Kalendář: svátky, prázdniny, místní jarmarky.
Implementační vzory pro digitální kanály
- Lokální vstupní stránky: /mesto/pobocka – varianty nabídek a CTA navázané na geo cookie/GPS/IP.
- Mapové widgety: CTA „Navigovat“ vs. „Objednat online“ podle vzdálenosti < X min.
- Schema.org:
LocalBusinesss přesnýmiopeningHoursSpecification; samostatné testy úryvků „Open now“. - Rozšíření reklam: rozšíření o lokalitu vs. rozšíření o volání – A/B podle části dne.
Offline integrace: pobočka a výloha
- Výloha: A = obecná promoakce, B = lokální nabídka + QR → lokální stránka.
- Menu board: A = stejné ceny, B = dynamická cena v méně vytížených časových úsecích (pravidla jasně zobrazte).
- Personál: scénář CTA – A = „Mohu vám pomoci?“, B = „Hledáte rychlé vyzvednutí?“ – měření pomocí štítků POS.
Analytika: atribuce a geo-lift
- Modely návštěv prodejen (SV): kombinujte digitální imprese s návštěvami – obezřetně s ohledem na zkreslení.
- Geo-lift: porovnání tržeb v testovacích a kontrolních geografických buňkách s vážením podle předtestového období.
- Kontrolní zóny: vždy ponechte 5–10 % geografických oblastí jako dlouhodobou kontrolní skupinu pro kalibraci modelů.
Interpretace výsledků a heterogenita efektů
Místo jediného „průměrného“ efektu vykazujte heterogenitu:
- Podle části dne, podle městské části, podle počasí.
- Segmenty podle přírůstkového efektu: kde B > A, kde B ≈ A (ROPE), kde B < A – pravidla pro nasazení/vrácení změny.
- Q–Q grafy tržeb poboček: odhalí extrémy a geografické odlehlé hodnoty.
Nasazení a správa
- Postupné nasazení: 20 % → 50 % → 100 % geografických oblastí; sledujte ochranné ukazatele.
- Konfigurace jako kód: otevírací doba, CTA a nabídky v centrální konfigurační vrstvě (příznaky funkcí, geografická pravidla).
- Auditní stopa: kdo co změnil, kdy a pro které geografické oblasti (v souladu s požadavky compliance).
Právní, etické a UX zásady
- Transparentnost: dynamické ceny a odlišné nabídky mezi pobočkami musí být jasně komunikovány.
- Spravedlnost: nevyužívejte znevýhodněné lokality k agresivním testům bez přínosu pro zákazníka.
- Přístupnost: CTA a informace o otevírací době musí být přístupné (kontrast, jazyk, jednoduché ikony).
Kontrolní seznam: připravenost na lokální A/B test
- Jsou definovány jednotky a nárazníkové zóny pro minimalizaci spilloveru?
- Jsou připraveny párování podle podobnosti a kovariáty CUPED?
- Jsou nastaveny ochranné metriky a pravidla pro zastavení?
- Jsou zahrnuty části dne a fixní kalendářní efekty?
- Je zajištěno zaznamenávání variant v POS/analytice a auditní stopa?
- Existuje plán nasazení/vrácení změny a komunikace s pobočkami?
Příklady hypotéz pro nabídky, CTA a pracovní dobu
| Oblast | Hypotéza | Metrika | Segment |
|---|---|---|---|
| Nabídka | „Balíček Oběd+Nápoj“ zvýší CVR o ≥ 12 % v obchodní zóně | CVR, AOV | 11:00–14:00, pracovní dny |
| CTA | „Vyzvedněte si za 15 min“ zvýší CTR o ≥ 8 % do vzdálenosti 1 km | CTR → CVR | Mobilní zařízení, vzdálenost ≤ 1 km |
| Otevírací doba | Pozdější zavření o 30 min zvýší tržby za hodinu o ≥ 10 % | Tržby/h, SLA | Pátek–sobota, centrum |
Anti-vzory a nejčastější chyby
- Průběžné nahlížení do výsledků a předčasné závěry: průběžné zastavování bez kontrolovaného alpha spendingu.
- Míchání jednotek: část testu na pobočkách, část na individuálních cookies – výsledky jsou nesrovnatelné.
- Ignorování kalendáře: test pouze o víkendu, závěr se uplatní na pracovní dny.
- Nezdokumentované změny: místní personál změní výlohu/scénář bez záznamu.
Pokročilé techniky: MAB a hierarchické modely
- Multi-armed bandit (MAB): po počáteční exploraci přidělujte více návštěvnosti lepším variantám; vhodné ve stabilních podmínkách.
- Hierarchické Bayesovské modely: společné rozdělení efektů s „partial poolingem“ mezi geografickými oblastmi – přesnější odhady pro malé pobočky.
- Kauzální lesy/modelování přírůstkového efektu: identifikace segmentů s největším kauzálním přínosem.
Reporting pro zainteresované strany
- Efekt v absolutních číslech (€/týden/pobočka) i v procentech.
- Heterogenita a mapy: heatmapa přírůstkového efektu podle městských částí.
- ROAS/ROMI s rozdělením na náklady na personál a slevy.
- Doporučení pro nasazení/vrácení změny a plán dalšího testu.
Lokální A/B testy odhalují přesnost, kterou globální průměry skrývají. Kombinace důsledné geografické randomizace, daypartingu, kontrolních kovariát a disciplinovaného reportingu umožňuje zavádět nabídky, CTA a pracovní dobu, které respektují realitu konkrétních ulic – a přinášejí měřitelný, reprodukovatelný zisk.
