Robots.txt a meta directives: jemné ladenie crawl-u. Praktické príklady pravidiel, kedy použiť noindex, nofollow a ako zabrániť blokovaniu dôležitých zdrojov.
Značka: crawl-delay
Robots.txt a meta directives: jemné ladenie crawl-u. Praktické príklady pravidiel, kedy použiť noindex, nofollow a ako zabrániť blokovaniu dôležitých zdrojov.