Preskočiť na hlavný obsah

Robots.txt – Kompletný sprievodca nastavením pre SEO a rôzne platformy

Autor: Martin Drdák

Súbor robots.txt je jedným z najdôležitejších, no často podceňovaných nástrojov v rámci technickej SEO optimalizácie. Hoci ide len o jednoduchý textový súbor, dokáže ovplyvniť, ako vyhľadávače prechádzajú a indexujú váš web.

V tomto článku sa podrobne pozrieme na to, čo je súbor robots.txt, ako ho správne nastaviť, aké sú najbežnejšie pravidlá, ako fungujú príkazy Allow a Disallow, ako vytvoriť výnimky a či je vhodné uvádzať aj odkaz na sitemapu.

Čo je súbor robots.txt

Robots.txt je textový súbor umiestnený v koreňovom adresári webu (napríklad https://www.naturalcare.sk/robots.txt), ktorý slúži na usmernenie robotov vyhľadávačov, ako majú prechádzať a indexovať jednotlivé časti webu.

Je dôležité vedieť, že robots.txt nie je príkaz, ale odporúčanie. Funguje hlavne pre „slušné“ roboty ako Googlebot, ale nemusí byť rešpektovaný škodlivými botmi.

Základná syntax a príkazy

Súbor sa skladá z jednoduchých pravidiel, ktoré definujú, čo robot môže alebo nemôže navštíviť.

Základné príkazy:

  • User-agent – určuje, ktorého robota sa pravidlá týkajú

  • Disallow – zakazuje prístup na určitú URL alebo cestu

  • Allow – povoľuje prístup, aj keď by inak bol zakázaný

Príklad:

*User-agent: *
Disallow: /admin/
Allow: /admin/help.html

Toto pravidlo hovorí všetkým robotom (*), že nemajú pristupovať k adresáru /admin/, ale môžu navštíviť výnimku /admin/help.html.

Ako sa zapisujú výnimky

Výnimky sa tvoria kombináciou Disallow a Allow, kde špecifickejšie pravidlo má prednosť.

*User-agent: *
Disallow: /blog/
Allow: /blog/category/

V tomto prípade sa zablokuje celý blog okrem cesty /blog/category/.

Najčastejšie chyby v robots.txt

1. Omylom zablokovaný celý web:

*User-agent: *
Disallow: /

Toto úplne zablokuje prechádzanie celého webu robotmi.

2. Blokovanie CSS a JavaScript súborov:

Moderné vyhľadávače potrebujú načítať aj CSS a JS súbory, aby správne pochopili a vykreslili obsah. Neodporúča sa ich blokovať.

3. Neexistujúce cesty:

Pravidlá musia zodpovedať skutočným URL na webe. Ak zadáš napríklad /backend/, ale taká cesta neexistuje, pravidlo nemá žiadny efekt.

Odporúčané nastavenia pre rôzne platformy

WordPress

*User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search
Sitemap: https://www.naturalcare.sk/sitemap.xml

Prečo takto?

  • Blokovanie administračného rozhrania

  • Povolenie admin-ajax.php, ktorý využívajú viaceré funkcie na stránke

  • Blokovanie interného vyhľadávania, ktoré často vytvára duplicitné URL

  • Pridaná sitemap pre lepšiu indexáciu

Shopify

Shopify má predvolený robots.txt, ktorý je dobre nastavený, ale od roku 2021 ho je možné upravovať cez súbor robots.txt.liquid.

WooCommerce a Magento

Rovnaké princípy ako pri WordPress:

  • Blokuj košík a pokladňu

  • Neindexuj filtrované alebo sortované URL

  • Ponechaj prístup k CSS/JS a sitemapám

Sitemap v súbore robots.txt

Sitemap: https://www.naturalcare.sk/sitemap.xml

Uvedenie odkazu na sitemapu v súbore robots.txt je odporúčané. Aj keď ju vyhľadávače môžu nájsť automaticky, týmto spôsobom im to výrazne uľahčíš.

Ak máš viac sitemap (napr. pre produkty, blog, kategórie), môžeš ich uviesť všetky:

Sitemap: https://www.naturalcare.sk/sitemap-products.xml
Sitemap: https://www.naturalcare.sk/sitemap-blog.xml

Kde umiestniť robots.txt

Súbor musí byť dostupný v koreňovom adresári:

  • Správne: https://www.naturalcare.sk/robots.txt

  • Nesprávne: https://www.naturalcare.sk/folder/robots.txt

Ako testovať robots.txt

Odporúčané nástroje:

  • Google Search Console – nástroj na testovanie robots.txt

  • Screaming Frog SEO Spider – otestuje, čo robot vidí a čo je blokované

  • Ručné overenie – otvor súbor v prehliadači na https://www.naturalcare.sk/robots.txt

Best practices – odporúčania

  • Povoliť prístup k CSS, JS, obrázkom a ďalším statickým súborom

  • Nezabudnúť odstrániť Disallow: / po spustení produkčného webu

  • Pravidelne kontrolovať, čo je blokované

  • Pridať sitemapu do súboru

  • Na zamedzenie indexácie použiť noindex, nie Disallow

Správne nastavený robots.txt môže pomôcť vyhľadávačom efektívnejšie prechádzať tvoj web, znížiť zaťaženie servera a zabrániť indexácii neželaných častí stránky. Je to jednoduchý súbor s veľkým vplyvom – a keď ho nastavíš správne, tvoje SEO ti poďakuje.


Ak chcete efektívne implementovať SEO stratégie a dosiahnuť maximálne výsledky, neváhajte sa obrátiť na digitálnu agentúru Consultee. Od roku 2013 pomáhame e-shopom rásť a naša expertíza v oblasti SEO siaha až do roku 2000. S našimi dlhoročnými skúsenosťami vieme presne, ako nastaviť stratégiu, ktorá vás posunie pred konkurenciu a zabezpečí vám dlhodobý úspech v online svete.

Menovky:

Komentáre

Zverejnenie komentára

Obľúbené príspevky z tohto blogu

10 bodov z kontrolného zoznamu vášho e-mail marketingu pred začiatkom vianočnej sezóny

Autor: Martin Drdák
Príprava na vianočnú sezónu je v e-mail marketingu kľúčovým obdobím, kedy sa každá chyba alebo nedostatok môže odraziť na celkových výsledkoch kampaní. Správna stratégia e-mail marketingu podporená kvalitnými dátami a dôkladnou marketingovou automatizáciou vám môže priniesť nárast predajov aj vysokú spokojnosť zákazníkov. Prinášame vám 10 bodov, ktoré by nemali chýbať v kontrolnom zozname pred začiatkom vianočnej sezóny. 1. Vyčistenie databázy kontaktov Pred sezónou je nevyhnutné skontrolovať a vyčistiť databázu e-mailových kontaktov. Odfiltrovanie neaktívnych používateľov, starých alebo neoverených e-mailov vám pomôže zvýšiť mieru doručiteľnosti a znížiť riziko, že vaše e-maily skončia v spam priečinku. Zamerajte sa najmä na tých príjemcov, ktorí dlhodobo neotvárali e-maily – zvážte, či má zmysel ich osloviť špeciálnou reaktivačnou kampaňou, alebo ich radšej úplne odstrániť z databázy. 2. Segmentácia kontaktov podľa dát z predchádzajúceho roka Analyzujte údaje z minuloročnej v...
Zverejnenie komentára
Čítať ďalej

EM na každý deň -💡TIP 273: Ako použiť countdown časovače v e-mail marketingu a kedy prinášajú najväčší efekt?

Autor: Martin Drdák
Countdown časovače (odpočítavanie) v e-mailoch sú vizuálnym prvkom, ktorý ukazuje, koľko času zostáva do konca ponuky, akcie alebo zľavy. Vytvárajú pocit naliehavosti a prirodzene motivujú konať rýchlejšie. Fungujú najmä pri časovo obmedzených kampaniach – napríklad pri výpredaji, doručení do Vianoc alebo posledných hodinách platnosti kupónu. Najlepšie výsledky prinášajú v momente, keď sú prepojené s jasným benefitom. Časovač musí byť umiestnený viditeľne – ideálne hneď pri hlavnom CTA (call-to-action), teda pri tlačidle na nákup alebo registráciu. Overené je, že vizuál pohybujúceho sa času zvyšuje mieru preklikov a zároveň posilňuje dôveryhodnosť obmedzenej ponuky. Oplatí sa ich testovať a merať. Niekedy stačí countdown počas posledných 24 hodín kampane, inokedy ho má zmysel zobraziť hneď od začiatku. Správne nastavený časovač dokáže zrýchliť rozhodovanie a výrazne zvýšiť konverzie. FAQ: Countdown časovače v e-mailoch 1) Čo je countdown časovač v e-mail marketingu? Je to dynamic...
Zverejnenie komentára
Čítať ďalej

EM na každý deň -💡TIP 276: Ako personalizovať vizuálne prvky v e-mailoch pre vyššiu zapamätateľnosť?

Autor: Martin Drdák
Personalizácia v e-mail marketingu sa dnes netýka iba textu, ale aj vizuálov. Obrázky prispôsobené segmentu publika vedia zvýšiť zapamätateľnosť kampane a podporiť konverzie. Ak napríklad e-shop ponúka oblečenie, zákazník v segmente „muži“ ocení iné vizuály ako zákazníčka v segmente „ženy“. Výhodou personalizovaných obrázkov je, že komunikácia pôsobí prirodzenejšie a menej masovo. E-maily sa vďaka tomu nestratia v preplnenej schránke a dokážu vyvolať dojem, že značka rozumie konkrétnym potrebám. Aj malé rozdiely – iná farba produktu, prispôsobený banner či iný vizuálový štýl – majú významný dopad. Prakticky to znamená, že vizuálne prvky sa generujú alebo vyberajú podľa segmentu (napríklad podľa pohlavia, histórie nákupov alebo záujmov). Automatizované systémy na e-mail marketing to umožňujú nastaviť tak, aby každý príjemca videl práve to, čo je preňho najbližšie. My v Consultee tento prístup klientom pravidelne odporúčame. Personalizované vizuály prinášajú vyššiu mieru prekli...
Zverejnenie komentára
Čítať ďalej