Súbor robots.txt je jedným z najdôležitejších, no často podceňovaných nástrojov v rámci technickej SEO optimalizácie. Hoci ide len o jednoduchý textový súbor, dokáže ovplyvniť, ako vyhľadávače prechádzajú a indexujú váš web.
V tomto článku sa podrobne pozrieme na to, čo je súbor robots.txt, ako ho správne nastaviť, aké sú najbežnejšie pravidlá, ako fungujú príkazy Allow a Disallow, ako vytvoriť výnimky a či je vhodné uvádzať aj odkaz na sitemapu.
Čo je súbor robots.txt
Robots.txt je textový súbor umiestnený v koreňovom adresári webu (napríklad https://www.naturalcare.sk/robots.txt), ktorý slúži na usmernenie robotov vyhľadávačov, ako majú prechádzať a indexovať jednotlivé časti webu.
Je dôležité vedieť, že robots.txt nie je príkaz, ale odporúčanie. Funguje hlavne pre „slušné“ roboty ako Googlebot, ale nemusí byť rešpektovaný škodlivými botmi.
Základná syntax a príkazy
Súbor sa skladá z jednoduchých pravidiel, ktoré definujú, čo robot môže alebo nemôže navštíviť.
Základné príkazy:
-
User-agent – určuje, ktorého robota sa pravidlá týkajú
-
Disallow – zakazuje prístup na určitú URL alebo cestu
-
Allow – povoľuje prístup, aj keď by inak bol zakázaný
Príklad:
*User-agent: *
Disallow: /admin/
Allow: /admin/help.html
Toto pravidlo hovorí všetkým robotom (*), že nemajú pristupovať k adresáru /admin/, ale môžu navštíviť výnimku /admin/help.html.
Ako sa zapisujú výnimky
Výnimky sa tvoria kombináciou Disallow a Allow, kde špecifickejšie pravidlo má prednosť.
*User-agent: *
Disallow: /blog/
Allow: /blog/category/
V tomto prípade sa zablokuje celý blog okrem cesty /blog/category/.
Najčastejšie chyby v robots.txt
1. Omylom zablokovaný celý web:
*User-agent: *
Disallow: /
Toto úplne zablokuje prechádzanie celého webu robotmi.
2. Blokovanie CSS a JavaScript súborov:
Moderné vyhľadávače potrebujú načítať aj CSS a JS súbory, aby správne pochopili a vykreslili obsah. Neodporúča sa ich blokovať.
3. Neexistujúce cesty:
Pravidlá musia zodpovedať skutočným URL na webe. Ak zadáš napríklad /backend/, ale taká cesta neexistuje, pravidlo nemá žiadny efekt.
Odporúčané nastavenia pre rôzne platformy
WordPress
*User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search
Sitemap: https://www.naturalcare.sk/sitemap.xml
Prečo takto?
-
Blokovanie administračného rozhrania
-
Povolenie admin-ajax.php, ktorý využívajú viaceré funkcie na stránke
-
Blokovanie interného vyhľadávania, ktoré často vytvára duplicitné URL
-
Pridaná sitemap pre lepšiu indexáciu
Shopify
Shopify má predvolený robots.txt, ktorý je dobre nastavený, ale od roku 2021 ho je možné upravovať cez súbor robots.txt.liquid.
WooCommerce a Magento
Rovnaké princípy ako pri WordPress:
-
Blokuj košík a pokladňu
-
Neindexuj filtrované alebo sortované URL
-
Ponechaj prístup k CSS/JS a sitemapám
Sitemap v súbore robots.txt
Sitemap: https://www.naturalcare.sk/sitemap.xml
Uvedenie odkazu na sitemapu v súbore robots.txt je odporúčané. Aj keď ju vyhľadávače môžu nájsť automaticky, týmto spôsobom im to výrazne uľahčíš.
Ak máš viac sitemap (napr. pre produkty, blog, kategórie), môžeš ich uviesť všetky:
Sitemap: https://www.naturalcare.sk/sitemap-products.xml
Sitemap: https://www.naturalcare.sk/sitemap-blog.xml
Kde umiestniť robots.txt
Súbor musí byť dostupný v koreňovom adresári:
-
Správne: https://www.naturalcare.sk/robots.txt
-
Nesprávne: https://www.naturalcare.sk/folder/robots.txt
Ako testovať robots.txt
Odporúčané nástroje:
-
Google Search Console – nástroj na testovanie robots.txt
-
Screaming Frog SEO Spider – otestuje, čo robot vidí a čo je blokované
-
Ručné overenie – otvor súbor v prehliadači na https://www.naturalcare.sk/robots.txt
Best practices – odporúčania
-
Povoliť prístup k CSS, JS, obrázkom a ďalším statickým súborom
-
Nezabudnúť odstrániť Disallow: / po spustení produkčného webu
-
Pravidelne kontrolovať, čo je blokované
-
Pridať sitemapu do súboru
-
Na zamedzenie indexácie použiť noindex, nie Disallow
Správne nastavený robots.txt môže pomôcť vyhľadávačom efektívnejšie prechádzať tvoj web, znížiť zaťaženie servera a zabrániť indexácii neželaných častí stránky. Je to jednoduchý súbor s veľkým vplyvom – a keď ho nastavíš správne, tvoje SEO ti poďakuje.
Ak chcete efektívne implementovať SEO stratégie a dosiahnuť maximálne výsledky, neváhajte sa obrátiť na digitálnu agentúru Consultee. Od roku 2013 pomáhame e-shopom rásť a naša expertíza v oblasti SEO siaha až do roku 2000. S našimi dlhoročnými skúsenosťami vieme presne, ako nastaviť stratégiu, ktorá vás posunie pred konkurenciu a zabezpečí vám dlhodobý úspech v online svete.
Komentáre
Zverejnenie komentára