Preskočiť na hlavný obsah

Robots.txt – Kompletný sprievodca nastavením pre SEO a rôzne platformy

Autor: Martin Drdák

Súbor robots.txt je jedným z najdôležitejších, no často podceňovaných nástrojov v rámci technickej SEO optimalizácie. Hoci ide len o jednoduchý textový súbor, dokáže ovplyvniť, ako vyhľadávače prechádzajú a indexujú váš web.

V tomto článku sa podrobne pozrieme na to, čo je súbor robots.txt, ako ho správne nastaviť, aké sú najbežnejšie pravidlá, ako fungujú príkazy Allow a Disallow, ako vytvoriť výnimky a či je vhodné uvádzať aj odkaz na sitemapu.

Čo je súbor robots.txt

Robots.txt je textový súbor umiestnený v koreňovom adresári webu (napríklad https://www.naturalcare.sk/robots.txt), ktorý slúži na usmernenie robotov vyhľadávačov, ako majú prechádzať a indexovať jednotlivé časti webu.

Je dôležité vedieť, že robots.txt nie je príkaz, ale odporúčanie. Funguje hlavne pre „slušné“ roboty ako Googlebot, ale nemusí byť rešpektovaný škodlivými botmi.

Základná syntax a príkazy

Súbor sa skladá z jednoduchých pravidiel, ktoré definujú, čo robot môže alebo nemôže navštíviť.

Základné príkazy:

  • User-agent – určuje, ktorého robota sa pravidlá týkajú

  • Disallow – zakazuje prístup na určitú URL alebo cestu

  • Allow – povoľuje prístup, aj keď by inak bol zakázaný

Príklad:

*User-agent: *
Disallow: /admin/
Allow: /admin/help.html

Toto pravidlo hovorí všetkým robotom (*), že nemajú pristupovať k adresáru /admin/, ale môžu navštíviť výnimku /admin/help.html.

Ako sa zapisujú výnimky

Výnimky sa tvoria kombináciou Disallow a Allow, kde špecifickejšie pravidlo má prednosť.

*User-agent: *
Disallow: /blog/
Allow: /blog/category/

V tomto prípade sa zablokuje celý blog okrem cesty /blog/category/.

Najčastejšie chyby v robots.txt

1. Omylom zablokovaný celý web:

*User-agent: *
Disallow: /

Toto úplne zablokuje prechádzanie celého webu robotmi.

2. Blokovanie CSS a JavaScript súborov:

Moderné vyhľadávače potrebujú načítať aj CSS a JS súbory, aby správne pochopili a vykreslili obsah. Neodporúča sa ich blokovať.

3. Neexistujúce cesty:

Pravidlá musia zodpovedať skutočným URL na webe. Ak zadáš napríklad /backend/, ale taká cesta neexistuje, pravidlo nemá žiadny efekt.

Odporúčané nastavenia pre rôzne platformy

WordPress

*User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search
Sitemap: https://www.naturalcare.sk/sitemap.xml

Prečo takto?

  • Blokovanie administračného rozhrania

  • Povolenie admin-ajax.php, ktorý využívajú viaceré funkcie na stránke

  • Blokovanie interného vyhľadávania, ktoré často vytvára duplicitné URL

  • Pridaná sitemap pre lepšiu indexáciu

Shopify

Shopify má predvolený robots.txt, ktorý je dobre nastavený, ale od roku 2021 ho je možné upravovať cez súbor robots.txt.liquid.

WooCommerce a Magento

Rovnaké princípy ako pri WordPress:

  • Blokuj košík a pokladňu

  • Neindexuj filtrované alebo sortované URL

  • Ponechaj prístup k CSS/JS a sitemapám

Sitemap v súbore robots.txt

Sitemap: https://www.naturalcare.sk/sitemap.xml

Uvedenie odkazu na sitemapu v súbore robots.txt je odporúčané. Aj keď ju vyhľadávače môžu nájsť automaticky, týmto spôsobom im to výrazne uľahčíš.

Ak máš viac sitemap (napr. pre produkty, blog, kategórie), môžeš ich uviesť všetky:

Sitemap: https://www.naturalcare.sk/sitemap-products.xml
Sitemap: https://www.naturalcare.sk/sitemap-blog.xml

Kde umiestniť robots.txt

Súbor musí byť dostupný v koreňovom adresári:

  • Správne: https://www.naturalcare.sk/robots.txt

  • Nesprávne: https://www.naturalcare.sk/folder/robots.txt

Ako testovať robots.txt

Odporúčané nástroje:

  • Google Search Console – nástroj na testovanie robots.txt

  • Screaming Frog SEO Spider – otestuje, čo robot vidí a čo je blokované

  • Ručné overenie – otvor súbor v prehliadači na https://www.naturalcare.sk/robots.txt

Best practices – odporúčania

  • Povoliť prístup k CSS, JS, obrázkom a ďalším statickým súborom

  • Nezabudnúť odstrániť Disallow: / po spustení produkčného webu

  • Pravidelne kontrolovať, čo je blokované

  • Pridať sitemapu do súboru

  • Na zamedzenie indexácie použiť noindex, nie Disallow

Správne nastavený robots.txt môže pomôcť vyhľadávačom efektívnejšie prechádzať tvoj web, znížiť zaťaženie servera a zabrániť indexácii neželaných častí stránky. Je to jednoduchý súbor s veľkým vplyvom – a keď ho nastavíš správne, tvoje SEO ti poďakuje.


Ak chcete efektívne implementovať SEO stratégie a dosiahnuť maximálne výsledky, neváhajte sa obrátiť na digitálnu agentúru Consultee. Od roku 2013 pomáhame e-shopom rásť a naša expertíza v oblasti SEO siaha až do roku 2000. S našimi dlhoročnými skúsenosťami vieme presne, ako nastaviť stratégiu, ktorá vás posunie pred konkurenciu a zabezpečí vám dlhodobý úspech v online svete.

Menovky:

Komentáre

Zverejnenie komentára

Obľúbené príspevky z tohto blogu

Čo je browse abandonment a ako z neho vyťažiť maximum?

Autor: Martin Drdák
V e-commerce svete je fenomén známy ako "browse abandonment", keď zákazníci prezerajú produkty na webovej stránke, ale nakoniec nič nepridajú do košíka, častým javom. Tento jav predstavuje významnú príležitosť pre marketérov, ako osloviť potenciálnych zákazníkov, ktorí ukázali záujem, ale nerozhodli sa pre nákup. Efektívne využitie e-mailov na oslovenie týchto zákazníkov môže výrazne zvýšiť konverzie a celkový obrat. "Browse abandonment" sa líši od "cart abandonment" tým, že zákazník ani len nepridá produkt do košíka. Našťastie, vďaka moderným technológiám a nástrojom na automatizáciu marketingu, môžme sledovať tieto interakcie a reagovať na ne prispôsobenými e-mailovými správami. Posielanie správne načasovaných a cielených e-mailov môže byť rozhodujúce pre navrátenie zákazníkov na stránku a povzbudenie k nákupu. Cieľom je naozaj posielať tie správne správy, tomu správnemu publiku v ten správny momemt. Štatistiky ukazujú, že až 70% zákazníkov, ktorí prezer...
Zverejnenie komentára
Čítať ďalej

KGR – Keyword Golden Ratio: Kompletný sprievodca pre SEO optimalizáciu

Autor: Martin Drdák
V dnešnom konkurenčnom svete online marketingu je SEO (Search Engine Optimization) kľúčovým prvkom pre dosiahnutie vyššej návštevnosti a lepšieho umiestnenia vo vyhľadávačoch. Jedným z najzaujímavejších konceptov v SEO, ktorý získal popularitu medzi blogermi a tvorcami obsahu, je KGR – Keyword Golden Ratio. Táto technika vám môže pomôcť rýchlejšie dosiahnuť vysoké pozície vo vyhľadávačoch, dokonca aj v konkurenciou nasýtených odvetviach. Technika KGR ma pred časom zaujala natoľko, že som sa ju nielen rozhodol skúsiť na našom projekte naturalcare.sk. O týchto pokusoch píšem vo voliteľnej časti záverečnej práce v rámci MBA štúdia digitálneho marketingu . V tomto článku si skúsime podrobne vysvetliť, čo je Keyword Golden Ratio, ako funguje a ako ho môžete aj vy efektívne využiť pre svoje SEO stratégie. Čo je KGR – Keyword Golden Ratio? Keyword Golden Ratio (KGR) je jednoduchý matematický vzorec, ktorý vám pomôže nájsť nízko konkurujúce kľúčové slová, ktoré majú vysoký potenciál na rýchle ...
Zverejnenie komentára
Čítať ďalej

301, 302 - presmerovania URL zo SEO aj UX hľadiska

Autor: Martin Drdák
Pri správe webových stránok je nevyhnutné porozumieť presmerovaniam URL, najmä z hľadiska SEO (Search Engine Optimization). Presmerovania 301 (trvalé) a 302 (dočasné) sú základné nástroje, ktoré môžu zásadne ovplyvniť, ako vyhľadávače indexujú webové stránky a ako sú hodnotené v rámci vyhľadávacích algoritmov. Chyby v týchto presmerovaniach môžu viesť k poklesu návštevnosti a znižovaniu pozícií vo vyhľadávačoch, zatiaľ čo správne využitie môže posilniť viditeľnosť a zlepšiť používateľskú skúsenosť. V tomto článku preskúmame, ako efektívne využívať presmerovania 301 a 302, a predstavíme osvedčené postupy a spoločné chyby, ktorým by sme sa mali vyhnúť. Presmerovania 301 a 302: Základné Rozdiely Presmerovania 301 a 302 slúžia na informovanie prehliadačov a vyhľadávačov, že pôvodná URL adresa bola zmenená. Rozdiel medzi nimi je zásadný: 301 - Trvalé Presmerovanie: Hovorí vyhľadávačom, že stránka bola trvalo presunutá na novú URL. Toto presmerovanie je užitočné pri rebrandingu alebo trvalý...
Zverejnenie komentára
Čítať ďalej