Robots.txt Generator

Generează un fișier robots.txt pentru site-ul tău. Completează regulile, apoi copiază sau descarcă rezultatul.

Regula implicită

Adresa sitemap-ului (opțional)

Căi blocate, câte una pe linie

Folosește căi care încep cu /. Lasă gol dacă nu vrei excluderi.

Opțiuni pentru anumiți roboți

Regula unui robot specific are prioritate față de regula implicită. Căile blocate de mai sus sunt incluse și în grupurile care permit accesul.

Googlebot

Googlebot-Image

Bingbot

Crawl-delay

Google nu folosește Crawl-delay. Această opțiune este destinată roboților care o acceptă.

Conținutul fișierului robots.txt

Generarea are loc în browser. Fișierul de pe site nu este modificat automat.

Cum folosești rezultatul

Verifică regulile înainte de publicare și salvează fișierul în rădăcina domeniului, la /robots.txt. Un fișier robots.txt controlează accesarea de către roboți; nu protejează informații private și nu garantează eliminarea unui URL din Google.

Documentația Google despre robots.txt

Robots.txt Generator

Robots.txt Generator

Cum folosești rezultatul

Ai identificat problema. Hai să o rezolvăm.