#Blokiraj pristup stranici
Disallow: /readme.txt
#Blokiraj pristup direktoriju
Disallow: /landing/
Direktiva Disallow ne može se koristiti za:
- izbrisati izvor iz indeksa;
- blokirati pristup datotekama bitnim za renderiranje stranice (slike, CSS i JS datoteke);
- staviti stranicu na održavanje;
- spriječiti pristup privatnim resursima.
Dopusti
Direktiva Allow eksplicitno navodi dopuštenje za skeniranje određenog URL-a, direktorija ili datoteke. Ovo se ponašanje primjenjuje prema zadanim postavkama za sve resurse na web-mjestu, zbog čega se ovo pra B2B popis e -pošte vilo uglavnom koristi za nadjačavanje određene naredbe Disallow.
#Pristup nije dopušten medijima osim za datoteku italia.pdf
Korisnički agent: *
Disallow: /media/
Allow: /media/italia.pdf
Sitemap
Pravilo karte web-mjesta ko hokker oplossing is it bêste foar jo? risti se da se tražilici kaže URL na kojem se može dohvatiti XML karta web-mjesta. URL mora biti naveden apsolutno
C
Druge direktive koje Google ne podržava
Od 1. rujna 2019. Google je prestao podržavati sve neslu btc databasees žbene i nedokumentirane direktive kao što su nofollow, crawl-delay i no index. Ako ih vaša robots.txt još uvijek sadrži, vrijeme je da ih uklonite (ionako će biti automatski zanemareni).
Sintaksa
Evo glavnih pravila sintakse datoteke robots.txt:
- Datoteka robots.txt mora nužno biti tekstualna datoteka s UTF-8 kodiranjem znakova;
- Datoteka je osjetljiva na velika i mala slova, mora biti navedena razlika između velikih i malih slova;
- Pravila zapisana u datoteci podijeljena su u grupe (obavezno je navesti korisnički agent i direktorij ili datoteku kojoj ne može pristupiti):
- Svaka direktiva mora biti sadržana u novom retku;
- Naredbe čita indeks prema top-down logici;
- Za umetanje komentara upotrijebite znak # na početku.
Za izradu datoteke robots.txt možete koristiti bilo koji uređivač teksta, na primjer Notepad ili TextEdit. Datoteka mora biti:
- spremljeno s UTF-8 kodiranjem;
- pod nazivom “robots.txt”;
- smjestiti u korijenski direktorij vaše web stranice (imeniku se može pristupiti putem FTP-a ili upravitelja datotekama s vašeg hostinga).
Za ispravnu konfiguraciju datoteke robots.txt vaše web stranice preporučujemo da slijedite pravila sintakse (pogledajte odjeljak “Sintaksa”). Iako svaka stranica ima vlastite potrebe indeksiranja, osnovna konfiguracija datoteke robots.txt može biti sljedeća:
Korisnički agent: * (svi korisnički agenti)
Disallow: # (unesite staze odjeljaka web stranice koje želite isključiti)
Allow: # (unesite sve pododjeljke ili datoteke onih blokiranih s prethodnim disallows koje želite učiniti dostupnima alatima za indeksiranje)
Sitemap : # (URL karte web stranice)
Robots.txt generator online
Postoji nekoliko online alata koji nam mogu pomoći da ispravno generiramo datoteku robots.txt.
