Roboți txt

Scopul principal al roboților txt - este managementul motoarelor de căutare. Pentru utilizator găsit site-ul dvs. pe internet, în primul rând (pagina web) care urmează să fie indexate. Ie căutare robot pentru a vizita o pagină web, examinați și descărcați-l la baza mea. Și numai după aceea această pagină web (documente), pot apărea în rezultatele căutării.

Dar faptul că site-ul poate fi o mulțime de documente care sunt încărcate pe șenile lipsite de sens: documente duplicate, orice informații de serviciu, cum ar fi ce să indice rezultatele căutării pe site? Un duplicate de conținut?

În primul rând determină care roboții motoarelor de căutare scrise de directivă.

# User-agent - este un robot de căutare, asteriscul înseamnă că orice roboți motor de căutare. Dacă creați un robots.txt pentru un anumit motor de căutare, apoi aici și a pus acest lucru.

# Aici specificați căutarea robotului specific Yandex. Fiecare pe șenile fiecare sistem are numele său propriu, astfel încât la Google este Googlebot. Se spune că Yandex are o mulțime de roboți: indexare (YandexBot), imaginile indexor (YandexImages), etc. O directivă «Yandex» se aplică tuturor roboți Yandex sistem.

Permiterea și neagă directivele.

# Deci, slash admitere blocat pe întregul site.

EXEMPLUL blochează anumite fișiere și directoare.

# Această interdicție este doar indexare director wp-admin. Ie Toate fișierele sunt în directorul wp-admin, dar dacă există / wp-admin, acesta va fi indexat.

# Această interdicție de indexare tot ceea ce începe cu numele wp-admin, și anume ban directorul de conținut wp-admin și fișierul / wp-admin (dacă este cazul).

# Această interdicție /wp-login.php indexare fișier. Cu condiția ca acesta este localizat în directorul rădăcină.

Acum, ca și versiunea corectă a roboților txt pentru WordPress. (Notă: pentru diferite bloggeri au propria lor opinie ca acest fișier este un complicat Cine vrea să înțeleagă, cred că, vă puteți arunca o privire la cea mai tare SEOshnikov.). roboți în căutarea txt la diverse site-uri a constatat că nu este clar de ce scrie 2 versiuni: una pentru toate motoarele de căutare și unul pentru Yandex. Sa dovedit că Yandex iubește doar atunci când el se adresează personal. Ideal fișier nu poate fi, toate acestea sunt diferite.

Am încă o astfel de opțiune aici.