pentru WordPress
fișier robots.txt - conține regulile pentru roboții motoarelor de căutare indexarea site-ului dvs..
DESCRIEREA DETALIATA sintaxa robots.txt HELP Yandex
fișier robots.txt este un format de text simplu, care este plasat în folderul site-ul Knight - de obicei în dosarul www. Versiunea minimă a conținutului de robots.txt:
User-agent: * - rapoarte care regulile scrise mai jos se aplică tuturor roboților.
Dacă doriți să creați reguli pentru un anumit bot, apoi specificați numele, de exemplu, pentru toți roboții Yandex:
Disallow: / categorie - categorie interdicție de indexare secțiune. Fii atent, deoarece o astfel de interdicție înseamnă interdicție de indexare tot ce va începe cu / categorie, de exemplu, / categorie / de afaceri, / categorie / de afaceri / raschet_dohoda etc.
Realizator: site.ru - ce domeniu considerat site-ul oglinda principală și de a folosi indicele extrădării.
Setarea robots.txt în versiunea WordPress 3.5.1+
În unele platforme robots.txt generate în mod programatic, astfel încât să nu-l va găsi în directorul rădăcină al site-ului, iar dacă adăugați să-l propria lui, el, probabil, nu va funcționa. De exemplu, în WordPress funcția versiunea 3.5.1, care creează un fișier robots.txt este aceasta: www / wp-includes / functions.php. Prin urmare, pentru a face modificările vor trebui să scrie un mic fragment de cod. Cum de a face acest lucru mai târziu.
7. Dacă este necesar, se adaugă interdicția de indexare a altor dosare de servicii sau pagini, de exemplu: