Perfect sau o poveste despre un fișier mic, dar foarte important

Bună ziua tuturor! Astăzi vă voi spune despre un fișier mic, care joacă un rol imens în promovarea blog-ul. După cum probabil ați ghicit, acesta va fi de aproximativ robots.txt. Deși nicăieri să se spună că trebuie să fie folosit pe site-uri web, dar eu încă te sfătuiesc imediat (dacă nu ați făcut deja acest lucru) pentru a deschide FTP-client și instalați robots.txt - nu este nevoie de mai mult de două minute.

La început, voi vorbi despre de ce avem nevoie de ea. Acest fișier conține instrucțiuni pentru motoarele de căutare, care au fost scrise în calea către fișierele, paginile și directoarele blog care nu ar trebui să fie indexate. Sau invers - nu poate fi specificat un fișier pe care doriți să indice, în primul rând.

Probabil că aveți deja o întrebare - de ce închide pagina de index? Răspunsul este simplu - pentru a evita conținutul dublu. Același mesaj poate fi duplicat în tag-uri, pagini de navigare, arhive, etc. Pentru noi este destul de inutil din mai multe motive:

1) Se spune că negativ Yandex se referă la un tip similar de suprapunere. Nu știu dacă este sau nu acest lucru este adevărat, dar mai bine să fie în siguranță, doar în cazul în care, pentru ca apoi să dintr-o situație neplăcută va fi oh cât de dificil este (un exemplu de astfel de probleme pot fi citite aici).

2) În ceea ce noi ne straduim sa în partea de sus ne-am pagina corectă cu post, duplicate inutile pagini, vom face decât să obstrucționeze acest lucru (prietenul meu Vadim a făcut o dată experimentul ia, rezultatele de pe această pagină).

Apoi m-am dus la forumul Maula, a construit acolo o temă, care descrie pe scurt problema ta și cum l-am rezolvat. Spre surprinderea mea, după această problemă nu este una am avut aceeași problemă! Și tu știi că am fost chiar mai surprins? Iar faptul că un robots.txt, pe care am luat ca exemplu în Shakin, a apărut cu erori minore! Așa că am decis să se bazeze dosarul, pe care a văzut-o pe blog-ul Dmitriya Lebedya. După cum puteți vedea, două săptămâni mai târziu, am în indexul de 177 pagini (în Google în 2 ori mai mult, dar nu este nimic greșit - Google mai loiali în ceea ce privește conținutul dublu).

Deci, să creați un fișier: Crearea unui nou document text un robots.txt, completați-l cu datele necesare și completați-l în directorul rădăcină în cazul în care blog-ul.

Dar, de fapt, și textul pe care doriți să inserați în fișierul:

User-agent: Yandex - Yandex căutare robot de a specifica ce trebuie făcut.
User-agent: MJ12bot - informații despre acest robot aici. Nu-mi amintesc unde am citit că doriți să blocați indexarea de ea, dar curat tot la fel nu am.
User-agent: * - toate indică faptul că motorul de căutare păianjeni pot fi și ceea ce nu poate fi indexat. Este important ca această secțiune (*) a fost ultimul dintre secțiunile, așa cum trebuie să specificați mai întâi o acțiune roboți specifice, și numai atunci - face orientări pentru toți.

luare
nucleu semantic

FastVPS - încredere, low-cost, smart hosting (Mai mult) 2domains - Domenii ieftine pentru site-urile dvs. Contentmonster - aici am comanda articole pentru site-urile lor. (Mai mult) GoGetLinks - cea mai bună piață pentru cumpărarea / vânzarea de link-uri de calitate eterne (Mai mult)

Wix - Crearea site-ul acum!

Pentru configurația șablonului mulțumiri speciale pentru unchiul Phoenix