Cum se elimină rapid din pagina de index a motorului de căutare pe site

Astăzi vă voi arăta rezultatele unui mic experiment pentru a elimina toate paginile de motoarele de căutare Yandex și Google. Descoperirile sale va ajuta în selectarea uneia dintre metodele pentru a dezactiva indexarea tuturor resurselor sau a părților sale individuale.

Am confruntat cu sarcina - pentru a închide site-ul pentru a indexa, fără a pierde funcționalitatea. Asta este, o resursă pentru a lucra, dar lăsați indexul motoarelor de căutare. Desigur, cel mai sigur mod de a elimina pur și simplu proiect de la gazdă. Documentele vor da 404 erori, și în cele din urmă „du-te departe“ de motorul de căutare de baze de date. Dar problema am avut o alta.

detalii experimentale

• determina care metodă este interzicerea de prioritate de indexare pentru motoarele de căutare;
• observă dinamica vitezei de eliminarea paginilor din index;
• De fapt, pentru a elimina proiectele de la baza SS.

Acesta a participat la site-ul experimentul 2 (tot mai mult de un an). În primul rând, în indexul Yandex 3000 de pagini, Google - 2090. În al doilea rând, Yandex - 734, Google - 733. Dacă nu ștergeți resursa cu găzduire, 2 opțiuni populare: tag-ul meta name = »roboți» și interdicția în robots.txt.

Pentru prima linie a fost adăugat la site-ul pe fiecare pagină:

A doua a fost compilat următoarea robots.txt:

rezultate

Următoarele grafice Dinamica numărului de pagini indexate. La început site-ul №1 (tag îndepărtarea meta name = »roboți»).

Site-ul №2 (modalitate de a dezactiva fișierul - robots.txt).

Aici situația este desfășurare interesantă. Yandex rapid (mai puțin de o lună), eliminați toate paginile. De asemenea, Google în această lună a aruncat indicele de aproximativ 100 de documente, și apoi o lună mai târziu încă 200 și aproape înghețat.

Un alt moment notabil. În ciuda faptului că paginile sunt eliminate din indexul pentru o lungă perioadă de timp, traficul de la motoarele de căutare au început să scadă mai repede.

Se pare că SS-ul să înțeleagă că resursa webmasterul interzise sau documente pentru indexare, dar din anumite motive continuă pentru a le menține acolo.

1. Yandex îi place să lucreze cu robots.txt;
2. Google îi place să lucreze cu meta name = »roboți». Datorită faptului că Google nu este foarte atasata de un robots.txt, atunci acesta va fi o etichetă metodă universală. Metodele Combinand nu poate fi, deoarece interzicerea resurselor în robots.txt, antenele motoarelor de căutare nu poate citi regulile pentru numele meta = »roboți».
3. Oglinda Runet șterge rapid documente cu orice metodă. motor de căutare externă face fără tragere de inimă - foarte dificil de a realiza îndepărtarea completă a bazei.

Iată un mic experiment sa dovedit. Da, desigur, proba este foarte mică, dar a fost în măsură să confirme presupunerile mele. În termeni aplicate, acest lucru poate fi utilizat atunci când este nevoie de a închide anumite documente care urmează să fie indexate: este de preferat să se folosească meta name = »roboți» în loc de directive în robots.txt.

În opinia mea, în calitate de noroc, un eventual roboți de ajutor, dar poate că nu întotdeauna. Am încercat roboți, și în opinia mea, este o lungă perioadă de timp și nu este clar modul în care reacționează motoarele de căutare.
Pentru mine a încheiat un mod valabil este de a interzice prin ip în .htaccess pentru toate, cu excepția pentru mine, de lucru cu precizie.

Dacă doriți ca site-ul a zburat, și interzice site-ul de acces pentru toate ip în fișierul .htaccess, ca o opțiune, în cazul în care roboții nu au funcționat sau nu vor să aștepte mult timp.

Alexander, da, o metodă bună, dar am avut sarcina de a lucra pentru toate site-urile

Și de ce nu dau răspunsul la serverul 404? Prin .htaccess sau php o poți face chiar și pentru paginile existente.

NMitra și modul în care acestea vor funcționa pentru utilizator mediu?

Sosnovskij, la fel ca paginile normale. O dată la toate conferințele tub: nu există pe pagina de răspuns 404, nu 200. În schimb nakosyachit la fel de ușor

NMitra, exact. Nu în acea stepă „gândit“ Vă mulțumesc pentru opțiunea, dar cel mai probabil este, aș nu se potrivesc destul.

Vă mulțumim pentru materialul.
Sosnovskij, dar nu spune interziceți directivă: * și Disallow: / echivalent?

Nikolai, o regulă trebuie să înceapă cu un slash. Prima ta opțiune este incorectă.

Ce este o modalitate prin care al doilea a arătat un rezultat destul de rapid. Aici cred că în mod special de a alege și nu există nimic ...

Primiți actualizări blog primul!

Vă mulțumim pentru sprijinul acordat pentru blog! ;)