Cum de a închide site-ul de la indexare în Google

Există încă oameni care folosesc fișierul robots.txt pentru a închide site-ul de a fi indexat de motoarele de căutare, și scoateți-l din rezultatele căutării. Explicați de ce fișierul robots.txt pentru aceste scopuri nu este suficient și trebuie să faci o pagină sau domeniu nu apare în problema.

Cel mai evident mod de a ascunde pagini nedorite din SERPs - închideți-le de a fi indexate utilizând fișierul robots.txt. Dar rezultatul este diferit de cel pe care vă așteptați: site-uri vor apărea în continuare în căutare. În acest articol, Yost De Valk, de Yoast explică de ce, și spune ce să facă, astfel încât pagina sau site-ul a dispărut de problema.

Diferența dintre indexare și va afișa rezultatele căutării Google

Înainte de a explica de ce o interdicție pe site-ul de indexare nu interferează cu motorul de căutare pentru a afișa extrădarea sa, amintiți-vă câțiva termeni:

• Indexarea - procesul de a descărca un site sau o pagină de conținut pe serverul motor de căutare, ca urmare a care se adaugă un site sau o pagină la index.
• Clasament / afișare în căutarea - afișarea unui site în rezultatele de căutare.

Utilizatorii se plâng adesea că Google ignoră interdicția privind paginile de indexare în robots.txt și încă arată în rezultatele căutării. Cel mai adesea se întâmplă următoarele: Atunci când cineva trimite un semnal la robot pentru a interzice pagini indexate, acesta apare în fragmentul de căutare cu un neobișnuit - fără text descriere. Motivul: nu crawlerele scana pagina. Ei au văzut numai referirile la adresa URL. Asta pentru că roboții au văzut link-ul, mai degrabă decât întreaga pagină, utilizatorii se solicită să emită un fragment fără deskripshna. Cu referire la exemplul.

La un moment dat California, Departamentul Autovehiculelor, domeniul www.dmv.ca.gov, a blocat toate motoarele de căutare cu ajutorul robots.txt. Dar, în cazul în care utilizatorul este în căutarea de informații la cerere California DMV, există doar un singur răspuns relevant faptul că motorul de căutare trebuie să ofere utilizatorului. În ciuda unui robots.txt, care spune robotul că nu scanează pagina crawler vede că multe site-uri se leagă la o anumită pagină folosind textul ancora cu textul din California DMV. Roboți înțeleagă că această pagină - rezultatul, interogările de utilizator cele mai relevante. Prin urmare, ele arată rezultatul în problema chiar și fără să scaneze pagina. Dorința de a furniza utilizatorului cu rezultatul, cererea cea mai relevantă, poate fi singurul motiv pentru care Google le afișează în paginile cu rezultate ale căutării, nu scanate crawlerele.

Un alt exemplu - site-ul Nissan. Nissan a fost mult timp folosit robots.txt pentru a restricționa indexarea tuturor paginilor. Dar am găsit site-ul și descrierea acestuia în directorul deschis DMOZ. Prin urmare, atunci când un utilizator primește un link către site-ul printre rezultatele, au văzut un fragment ca pagini normale, care au fost accesate cu crawlere de crawlerele. Dar acest fragment nu a fost făcută pe baza rezultatelor de scanare. A fost creat de informații DMOZ.

Rezultatul: Google poate arăta ceva pe care le consideră utile pentru utilizator, fără a încălca interdicția privind robots.txt de scanare.

Dacă nu doriți ca pagina să fie afișată în căutare, permite roboților să acceseze pagina, apoi utilizați atributul noindex. Când robotul vede tag-ul «NOINDEX», el aruncă o pagină cu toate rezultatele căutării. Pagina nu apare în căutare, chiar dacă alte site-uri se leagă de el.

O altă opțiune - de a utiliza o adresă URL instrument de ștergere. Blocați site-ul în întregime în robots.txt și apoi utilizați adresa URL instrumentul de eliminare.

Ce se întâmplă: închiderea site-ului de scanare, vă priva crawler mod de a ști că a interzis motorul de căutare de afișare.

Prin urmare:

Pentru a preveni apariția site-ului în rezultatele de căutare, trebuie să activați crawlerele Google scana pagina.

Se poate arata contradictoriu. Dar singura modalitate de a ascunde site-ul în rezultatele de căutare.

Cum se dezactivează afișarea paginii în rezultatele căutării

Prin adăugarea de roboți meta

Prima versiune a paginilor de afișare interdicția de la Google - folosesc roboți meta. Trebuie să adăugați această etichetă la pagina ta:

Problema cu o etichetă în faptul că va trebui să adăugați pe fiecare pagină.

Utilizați antetul HTTP X-Robots-Tag

De ce antet X-Robots-Tag HTTP este rece:

• Se închide de la obtinerea în căutare toate fișierele - cum ar fi HTML, și pdf, doc, XML.
• Nu aveți nevoie pentru a procesa fiecare pagină, puteți ascunde imediat de căutare întregul site.

Dacă site-ul dvs. se bazează pe Apache, și mod_headers nu sunt disponibile în fișierul .htaccess rădăcină, adăugați fragmentul de cod:

Astfel, site-ul dvs. va fi indexat. Dar nu apar în rezultatele căutării.

Pentru a elimina un site din căutare, nu utilizați robots.txt. În schimb, utilizați X-Robots-Tag sau roboți meta.

• robots.txt închide site-ul de a fi indexate, dar site-ul poate apărea în continuare în rezultatele căutării.
• Pentru a ascunde o pagină sau un site de căutare, utilizați metaeticheta pentru roboți sau în antetul HTTP X-Robots-Tag.
• Roboții meta tag-ul ar trebui să fie adăugate la fiecare pagină pe care doriți să le ascundeți, în mod individual. Acesta poate fi utilizat numai pentru documentul HTML.
• antet HTTP X-Robots-Tag vă permite să ascundeți din rezultatele căutării o dată întregul site. Acesta poate fi folosit pentru a ascunde HTML-documente, precum și alte formate de fișiere - pdf, doc, XML.
• Nu este necesar să se interzică paginile de scanare de robots.txt. Dacă scanarea nu este permisă, crawlerele nu vor vedea orientările privind indexarea și afișarea în căutare. Deci, ele nu îndeplinesc directiva, iar site-ul va aparea in problema.

Ce altceva pentru a verifica:

articol Spune-le prietenilor: