Lista roboților de căutare pentru user-agent in - devaka blog-SEO

Pentru a dezactiva indexarea site-ului dvs., sau anumite secțiuni ale roboții de căutare de resurse utilizate două metode: adăugarea unei etichete meta la pagina sau pentru a crea un fișier robots.txt. De multe ori, webmasterii se confruntă cu problema boti user-agent al unui anumit motor de căutare. Cunoscând valoarea User-agent pentru roboții de căutare pot fi dezactivate, sau invers, permite accesul la un anumit bot, cum ar fi următoarele linii:

User-agent: MediaPartners-Google
Disallow:

Mai jos este o listă cu cele mai frecvente roboții care aparțin motoarele de căutare bine-cunoscute.

WebAlta
WebAlta pe șenile / 2.0

Notă:
Unele dintre cele mai importante motoare de căutare, în plus față de bază roboții motoarelor de căutare, există, de asemenea roboți la bloguri index, știri, imagini, etc. Iată câteva dintre ele:

Link-uri conexe roboților de căutare:

SEO-analist, consultant. Întotdeauna la curent cu noile tendințe pe piața SEO.

a se vedea, de asemenea,

28 răspuns (lăsați)

ma ajutat foarte mult, acum le vezi pe toate dintr-o dată

Și de ce deranjez pentru a interzice motoarele de căutare să indexeze site-ul dvs.? Am făcut un site web pentru oameni, iar oamenii pot găsi prin căutarea în Google / Yandex / Rambler ... Ce idee eu nu înțeleg ...

Ei bine, în primul rând, foarte util pentru a prescrie roboții de pe site-ul și să alocați anumite drepturi, în special important pentru forumuri în cazul în care roboții fără reguli vor merge pe pagină pentru a crea, edita în departamentul de administrare, bine, în general, vor face clic pe toate butoanele într-un rând. În al doilea rând, foarte util să prescrie niște roboți și pentru a preveni-le la toate sau unele de acces. De exemplu, cele mai renumite Majestik-12, care vine cu o mulțime de boti asistenți și face cereri de la sute de pagini la un moment dat. În cazul în care nu este înregistrată și nu blochează accesul, acesta va fi perceput de către site-ul ca un utilizator obișnuit și la fel de bine pentru a încărca site-ul dvs.

Ksan4ik, există o opțiune pentru a crea 2 site-uri diferite sau fac pe un singur schimb limba site-ului. Motoarele de căutare se vor stabili ce pagini în care țara pentru a pune în căutare. Și despre roboți astfel nu derektiv. Există o altă opțiune de a cere Saporta gazdă IP bloc România, dar acestea sunt închise, nu numai pentru motoarele de căutare, dar și pentru utilizatori.

Directiva-crawl de întârziere ignoră, instrumente pentru webmasteri, pe care le-ar putea ajusta viteza de indexare a site-ului, la nici un mail. De îndată ce apare robotul pe site-ul, astfel încât odată ce incarcarea serverului se ridica. Alte alegere, ci pentru a bloca IP-ul roboților, nu pare. Cu excepția cazului, desigur, site-ul este situat pe un shared hosting ... Pentru problema server dedicat nu ar trebui să fie vizibile.

Yandex a schimbat lor roboți
exemplu
(Compatibil; YandexBot / 3.0)
stilul Googlebot