Kgarage44 (Kostroma automobiliștilor Forum) - Vezi subiect - cine este Google bot

Ce este un robot de Googlebot?

Robot Googlebot - acesta este programul de web crawling Google ( "Spider"). Scanarea - este procesul prin care Googlebot descoperă pagini noi și actualizate care urmează să fie adăugate la indexul Google.

Googlebot nu trebuie să acceseze site-ul mai mult de o dată la fiecare câteva secunde (în medie). Acest lucru este valabil pentru cele mai multe site-uri. Cu toate acestea, din cauza întârzierilor de rețea pentru perioade scurte de timp, această rată poate fi ușor mai mare. De regulă, Googlebot va trebui doar să descarce o copie a fiecărei pagini. Dacă Googlebot descarcă o pagină de mai multe ori, aceasta poate fi cauzată de oprirea și repornirea crawler.

Googlebot este proiectat pentru lucrul distribuit pe mai multe computere. Acest lucru asigură o mai mare eficiență și la scară pe măsură ce rețeaua crește de sistem. În plus, pentru a crește capacitatea rețelei rula mai multe șenilele pe mașinile aflate în apropierea site-uri indexate. Prin urmare, tratamentul poate fi înregistrate în jurnalele de la mai multe calculatoare din domeniul google.ro cu Googlebot robotului, așa cum este specificat în agentul utilizator. Scopul nostru este de a accesa cu crawlere cât mai multe pagini de pe site-ul la un moment dat, fără a reduce lățimea de bandă a serverului. Solicitați o viteză de scanare de schimbare.
Blocarea conținutului de la Googlebot

Dacă doriți să blocați de la accesarea cu crawlere conținutul de pe site-ul robotului Googlebot, apoi, pentru aceasta există o serie de posibilități. De exemplu, puteți bloca accesul la fișierele și directoarele de pe server utilizând un fișier robots.txt.

Dacă fișierul robots.txt funcționează corect, dar site-ul nu a avut nici un vizitator, vă rugăm să verificați posibilele cauze de eficiență scăzută atunci când caută conținut.
Probleme cu spam și alți agenți de utilizator

Googlebot și toți roboții respectabili motor de căutare va respecta directivele din robots.txt, dar unii roboți și spam nu. Raportează spam Google.

Google are mai multe alte user-agent, cum ar fi Feedfetcher (user-agent Feedfetcher-Google). Deoarece cererea Feedfetcher este rezultatul cererii explicite a utilizatorului, a adăugat feed-uri la pagina lor de pornire Google sau la Google Reader, și nu o acțiune automată, cum ar fi un robot, Feedfetcher nu urmează liniile directoare robots.txt. Puteți preveni Feedfetcher cu crawlere prin configurarea server pentru a emite mesaje de eroare 404, 410, și alte user-agent Feedfetcher-Google.