Cerințe pentru promovarea de la Google și Yandex

Blog> SEO> Cerințele de bază pentru fișierul robots.txt

În cazul în care pentru a plasa fișierul robots.txt

Structura robots.txt

Structural fișier robots.txt este împărțit în secțiuni (secțiuni), care sunt dispuse în rânduri directive (reguli).
Fiecare secțiune trebuie să înceapă cu Directivele User-agent și includ valoarea User-agent al unui robot la care se referă.

Directivele pot fi folosite caractere speciale * și $. Simbolul „Asterisk“ - * înseamnă orice secvență (inclusiv un martor) de orice caractere. Astfel, sub masca / primer * scade și / primer1 și /primer.html.
Simbolul * este atribuit fiecărui capăt al directivei implicite, astfel încât directiva:

absolut identice.
Pentru interpretarea Directivei robotului evita simbolul „adăugați“ * $ folosit un caracter special, ceea ce înseamnă că la sfârșitul comparații subșir.

Disallow directivă

Cea mai comună directivă, care interzice bot să indice întregul site sau o parte a acestuia în conformitate cu registrul în felul ei.
Disallow directivă cu o valoare a parametrului gol echivalent cu Allow directivă: / și anume Acesta permite să indexeze întregul site. În mod similar, gol Se lasă directivă corespunde Directivei Disallow: / și anume interzice indicele întregul site.

Se lasă directivă

Se lasă directivă este să Disallow o sintaxă similară, dar, dimpotrivă, indică ce fel robotul poate fi indexat.

Roboții Yandex nu este permis să indexeze întregul site, cu excepția trasee care încep cu / primer.

Partajarea Permiterea și Disallow

Interziceți Allow directivă și sunt într-o secțiune User-agent robotul sortate după lungime URL-prefix de la cel mai mic la cel mai mare. Și să-și îndeplinească luate secvențial, în conformitate cu sortate astfel încât lista. Prin urmare, nu contează în ce ordine plasate în temeiul directivei.
De fapt, fișierul este scris după cum urmează:

Permite numai calea indicelui incepand cu / primer
Atunci când ambele directive sunt prefixate cu aceeași lungime, se acordă prioritate Allow directivei.

Directiva Harta site-ului

Dacă structura site-ului este descrisă de fișier sitemap.xml, indică calea robotului ca parametru de directivă Harta site-ului.
Robotul va aminti calea, procesa datele și le utilizează în sesiunile ulterioare ale ghetei.

Directiva gazdă

Directiva gazdă este interpretat în mod corect Bots numai Yandex. Acesta indică în mod clar căutarea robotu- „zerkalschiku“ de pe site-ul oglinzii principale. Faptul ca site-ul cu același conținut pot fi accesate în mai multe domenii de domenii, cum ar fi:
site.ru
site.com,
și fie lider WWW prefix, sau fără:
www.site.ru
site.ru
Directiva gazdă se recomandă să se introduce după directivele Permiterea și Disallow, valoarea ee trebuie să fie numele de domeniu cu numărul de port (implicit - 80). Fiecare fișier robots.txt poate fi procesat de către o singură directivă gazdă. În cazul în care acestea sunt multiple, robotul va efectua doar primul. Directivele gazdă înregistrate incorect sunt ignorate.

Directiva crawl de întârziere

C timp minim de căutare bot poate fi setat folosind această regulă (în secunde) între încheierea încărcării o pagină și la începutul sarcinii următoare. Utilizarea sa este justificată, în cazul în care indicele de roboți site-ul de prea multe ori, ceea ce determină o sarcină mai mare pe server. Registrele imediat după directivele Allow, Disallow.
recomandări Yandex privind elaborarea unui fișier robots.txt
Google Cum de a crea un fișier robots.txt
Verificați fișierul dvs. robots.txt pentru a corecta posibil, în Yandex și Google.