Vietnē Reddit lietotājs jautāja Džonam Muelleram par to, kā Google apstrādā “robotu” metatagus un kā noteiktu direktīvu trūkums var ietekmēt lapas indeksēšanu.

Meta tagi ir veids, kā nodot informāciju par lapu meklēšanas robotiem. Viens no šādiem metatagiem ir robotu metatags, kas var kontrolēt meklēšanas robotu uzvedību.

Visizplatītākais metatags ir “, kas liek meklētājprogrammām indeksēt lapas saturu un sekot visām tajā esošajām saitēm.

Tiek uzskatīts, ka šāds metatags norāda Google, ka tai ir jāindeksē saturs un jāseko saitēm. Bet patiesībā tā nav.

Džons Mullers šajā jautājumā sniedza šādu skaidrojumu:

• • Veicot indeksēšanu, Google ignorē metatagus “robots index” un “robots follow”. Tas nozīmē, ka šo direktīvu norādīšana metatagā uzņēmumam Google nav svarīga, jo indeksēšana un saišu sekošana ir meklēšanas robotu noklusējuma vērtības.

• • Vērtība “indekss” nav papildus jānorāda metatagā “robots”, jo tā tiek uzskatīta par standartu lapu indeksēšanai.

• • Googlebot tagi “index” un “follow” arī tiek ignorēti, tāpēc to klātbūtne metatagā tiek uzskatīta par vietas izniekošanu HTML.

Džons Mullers arī vērsa uzmanību uz dažu izdevēju praksi, kuri izmanto direktīvu “sekot” kopā ar “noindex”. Taču viņš uzsvēra, ka tas nedod nekādus rezultātus, jo meklētājprogramma nevar sekot saitēm lapā, kas nav indeksēta.

Muellers iesaka sazināties oficiālā Google dokumentācija strādājot ar meta tagiem.