Autor Zpráva
Peter1000
Profil
Zdravim

mam problem so spravnym indexovanim mojej stranky googlom
niekedy indexuje moje stranky bezproblemovo, niekedy hlasi chybu v Google WebTools pri "Server Connectivity" a "Robots.txt fetch"
chybovost oboch je od 0% do 100%

pripadne ak skusam "Fetch as Google" niekedy to funguje a niekedy nie
v zapati ako nesiel Fetch urobit, tak bez problemov mi nacital stranku cez browser

server isto nie je pretazeny
DNS je OK podla WebTools
domena a IP su obojstranne nastavene

mam za to ze niektory z Googlebotov inak pristupuju k mojmu Apache serveru a ten vrati 404 stranku

ukazka z Apache access_log suboru:
207.46.13.75 - - [22/Mar/2015:14:28:02 +0100] "GET / HTTP/1.1" 301 233 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
208.80.194.123 - - [22/Mar/2015:14:30:03 +0100] "GET / HTTP/1.0" 404 198 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/534.30 (KHTML, like Gecko) Ubuntu/11.04 Chromium/12.0.742.112 Chrome/12.0.742.112 Safari/534.30"
188.165.15.59 - - [22/Mar/2015:14:33:34 +0100] "GET /robots.txt HTTP/1.1" 301 243 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"
66.249.65.152 - - [22/Mar/2015:14:34:01 +0100] "GET /robots.txt HTTP/1.1" 404 208 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

standardne pouzivam SSL preto tie vyssie uvedene 301 kody, kedy pristupil napr BING na http a presmerovalo ho to na https

problemy boli aj pred spustenim SSL

jedna domnienka bola ze googlebot pristupuje priamo cez IP adresu na server, tuto chybu som odstranil presmerovanim na https domenu, ale chyba pretrvava

vie niekto co moze byt chybou?
co treba upravit/nastavit v Apache aby korektne odpovedal googlebotu? co posiela Googlebot nestandardne?
vdaka za kazdu radu
Davex
Profil
Ten soubor robots.txt reálně existuje nebo ho poskytuje nějaký redakční systém? Je tam chyba 404 i na kořenovou adresu, takže to bude pravděpodobně nějaká chyba rozhodovací logiky ve skriptu (například proto, že posílá stránku podle preferovaného jazyka klienta, ale roboty ho na server neposílají).
Peter1000
Profil
Davex:
nie, je to bez redakcneho systemu a bez rozhodovania ohladom jazyka
robots.txt realne existuje pod https, ked sa niekto dotazuje na http tak ho prehodi na https
Davex
Profil
Potom je tu další možnost a to ta, že je něco špatně, když se robotům náhodně posílá stavový kód 404. Asi by bylo dobré rozdělit access.log podle jednotlivých virtualhostů, aby se dalo zjistit, na kterých k těm chybám dochází.

Nejsou nějaké chyby v chybovém logu Apache nebo v systémovém logu na serveru?
Peter1000
Profil
takze problem sa v podstate vyriesil sam
bola to chyba Googlu
uz par mesiacov sledujem, ze chyby sa nevyskytuju, nic som s konfiguraciou serveru nemenil

Vaše odpověď

Mohlo by se hodit

Zajímavé čtení:
Poptávání výměny odkazů je na této diskusi nežádoucí.

Prosím používejte diakritiku a interpunkci.

Ochrana proti spamu. Napište prosím číslo dvě-sta čtyřicet-sedm: