Googlebot von robots.txt blockiert

445
Rafael Bianchi

Vor kurzem habe ich meine Website mit Google Mobile-Test getestet und das Hauptproblem beim Laden war "Googlebot blockiert durch robots.txt". Meine robots.txt erlaubt Google Bot, glaube ich?

Was denkt ihr Leute? Was ist das Problem hier?

-1

1 Antwort auf die Frage

1
davidgo

Ich bin mir ziemlich sicher, dass Ihre robots.txt-Datei alles in Ihrer Domain erlaubt und alles korrekt funktioniert.

Es scheint, dass Sie über Ressourcen von anderen Websites verfügen, die in Ihre Seite eingebettet sind. DIESE RESSOURCEN werden NUR von Google gespidert, da die robots.txt für diese Domains außerhalb Ihres Einflussbereichs liegt und möglicherweise nicht indiziert werden sollte Wie auch immer - haben robots.txt-Dateien, um sie zu verbieten.

Wenn Sie sich den Bericht ansehen und auf die hervorgehobene "robots.txt" neben jeder Zeile klicken, wird die robots.txt-Datei für die URL angezeigt. Diese befindet sich außerhalb Ihrer Domäne und eine völlig andere robots.txt