Neue Fragen mit dem Tag «robots.txt»

Vor kurzem habe ich meine Website mit Google Mobile-Test getestet und das Hauptproblem beim Laden war "Googlebot blockiert durch robots.txt". Meine robots.txt erlaubt Google Bot, glaube ich? Was denkt ihr Leute? Was ist das Problem hier?

Wir haben eine Website auf einem Server und eine Site eingerichtet, die in PHP und Symfony Framework eingebaut sind. Da meine Anforderung darin besteht, Google an der Indizierung und unterhalb meiner robot.txt zu hindern und die Verwendung von .htaccess zu verhindern? User-agent: * Disallow: Wie ka...

Ich stelle fest, dass in einigen Fällen Paywall-Nachrichtenartikel von Google indexiert wurden, da Ausschnitte aus der Story im Suchtreffer erscheinen. Wenn ich jedoch mit einer Googlebot-Identität (Roboter) auf diese Websites gehe, sind die Informationen nicht zum Crawlen des Artikels vorhanden. Di...

Ok, also habe ich IIS auf meinem Windows-Server deinstalliert und beschlossen, Xampp als Host für meine Domains zu verwenden. Port 80 wird verwendet und ich habe alle Fixes ausprobiert, die ich in den letzten 2 Tagen gefunden habe. Ich musste herausfinden, welche Prozess-ID 4 auf meinem Server verwe...

Viele Websites enthalten in ihren Nutzungsbedingungen Dinge darüber, dass der automatisierte Zugriff verboten ist. Ein Beispiel ist in der Datei robots.txt von ebay: Die Verwendung von Robotern oder anderen automatisierten Mitteln für den Zugriff auf die eBay-Website ist ohne ausdrückliche Erlaubni...