Welche Software wird für Mitgliedschafts-Websites benötigt und wie können diese noch von Google indiziert werden?

463
Tyler Durden

Ich stelle fest, dass in einigen Fällen Paywall-Nachrichtenartikel von Google indexiert wurden, da Ausschnitte aus der Story im Suchtreffer erscheinen.

Wenn ich jedoch mit einer Googlebot-Identität (Roboter) auf diese Websites gehe, sind die Informationen nicht zum Crawlen des Artikels vorhanden. Dies scheint darauf hinzudeuten, dass der Publisher seine bezahlten Artikel (und zugehörigen URLs) irgendwie an Google übermittelt und nicht gecrawlt hat. Offensichtlich wäre eine solche Einreichung nicht trivial, da sie sowohl den Inhalt des Artikels als auch verschiedene Metadaten enthalten müsste, z. B. die URL, unter der er sich befindet, und das Ablaufdatum.

Gibt es einen solchen Mechanismus? Wenn ja, kann ein gewöhnlicher Webmaster wie ich es verwenden?

2
Haben Sie versucht, mit Google eine Antwort zu erhalten? Es ist ein einfacher Prozess, und selbst wenn Sie es teilweise falsch formulieren, weiß Google, was Sie erreichen. https://support.google.com/webmasters/answer/6259634?hl=de acejavelin vor 8 Jahren 3
@acejavelin Das wäre zu meta. Tyler Durden vor 8 Jahren 0
Nein, das ist angemessen. Superuser ist nicht Ihre Datenbank für persönliche Informationen. Es wird erwartet, dass Benutzer dort eigene Recherchen durchführen, bevor Sie hier Fragen stellen. acejavelin vor 8 Jahren 1
Ich habe recherchiert, was ich in meinem Beitrag beschrieben habe. Ich konnte keine solche Dienstleistung finden, die ich beschreibe, aber ich schließe daraus, dass es aufgrund meiner Roboterforschung noch existieren könnte. Deshalb frage ich. Tyler Durden vor 8 Jahren 0
Nun, ich habe Ihnen einen Link zur offiziellen Antwort von Google gegeben. acejavelin vor 8 Jahren 0
War dies in der Google-Suche oder in Google News? unor vor 8 Jahren 0
@ DavidPostill: Ich denke, dieser Beitrag hätte nicht so schnell geschlossen werden sollen, da er sowohl eine Kopfgeldprämie als auch Upvotes hat. Mitgliederwebsites, Mitgliedssoftware und Webbots beziehen sich sicherlich auf Software. Siehe meine Antwort, wenn nicht überzeugt. Ich bin etwas verärgert, dass der Beitrag geschlossen wurde, nachdem versucht wurde, eine gute Antwort zu geben. harrymc vor 5 Jahren 0
@harrymc Es war nicht besonders schnell. Ich bin mir nicht sicher, was das gestern auf die Titelseite gebracht hat, aber die Frage ist älter als 2 Jahre. Es geht auch ganz klar nicht um Computerhardware oder -software innerhalb der Definition des Hilfezentrums. Wenn die Frage frisch war und gute Antworten hatte, könnte man besser argumentieren. Aber ein schimmeliger Oldy, der kein Thema hat und keine Antworten hat? Da stimme ich mit Mod Postill überein. music2myear vor 5 Jahren 0
@ music2myear: Mitgliederwebseiten sind heute so aktuell wie vor zwei Jahren, und jemand hat sich gerade genug darum gekümmert, eine Prämie zu erheben. Kopfgeldposten sollten geschützt werden, so dass sie nur aus gutem Grund geschlossen werden sollten. Es war kurz nachdem ich meine Antwort veröffentlicht hatte, in der ich versuchte, das Thema umfassend zu behandeln, also gab es Antworten. Ich dachte, dass das Schließen eines Kopfgeldpostens gegen SU-Regeln ist, auch wenn ein Moderator sie überschreiben kann. harrymc vor 5 Jahren 0
Ich erinnere mich nicht an diese Regel, werde aber danach suchen. Aber auf den ersten Blick stimme ich der Idee nicht zu. Eine Frage, wie eine App auf einem iPhone installiert werden kann, ist nicht selbstverständlich, ob sie eine Prämie hat oder nicht. Eine Frage zur Verkabelung Ihres Hauses für Strom ist ein Thema, ob Kopfgeld oder nicht. Zu behaupten, eine Kopfprämie sei ein garantierter Schutz, macht für mich im Moment keinen Sinn. music2myear vor 5 Jahren 0
Hat einige Meta-Trawlings gemacht und die relevanten Stellen zum Schließen von Kopfgeldern gefunden. Der Konsens scheint zu sein, dass das Schließen von Kopfgeldfragen in Ordnung ist, da sie ansonsten nicht den Regeln der Website entsprechen. Da jedoch das Kopfgeld (aufgrund des Designs der Website) vor dem Schließen entfernt werden muss, ist es das Verfahren, es zu kennzeichnen für Mod Achtung, damit sie die Kopfgeld entfernen und die Frage dann schließen können. music2myear vor 5 Jahren 0
@ music2myear: Ich muss sagen, ich habe Schmerzen, um zu verstehen, warum Googlebot, ein Softwareprogramm, nicht für SU ist. Hilfe: "Super User ist für Computerenthusiasten und Power User. Wenn Sie eine Frage zu folgenden Themen haben: - Computerhardware, - Computersoftware oder - persönliche und Heimcomputernetzwerke". Googlebot gilt für mindestens zwei davon. harrymc vor 5 Jahren 0
Wordpress ist ein Softwareprogramm, ebenso Amazon ECS und Azure. Der Hauptunterschied in diesem Fall besteht darin, dass diese hauptsächlich außerhalb des Desktop-Computers des Benutzers vorhanden sind. Stattdessen funktionieren und "leben" sie vollständig mit dem, was wir Web nennen, mit dem über einen Webbrowser oder möglicherweise über eine lokale Anwendung, die sich der Webschnittstelle annähert, interagiert wird . music2myear vor 5 Jahren 1
Was ist das Thema [\ [1 \]] (https://superuser.com/help/on-topic): Wenn Sie eine Frage dazu haben und es geht nicht darum ** Websites oder Webservices ** wie Facebook, Twitter, ... Die Suchmaschine ist offensichtlich ein Webservice, und diese Frage sollte an [WebApps] (https://webapps.stackexchange.com/) oder [WebMasters] weitergeleitet werden. (https://webmasters.stackexchange.com/). Eigentlich war OP [vorheriger Versuch] (https://superuser.com/q/1200482/), diese Frage zu stoßen, eindeutig abgelehnt worden. Das Starten einer Prämie, um das Schließen der Frage zu verhindern, ist ein Spiel des Systems und sollte nicht beachtet werden. guest-vm vor 5 Jahren 1
@ music2myear: Google ist ein Tool, das wir täglich auf dem Desktop verwenden, und das Poster wollte Erklärungen zu den Ergebnissen, die er von seinem Desktop hatte. Der Googlebot ist das Thema mehrerer anderer Beiträge, die nicht geschlossen wurden. Die Grenzen zwischen SU ​​und anderen SO-Sites sind häufig eine Grauzone. In der Regel migrieren spezialisierte Sites generalisierte Softwareabfragen zu SU, da sie sich mehr mit der Programmierung und Konfiguration beschäftigen. harrymc vor 5 Jahren 0
@ guest-vm: Das Starten einer Prämie, um das Schließen einer Frage zu verhindern, wird oft hier gemacht, und ich sehe nichts Falsches - nicht alle Schlussstimmen sind berechtigt. Manchmal dient eine gute Antwort dazu, einen Beitrag innerhalb der Grenzen von SU neu zu zentrieren, und manchmal formulieren die Mitglieder des Forums diesen umformuliert. Normalerweise gibt ein Moderator seine Absicht bekannt, einen Beitrag zu schließen, wenn er nicht umformuliert wird, und lässt dem Poster und den Antwortenden etwas Zeit, um ihn zu korrigieren. Ein Kopfgeldpfosten auf diese Weise zu schließen ist etwas extrem. harrymc vor 5 Jahren 0

2 Antworten auf die Frage

2

Ja, es ist möglich

Google hat eine Seite mit dem Namen " Holen Sie sich Ihre Inhalte bei Google". Diese ist ab dem 21. Mai 2018 eine umfassende Referenz, wie Sie Ihre Inhalte von Google indexieren lassen. Es gibt verschiedene Links, die Sie vielleicht ausprobieren möchten, darunter:

  • Fügen Sie Ihre URL hinzu
  • App krabbeln
  • Suchkonsole
  • Suchmaschinenoptimierung (SEO) Starter Guide

Diese Antwort wurde von @acejavelin vor zwei Jahren und einem Monat als Kommentar gepostet. Vielleicht war die Seite, auf die wir verlinkt haben, nicht so umfassend wie heute, oder ich sehe nicht, warum er / sie sie nicht als vollständige Antwort veröffentlicht hat. Ich sehe auch, dass die OP diese Seite "zu meta" zu der Zeit meint, aber heute ist es genau das, was er / sie will.

Webseiten können falsche Googlebots erkennen

Websites verhindern manchmal, dass ihre Webinhalte von Webbrowsern durchsucht werden, die falsche Googlebot-Benutzeragenten-Zeichenfolgen verwenden. Weitere Informationen zu diesem Thema finden Sie auf der Panopticlick-Website der Electronic Frontier Foundation . Kurz gesagt: Googlebot verfügt über andere Identifikationsmerkmale als nur einen Benutzeragenten.

1
harrymc

Die Tatsache, dass der Webserver des Unternehmens den berüchtigten HTTP-Fehler 404 an eine URL zurückgegeben hat, bedeutet nicht, dass die Ressource nicht vorhanden ist. Das bedeutet nur, dass der Webserver entschieden hat, dass diese Ressource für Sie nicht vorhanden ist .

Der Webserver kann Sie anhand zahlreicher Methoden als zahlenden Kunden identifizieren. Zu den wichtigsten gehören ein HTTP-Cookie, das in Ihrem Browser gespeichert ist. Wenn der Cookie nicht gefunden wird, fordert Sie der Webserver normalerweise dazu auf, sich anzumelden. Wenn der Cookie erfolgreich ist, wird er zurückgegeben.

Die Frage ist dann, warum Googlebot Zugriff gewährt wird, aber Sie nicht?

Googlebot kann schließlich fast jede Website erkennen, der Webmaster kann jedoch einen frühen Besuch mit den in Get your content bei Google enthaltenen Tools anfordern . Er kann den Bot auch mithilfe einer Robots.txt-Datei in bestimmte Ordner leiten .

Ein Beispiel für eine solche Datei ist:

User-agent: googlebot User-agent: google User-agent: bingbot User-agent: bing Disallow: /bedven/bedrijf/ Crawl-delay: 10  User-agent: * Disallow: /

Der Bot identifiziert sich selbst, indem er beispielsweise im Header der HTTP-Anfrage ein User-Agent- Tag verwendet googlebot.

Es ist jedoch keine leichte Angelegenheit, die Identität von Googlebot anzunehmen. Die Website kann die Identität des Bots leicht überprüfen, indem eine umgekehrte DNS-Suche nach der zugreifenden IP-Adresse durchgeführt wird. Der zurückgegebene Domainname muss in diesem Fall entweder googlebot.com oder sein google.com, was Sie selbst nicht vortäuschen können.

Wenn Sie Ihren Webserver vollständig steuern, zum Beispiel über PHP, können Sie diesen Mechanismus duplizieren und eine so genannte "Mitgliedschaftswebsite" erstellen. Diese Software wird als Mitgliedschaftssoftware bezeichnet .

Wenn Sie kein PHP-Programmierer sind oder eine solche Investition Ihrer Zeit nicht wünschen, gibt es viele Open-Source-Softwarealternativen, aber auch viele kommerzielle Produkte, die für Ihr Unternehmen im Wettbewerb stehen. Seien Sie sehr kritisch, wenn Sie sich für eine entscheiden, und überprüfen Sie diese im Internet gründlich auf Rezensionen.

Weitere Informationen finden Sie in diesen Ressourcen, die ich über eine Suche gefunden habe (nicht unbedingt die besten, und einige sind recht kommerzieller Natur, aber sie werden Ihnen den Einstieg erleichtern):

Verwandte Probleme