LichtED - Google Bot

Der Google Bot registriert sich und geht in Onlineshops einkaufen

Der Google Bot registriert sich? Bisher war der Google Bot nur stiller Beobachter in unserem Shopsystem. Der Google Bot hat sich durch die Seiten gekrault die Information gelesen die Seiten bewertet und indiziert. Seit neuestem beobachten wir aber immer wieder Registrierungen unter fast identischen Daten, Artikeln die in den Warenkorb gelegt werden und Bestellungen, die dann im Bestellprozess abgebrochen werden. Was hat es mit diesen ominösen Bestellung auf sich und wer steckt dahinter?

Max Muller aus Berlin – wer bist du eigentlich?

Regelmäßig verzeichnen LichtED.de Registrierung unter dem Pseudonym Max Muller mit einer Adressangabe in Berlin. Die E-Mail-Adresse lautet ebenfalls auf ‚max.muller‘ gefolgt von einer ständig variierenden zweistelligen Zahl. Besagter Max Muller liegt jedes Mal verschiedene Artikel in den Warenkorb und für die Bestellung nicht zu Ende aus. In der Registrierungsübersicht ist anzuerkennen, dass diese Zugriffe meist mitten in der Nacht erfolgen und sich in einem gewissen zeitlichen Rhythmus wiederholen. Allein die Tatsache dass beim Nachnamen der Umlaut fehlt, lässt auf einen ausländischen Zugriff schließen.

Logfileprüfung – wer steckt dahinter?

Selbstverständlich nehmen wir solche Fake-Zugriffe nicht einfach hin und gehen der Sache auf den Grund. Es kann sich bei solchen Zugriffen durchaus um Angriffsversuche auf das Shopsystem handeln, bei denen unter Umständen in irgendeiner manipulierten Art und Weise versucht wird Systemfunktionen zu umgehen und gegebenenfalls Schaden anzurichten.

Eine Prüfung des Log-Files zu dem betreffenden Registrierung und Zugriffszeiten ergibt, dass die IP-Adresse der betreffenden Zugriffe ihren Ursprung in Amerika hat, und dass es sich um eine IP-Adresse des Google Netzwerkes handelt. Der Google Bot registriert sich?

Der Google-Bot kann sich jetzt auch registrieren und Artikel in den Warenkorb legen?

Google Bot RegistrierungOffensichtlich, denn die Regelmäßigkeit, die Zeitintervalle und das Vorgehen des schon darauf schließen, dass es sich um automatisierte Zugriffe handelt und niemand manuell diese Registrierung vornimmt.

Jetzt muss man wissen, dass es s.g. Bot- und Spider Programmen bisher nur möglich war, Hyperlinks (s.g. GET Aktionen) zu nutzen und so durch Webseiten zu navigieren. Registrierungsformulare mit Fake-Daten auszufüllen, diese mit einem Button-Klick abzusenden (s.g. POST Aktionen) und ebenso per Button-Klick Produkte in den Warenkorb zu legen, war bisher nicht möglich.

Wir achten bei der Weiterentwicklung unseres Shopsystems sehr exakt darauf, dass keine wesentlichen Shopfunktionalitäten auf Hyperlinks gelegt werden, sondern diese immer über Formulare (s.g. POST Aktionen) durchgeführt werden, damit eben nicht irgendwelche Spider- und Bot Programme aktive Aktionen in unserem Shop auf LichtED.de ausführen.

Das Problem dabei ist im wesentlichen eine Verfälschung unserer Zugriffszahlen und Statistiken, die wesentlicher Bestandteil eines jedem Shopsystems bei der Auswertung und Beurteilung zum Beispiel der Werbebudgetverteilung sind. Diese Kaufabbrüche verfälschen in den Statistiken die Conversion-Rate und sorgen im Shopsystem selber für eine unnötige Störung des fortlaufenden Bestellnummerkreises und für ein zusätzlichen Durcheinander in den Übersichten der Bestellabbrüche.

Also fragen wir – der Google Bot registriert sich? Google was soll das?

Natürlich haben wir die Information zu diesen Vorgängen einmal zusammengefasst, Logfile Auszüge zusammengestellt und Google in einer Mail um Stellungnahme gebeten, um zu erklären wofür diese Zugriffe stattfinden.

Google bietet für die Meldung fragwürdiger Zugriffe über das Google IP-Netzwerk eigens eine Kontakt E-Mail-Adresse, um eben diese Zugriffe zu melden. Die Antwort von Google ließ nicht lange auf sich warten, war allerdings recht enttäuschend. Geantwortet wurde lediglich mit einer Standardmail, die ein bei allen Fragen auf die FAQ-Websites von Google verweist. Auch eine erneute Anfrage mit der Bitte doch auf unsere E-Mail Anfrage einzugehen, brachte keinen Erfolg, sondern lediglich noch einmal den selben Antworttext wie schon in der ersten Antwort E-Mail. Eine dritte Anfrage wurde dann gar nicht mehr beantwortet. Offensichtlich leistet Google nur Kundenservice wenn es sich um Fragen zu Systemen handelt, bei denen Kosten abgerechnet werden können. Beispielsweise bei Google Ads ist es überhaupt kein Problem, einen Kundenberater ans Telefon zu bekommen.

Laut einer anderen Quelle haben wir nun die Information bekommen, dass es sich dabei um Preisprüfungen handeln soll, bei denen der bot prüft, ob Shop angegebenen Preise des Artikels beim in den Warenkorb legen auch so übernommen werden. Vermutlich möchte Google damit auch prüfen, ob Preisangaben aus gelieferten Daten Feeds für das Google Merchant Center (also Produktdaten Informationen der Shopbetreiber für Google Shopping) identisch sind, mit den im eigenen Shop angegebenen Preisen. Google hat natürlich ein Interesse daran, dass die in Google Shopping angezeigten Preise identisch sind mit den Preisen im zugehörigen Onlineshop.

Wie kann ich nun solche fragwürdigen Zugriffe in meinem Onlineshop verhindern?

Genau bei dieser Frage wird es nun kompliziert.
Den Bot einfach per robots-txt auszusperren funktioniert nicht – das haben wir probiert. Die entsprechenden Anweisungen stehen in dieser Textdatei, aber der bot ignoriert diese. Selbstverständlich könnte man per htaccess den ganzen IP-Bereich sperren, aber letztlich möchte sich natürlich niemand den Google-Bot aussperren, weil dann auch die eigenen Webseiten nicht mehr indiziert würden und dann in den Google Suchergebnissen nicht erscheinen. Wie sagt man so schön: da beißt sich die Katze in den Schwanz.

Letztlich ließe sich eine kleine Routine entwickeln die Registrierungsversuche mit dem immer identisch von Google verwendeten Namen unterbricht, und zum Beispiel auf eine 404 Fehlerseite umleitet. Aber auch in dem Falle ist es nicht gewiss, wie Google reagiert und ob diese Aktionen nicht unter Umständen negative Einflüsse auf die Seiten-Indizierung und auf das Ranking haben.

Also bleibt dem Shopbetreiber letztlich nichts weiter übrig, als diese Dinge hinzunehmen und Google gewähren zu lassen. Irgendwo hatte ich mal einen Beitrag gelesen zum Thema: Vormachtstellung von Google und die Auswirkungen auf das Online-Marketing für Unternehmen.
Gerade Online Unternehmen stehen und fallen mit Google.