Der Roboter der Suchmaschine Google nennt sich Googlebot. Googlebot ist ein sogenannter Webcrawler (krabbelt durchs Netz) oder Spider (Spinne im Netz), der durch die Webseiten geht, um die Inhalte zu indizieren.
Aktuell lernt der Googlebot, auch mit dynamisch nachgeladenen Inhalten arbeiten zu können, die bei modernen Webseiten immer mehr vorkommen. Auch mit AJAX-Requests soll er umgehen können und dazu sogar selbstständig POST-Requests auslösen können.
Bei vielen Webmaster kommt jetzt die Sorge auf, dass so Nutzeraktionen vorgetäuscht und die Statistiken verfälscht werden. Dazu sagt Google selbst nur wenig. Die Suchmaschine weist nur darauf hin, dass der Googlebot mit einer robots.txt-Robotersteuerungsdatei gesteuert werden kann. Lassen wir uns überraschen…
