Was ist ein Crawler?
Unter dem Begriff Crawler, oder genauer: Webcrawler, versteht man ein Programm, welches automatisch Webseiten im Internet besucht, um Informationen zu erhalten und die Vernetzung zu anderen Websites zu prüfen. Je nach Crawler (also ob er von Google, Bing, Yahoo, o.A. kommt) unterscheidet sich der Algorithmus zur Feststellung des Informationsgehaltes einer Seite. Außerdem kann sich ein Crawler auch nach der Art unterscheiden, nach der er vorgehen soll. So kann ein Crawler z.B. so konzipiert sein, dass dieser nur Bilder aus einem Internetauftritt extrahiert, der nächste nur den Text - dies ist jedoch ein vereinfachtes Beispiel. Die zu erledigen Aufgaben eines Crawlers können um einiges komplexer ausgebaut sein.
Was hat der Crawler mit meinem Rank zu tun?
Der Crawler erstellt beim Durchsuchen Ihrer Seite einen Index. Dieser Index gibt an, ob eine Seite informativ relevant ist. Dazu kommen noch weitere Faktoren, wie die Ladegeschwindigkeit, Wortdichte, ob Keywords evtl. zu häufig benutzt wurden, Festlegung der Thematik durch Überschriften, usw. Der vom Crawler erstellte Index ist jedoch maßgeblich dafür, welchen Rank Ihre Seite erhält. Natürlich unterscheidet sich der Rank je nach Suchanfrage, Geo-Location und verwendeter Suchmaschine.
Kann ich meinen aktuellen Rank irgendwo sehen?
Die Auswertung einer Seite für die Sichtbarkeit bei Suchmaschinen ist meistens mit Kosten verbunden. Professionelle SEO-Tools helfen Ihnen dabei, die Position Ihrer Seite zu verfolgen und zu optimieren. Doch seien Sie sich im Klaren darüber, dass Sie ohne fachkundige Hilfe nur wenig mit den erstellten Analysen anfangen können, wenn Sie nicht jede Menge Zeit investieren wollen, um das SEO-Handwerk zu erlernen. Sprechen Sie uns daher gerne an, wenn Sie von uns ein professionelles Monitoring Ihrer Seite wünschen und lassen Sie sich beraten, wo die Schwachpunkte sind und was man besser machen kann.
Kann ich das Crawlen meiner Seite verhindern?
Jaein. Der Crawler nimmt zwar auch Anweisungen von Seiten entgenen, die nicht gecrawlt werden sollen, dies blockiert aber nur den User Agent des Crawlers. Das Indizieren von Inhalten kann aber nicht vollständig verhindert werden.