Was ist ein Crawler?

Du gibst ein oder mehrere Wörter, nach denen du gerne suchen möchtest, in eine Suchmaschine wie Google oder Bing ein und klickst anschließend auf „Suche“. Daraufhin erhältst du eine Ergebnisliste mit Titeln, teilweise kleinen Teilen aus den Inhalten und den Links zu den Ergebnis-Websites. Doch wie kommt die Suchmaschine zu diesen Ergebnissen?

Suchmaschinen arbeiten mit Roboter-Programmen. Diese Roboter-Programme werden auch Webcrawler oder nur Crawler genannt. Die Webcrawler durchsuchen das Internet und nehmen Internetseiten mit Titel und Link in eine Liste auf. Da Suchmaschinen meist mehrere Webcrawler haben, die rund um die Uhr arbeiten, entstehen lange Listen mit interessanten Internetseiten.

Wenn du nun ein Wort in die Suchmaschine eingibst, werden diese Listen nach deinem Suchwort durchsucht. Dir werden dann alle Ergebnisse aus diesen Listen, die zu deinem Suchwort passen, angezeigt.

Natürlich werden die Ergebnisse nicht in einer beliebigen Reihenfolge angezeigt. Auch dafür gibt es Programme, sog. Algorithmen,  die den Suchmaschinen sagen, wie sie die Ergebnisse sortieren sollen. Für die Reihenfolge der Ergebnisse ist es z. B. wichtig, wie häufig dein Suchwort auf der Internetseite vorkommt und ob es schon im Titel steht. Es kommt auch darauf an, wie bekannt die Internetseite ist, auf der das Wort steht. Das wird dadurch gemessen, wie viele Links auf diese Seite verweisen.

Bei Google werden die Ergebnisse unter anderem durch das sogenannte PageRank-Verfahren sortiert. Dabei geht es darum, wie viele gute Internetseiten auf eine Seite mit deinem Suchwort verweisen. Wenn deine Seite gut verlinkt ist, dann wird sie unter den ersten Treffern angezeigt. Wenn nur wenige oder schlechte Internetseiten auf diese Seite verlinken, dann steht sie ganz weit hinten in der Ergebnisliste.

Was bedeutet SEO?

SEO ist eine englische Abkürzung und steht für Search Engine Optimization, auf Deutsch Suchmaschinenoptimierung. Das bedeutet, dass Firmen und Institutionen ihre Webseiten so gestalten, dass diese bei einer Suche möglichst weit oben in der Trefferliste angezeigt werden. Und das ist gar nicht so einfach, da die Suchmaschinenanbieter ihre Rankingmechanismen nicht offenlegen. Außerdem arbeiten sie ständig daran, ihre Kriterien zu verfeinern und sich neue auszudenken, um dir immer die aktuellsten und besten Seiten unter den ersten Treffern anzeigen zu können.