Definition Crawler
Der Begriff Crawler entstammt der ersten Suchmaschine des Internet, genannt Webcrawler. Als Synonyme werden auch die Begriffe Bot oder auch Spider genutzt.
ANZEIGE
Beschreibung Crawler
Beim Crawler handelt es sich um ein Computerprogramm, das automatisch Webdokumente durchsucht. Generell erfolgte die Programmierung von Crawlern für sich permanent wiederholende Aktionen, um das Durchsuchen der Dokumente vollständig zu automatisieren. Innerhalb von Suchmaschinen erfolgt der Einsatz der Crawler, um das Netz zu durchsuchen sowie einen Index aufbauen zu können. Crawler können verschiedenste Informationen suchen, beispielsweise RSS-Feeds oder E-Mail-Adressen.
Die Funktionsweise von Crawlern
Die Arbeitsweise des Crawlers ist ähnlich der eines Bibliothekars. Der Crawler such Informationen im Web, die dann wieder verschiedenen Kategorien zugeordnet sowie identifiziert und katalogisiert werden, um so eine Auswertung und Abrufbarkeit der Informationen zu erzielen. Der Crawler handelt im Gegensatz zum Bibliothekar allerdings nicht eigenständig, sondern vorprogrammiert. Für die Effizienz des Crawlers ist es Bedingung, dass die jeweiligen Arbeitsschritte innerhalb der Programmierung fixiert werden. Damit wird jeder Arbeitsschritt des Crawlers im Vorfeld definiert und der Crawler arbeitet diese vorgegebenen Arbeitsschritte lediglich ab. Üblicherweise wird mit der Ergebniserzielung des Crawlers ein Index angelegt, auf den ein Zugriff mittels Ausgabesoftware gegeben ist.
Die Einsatzgebiete
Das vorrangige Zielt dieser Programme ist die Erstellung eines Index. Damit bilden diese Programme die Basis für die weitere Arbeit der Suchmaschinen. Diese wiederum durchsuchen das gesamte Web nach Inhalten, um dann die Ergebnisse für die User verfügbar zu machen. Eine Besonderheit bilden die sogenannten Focused Crawler, die sich auf besonders aktuelle und themenrelevante Website bei ihrer Suche konzentrieren.
Die Programme werden für zahlreiche Zwecke genutzt. So können sie auf Preisvergleichsportalen Informationen zu Produkten im Web suchen, um so einen Vergleich von Preisen und Daten zu ermöglichen. Beim Data Mining kann der Crawler beispielsweise veröffentlichte Post- oder E-Mail-Adressen von Unternehmen sammeln. In der Webanalyse werden die Programme zur Sammlung von Daten bezüglich Seitenaufrufen oder eingehenden beziehungsweise ausgehenden Links genutzt. Zudem dienen Crawler zur Datenversorgung für Informationshubs, beispielsweise für Nachrichtenseiten.
Alternative Schreibweisen oder andere Bezeichnungen für Crawler
Webcrawler, Bot, Spider, Robots
Quellen im Internet zu Crawler
- Suchmaschinendoktor – Robots / Crawler
- Google – Die Crawler von Google
- OnPage.org – Crawler
- Wikipedia – Webcrawler