Bedeutung von crawlen | Babel Free

Definitionen

1. kraulen
2. mithilfe eines Computerprogramms Internetseiten automatisiert abrufen und verarbeiten

Beispiele

“Er begann zu crawlen und drehte sich dann zum Strand.”

“Flusswellen haben sie weggetragen. Und Kernel musste sich beeilen, wenn er sie noch einholen wollte. Mit grossen Zügen crawlte er ihr nach, das Wasser war kalt und frisch, Steine hörte er in der Strömung rollen.”

“Das Computerprogramm hat tausende Webseiten gecrawlt.”

“Google crawlt die Seite und straft sie gleich ab.”

“Sie können Grenzwerte für Seitentiefe und Website-Wechsel angeben, damit z.B. nur Seiten der höchsten Ebene einer externen Website gecrawlt und Hyperlinks zu anderen Websites nicht verfolgt werden.”

“„Der Crawler hat die Aufgabe, aktualisierte und neue Inhalte zu crawlen und zu indexieren. Der Suchmaschinengigant aus Kalifornien braucht dazu eine große Zahl an Rechnern. Jeden Tag laufen algorithmische Prozesse im World Wide Web ab, die unzählige Websites indexieren.“”

“„Eine robots.txt Datei ist eine Bedienungsanleitung, die einem Bot sagt, was er auf Ihrer Seite crawlen kann und was nicht.“”

“„Jedes Mal, wenn er eine Seite crawlt, die doppelt vorhanden ist (und aus den Suchergebnissen einfach herausgefiltert wird), lassen Sie es zu, dass er etwas von seinem Crawl-Budget verschwendet.“”

GER-Stufe