crawlen

Definitionen

1. kraulen
2. mithilfe eines Computerprogramms Internetseiten automatisiert abrufen und verarbeiten

Äquivalente

Beispiele

“Er begann zu crawlen⟳ und drehte sich dann zum Strand.”

“Flusswellen haben⟳ sie weggetragen⟳. Und Kernel musste sich beeilen⟳, wenn er sie noch einholen⟳ wollte. Mit grossen Zügen crawlte er ihr nach, das Wasser war kalt und frisch, Steine hörte er in der Strömung rollen⟳.”

“Das Computerprogramm hat tausende Webseiten gecrawlt.”

“Google crawlt die Seite und straft sie gleich ab.”

“Sie können Grenzwerte für Seitentiefe und Website-Wechsel angeben⟳, damit z.B. nur Seiten der höchsten Ebene einer externen Website gecrawlt und Hyperlinks zu anderen Websites nicht verfolgt werden⟳.”

“„Der Crawler hat die Aufgabe, aktualisierte und neue Inhalte zu crawlen⟳ und zu indexieren⟳. Der Suchmaschinengigant aus Kalifornien braucht dazu eine große Zahl an Rechnern. Jeden Tag laufen⟳ algorithmische Prozesse im World Wide Web ab, die unzählige Websites indexieren⟳.“”

“„Eine robots.txt Datei ist eine Bedienungsanleitung, die einem Bot sagt, was er auf Ihrer Seite crawlen⟳ kann und was nicht.“”

“„Jedes Mal, wenn er eine Seite crawlt, die doppelt vorhanden ist (und aus den Suchergebnissen einfach herausgefiltert wird), lassen⟳ Sie es zu, dass er etwas von seinem Crawl-Budget verschwendet.“”

GER-Stufe