Was ist ein Crawler?

Was ist ein Webcrawler, was bringt er und wo wird er verwendet.
Im Internet gibt es eine scheinbar unendliche Menge an Wissen, Informationen, Daten und Medien. Erst durch Suchmaschinen werden diese Unmengen durchsuchbar. Dabei kommen Webcrawler zu Hilfe. Doch wie genau funktioniert das und wo werden Webcrawler noch verwendet? Diskussion zum Thema (Audio) …