○● Web Crawler

Web Crawler (Rastreador Web), sinônimos de web spiders e web robot, trata-se de um software de computador que navega pela w3c (World Wide Web), conhecido como uma espécie de robô, possui um método automatizado, oferecendo serviços frequentemente para manter bases de dados.

Sendo assim, criam cópias de todas as páginas visitadas, para um futuro processamento através dos motores de busca.  Além disso os Web Crawlers servem para validar os códigos HTML e checar os links de um site, dentre outras características. 

Neste tópico citaremos dois famosos Web Crawlers, o Googlebot e o MSNbot, porém confira outros nomes de web crawlers muito utilizados:  DataparkSearch;  Wget;  HTTrack;  JSpider;  Methabot; Pavuk;  WebSPHINX;  YaCy;  Crawljax;  Slurp (Yahoo);  Methabot; Goutte3; DuckDuckBot.

*Googlebot: Robô utilizado pela empresa Google, é caracterizado por indexar páginas e documentos da web para construir um determinado índice de buscas para o Google Search.

*MSNbot: Robô de rastreamento web implantado pela empresa Microsoft, é caracterizado por coletar documentos da web para construir um índice de pesquisas para o MSN Search Engine, normalmente utilizado pelo buscador Bing.

Por: Rafael de Sá Mascarenhas