ARAÑAS DE LA RED

Es un programa que inspecciona las paginas del World Wide Web ( WWW ) de forma metodica y automatizada. Uno de sus usos mas frecuentes es crear una copia de todas las paginas web para su procesado posterior por un motor de busqueda que indexa las paginas proporcionando un sistema de busquedas rapido. Las arañas webs suelen ser bots.

Las arañas web comienzan visitando una lista de URLs, identifica los hiperenlaces en dichas paginas y los añade a la lista de URLs a visitar basado en un conjunto de reglas.