Estas prácticas pueden aguantar a sanciones severas, incluyendo la aniquilación del sitio de los índices de búsqueda. El proceso de rastreo comienza con una relación de URLs conocidas, a las que se añaden nuevas URLs encontradas durante el rastreo. Los bots aún revisan periódicamente las páginas existentes para ver si hay actualizaciones