Arrastar Classificação e resumo
- Nome do editor:
- Niels Provos
- Site do editor:
- http://monkey.org/~provos/
- Sistemas operacionais:
- Mac OS X
- Tamanho do arquivo:
- 108 KB
Arrastar Tag
Arrastar Descrição
Crawer http pequeno e eficiente O utilitário de rastreamento inicia uma profundidade-primeira travessia da Web nos URLs especificados. Ele armazena todas as imagens JPEG que correspondem às restrições configuradas. Rastejamento é bastante rápido e permite a rescisão graciosa. Depois de terminar o rastreamento, é possível reiniciá-lo exatamente no mesmo local onde foi terminado. O rastreamento mantém um banco de dados persistente que permite vários rastreamentos sem sites revisitivos.Crawl contém apenas algumas mil linhas de código, o que o torna bastante fácil de personalizar e depurar.Note: Rastreamento é licenciado e distribuído sob os termos da licença BSD. Aqui estão algumas características principais de "rastreamento": · Salva imagens encontradas ou outros tipos de mídia · Seleção de mídia com base em expressões regulares e contrasints de tamanho · Retomar o rastreamento anterior após a rescisão graciosa · Banco de dados persistente de URLs visitados · Código muito pequeno e eficiente · Lookups de DNS assíncronas · Suporta robots.txt. Requisitos: · Libevent.
Arrastar Software Relacionado