Crawer4j.

Crawler da Web de código aberto para Java
Baixe Agora

Crawer4j. Classificação e resumo

Propaganda

  • Rating:
  • Licença:
  • Apache
  • Preço:
  • FREE
  • Nome do editor:
  • Yasser Ganjisaffar
  • Site do editor:
  • http://www.ics.uci.edu/~yganjisa/
  • Sistemas operacionais:
  • Mac OS X
  • Tamanho do arquivo:
  • 29 KB

Crawer4j. Tag


Crawer4j. Descrição

Crawler da Web de código aberto para Java Crawler4J é uma fonte aberta e Free Java Crawler, que fornece uma interface simples para rastejar a web. Usando o Crawler4J, você pode configurar um rastreador da Web multi-threads em 5 minutos! Crawler4J é projetado com muito eficiência e tem a capacidade de rastrear domínios muito rápido (por exemplo, foi capaz de rastrear 200 páginas de Wikipedia por segundo). No entanto, uma vez que isso é contra as políticas de rastejamento e coloca uma enorme carga em servidores (e eles podem bloquear você!), Desde a versão 1.3, por padrão Crawler4j espera pelo menos 200 milissegundos entre pedidos. Este parâmetro pode ser sintonizado com a função "SetPolitenessDelay" no controlador. Instruções detalhadas de uso para o Crawler4J Web Crawler estão disponíveis aqui.


Crawer4j. Software Relacionado

Sobre nós