Spiderfetch

Aranha Web Baseada em Python Grátis
Baixe Agora

Spiderfetch Classificação e resumo

Propaganda

  • Rating:
  • Licença:
  • Freeware
  • Preço:
  • FREE
  • Nome do editor:
  • Martin Matusiak
  • Site do editor:
  • Sistemas operacionais:
  • Mac OS X
  • Tamanho do arquivo:
  • 37 KB

Spiderfetch Tag


Spiderfetch Descrição

Aranha da Web Baseada em Python gratuita Spiderfetch é uma aranha web modular livre impulsionada por receitas compostas por expressões regulares. SpiderFetch começou como uma ferramenta para arpade todos os links em uma página da web, mas pouco a pouco se tornou uma Web Spider Full Web.PiderFetch agora é mais um conjunto de ferramentas que podem ser usadas por conta própria, como a aranha e a fetcher . A suíte inteira é escrita em pimentão puro (anteriormente rubi) e não requer dependências. Aqui estão algumas características principais de "SpiderFetch": · Aranha a página para qualquer coisa que se parece com um URL. · Capacidade de filtrar URLs para uma expressão regular (Tenha em mente que isso ainda é REGEX de Ruby, então. * Para corresponder a qualquer caractere, não * como no arquivo globbing, (verdadeiro | falso) para escolha e assim por diante.) · Downloads todos os URLs em série, ou apenas saídas para tela (com --dump) se você quiser filtrar / classificar / etc. · Pode usar um arquivo de índice existente (com --Useindex), mas, se houver links relativos entre os URLs, eles precisarão de pós-processamento, porque o caminho da página de índice no servidor não é conhecido depois que ele foi armazenado localmente. · Usa wget internamente e transmite sua saída também. Suporta URLs HTTP, HTTPS e FTP. · Semântica consistente com URL em URLs; O WGet $ URL ... não re-download re-brasileiro, retoma downloads, tenta transferências interrompidas. Requisitos: · Pitão Limitações: · Não garantido para encontrar cada última URL, embora a correspondência seja bastante leniente. Se você não puder combinar com um certo URL, você ainda está preso com Grep e sed. · Se você tiver que se autenticar de alguma forma no navegador para ser capaz de baixar seus arquivos de mídia, a SpiderFetch não poderá baixá-las (como com o WGet em geral). No entanto, nem tudo está perdido. Se os URLs são FTP ou o servidor da Web usar autenticação simples, você ainda poderá pós-processá-los para: FTP: // nome de usuário: senha@the.rest.of.the.url, mesmo para http.


Spiderfetch Software Relacionado

Sobre nós