Hounder. Um sistema de pesquisa de código aberto, simples e completo
Baixe Agora

Hounder. Classificação e resumo

Hounder. Tag

procurar achar Pesquisa na internet arrastar Crawler da Web. rastreamento da web

Hounder. Descrição

Um sistema de pesquisa de código aberto, simples e completo Fora da caixa, o Hounder rastreará a web segmentando apenas esses documentos de interesse e os apresentará automaticamente por meio de uma página da Web de pesquisa simples. O Hounder é: · Configurável: O hounder pode ser personalizado para suas necessidades específicas. Use-o como uma solução autônoma ou como um bloco de construção para o aplicativo existente. · Escalável: Hounder cresce com suas necessidades. Comece com uma única máquina, adicione mais conforme necessário. · Robusto: A Big Bad Web não é lugar para filhotes. O pesquisador do Hounder foi projetado desde o início para sobreviver a surtos de tráfego. · Fácil de integrar: O hounder pode ser usado a partir de vários idiomas, como Java, PHP, Python, etc. · Trabalhável: A atenção do ponto de hounder que você deseja alimentá-lo Com conjuntos de treinamento, sente-se e assista a buscar os documentos corretos para você.Note: O Hounder é fornecido e licenciado nos termos da licença Apache 2.0. Aqui estão algumas características importantes do "Hounder": Projetado para flexibilidade: · Funciona como uma solução completa (de rastejar a web para fornecer uma interface de pesquisa). · Funciona como complemento às soluções existentes (alimentando um sistema de conteúdo ou indexando um fluxo de dados). · Rastrear sites específicos em profundidade ou na web em geral, procurando páginas relevantes e classificando automaticamente · Adicionar módulos personalizados ao indexador, rastreador e buscador para adicionar funcionalidade. Instalação: · Gui e instalador de linha de comando. · Assistente de configuração para uso mais comum. Integração: · O Pesquisador suporta XML-RPC, RMI e openSearch. · O indexador suporta XML-RPC e RMI. Indexação: · Pipeline de processamento de documentos definido por módulos, definidos como plugins: crie e adicione seu próprio. · Os módulos existentes incluem: filtragem de spam, adicionando determinados campos, registro, etc. · Gerenciar quando e como as atualizações de índice são enviadas para o pesquisador. Rastejante: · Filtro Bayesiano para determinar se uma página é de interesse ou para qual categoria pertence. · Polidez. · Detecta a mudança de conteúdo de página e adapta a frequência de recortar. · Pipeline de processamento de documentos definido por módulos, definidos como plugins: crie e adicione seu próprio. · Os módulos existentes incluem: desportiva, lista negra, reforço, classificação, cache, indexação, etc. Procurar Resultados: · Geração de trechos. · Agrupamento de resultados. · Boosting. Consultas: · Definir campos para seus documentos e pesquisar nos campos desejados. · Operadores: ou, e, não. · Reconhecimento de frase. Desempenho: · Cache de resultados. · Execução de consulta inteligente e gerenciamento de tamanho da fila. Monitoramento e controle: · Monitore e controle todos os nós do hounder com o aplicativo da Web de clustering. O que há de novo nesta versão: · Comutou a fetcher de Nutch 0.7.2 para Nutch 0.9 · O plugin HTTP NUTCH9 agora pode funcionar distribuído · O indexermodule de rastreador agora pode falar com vários indexadores · O rastreador agora faz relatórios de progresso · Há agora suporte de detecção de spam · A multisearcher retorna estatísticas sobre cada pesquisa · Há um novo indexador para indexações em lote no hardware multi-núcleo

Hounder. Software Relacionado