WebGraph. Webgraph é uma estrutura para estudar o gráfico da Web.
Baixe Agora

WebGraph. Classificação e resumo

WebGraph. Tag

estrutura Framework da Web estudar estudar gráfico da web Web Gráfico WebGraph.

WebGraph. Descrição

O WebGraph é uma estrutura para estudar o gráfico da Web. O WebGraph é uma estrutura para estudar o gráfico da Web. O WebGraph fornece maneiras simples de gerenciar gráficos muito grandes, explorando as modernas técnicas de compressão. Mais precisamente, atualmente é feito: 1. Um conjunto de códigos planos, chamados códigos, que são particularmente adequados para armazenar gráficos da Web (ou, em geral, inteiros com distribuição de leis de poder em uma determinada faixa exponente). O fato de que esses códigos funcionam bem podem ser facilmente testados empiricamente, mas também tentamos fornecer uma análise matemática detalhada. 2. Algoritmos para compactar gráficos da Web que exploram a compactação e referenciais de lacuna (LA LA), intervalo e códigos para fornecer uma alta taxa de compactação: por exemplo, o gráfico WebBase (rastreamento de 2001) é compactado em 3,08 bits por link, e um instantâneo de cerca de 18.500.000 páginas do domínio .uk reunidas pelo UbiCrawler é compactada em 2,22 bits por link (os números correspondentes para os gráficos transpostos são 2,89 bits por link e 1,98 bits por link). Os algoritmos são controlados por vários parâmetros, que fornecem diferentes tradefas entre a velocidade de acesso e a taxa de compressão. 3. Algoritmos para acessar um gráfico compactado sem realmente descomprimindo, usando técnicas preguiçosas que atrasam a descompressão até que seja realmente necessário. 4. Uma implementação completa e documentada dos algoritmos acima em Java, contida no pacote it.unimi.dsi.webgraph. Além de uma API claramente definida, o pacote contém várias classes que permitem modificar (por exemplo, transposição) ou recomprimir um gráfico, portanto, para experimentar várias configurações. O pacote depende de FastUtil para uma estrutura de coleções específicas de alto desempenho, no MG4J para I / O nível de bits, na distribuição de Colt para algoritmos prontos a usar, eficientes e no GNU GetOpt para análise de comando de linha. 5. Conjuntos de dados para gráfico muito grande (por exemplo, um bilhão de links). Estes são reunidos de fontes públicas (como webbase) ou produzidos pelo Ubicrawler.in no final, com webgraph você pode acessar e analisar um gráfico de web muito grande, mesmo em um PC com apenas 256 mbytes de RAM. Usar o WebGraph é tão fácil quanto instalar alguns arquivos JAR e baixar um conjunto de dados. Isso torna o estudo fenômeno como o PageRank, a distribuição de propriedades do gráfico do gráfico da Web, etc. Muito fácil. O que há de novo nesta versão: · Uma nova construção "Compor" possibilita compor gráficos (marcados por arco).

WebGraph. Software Relacionado