SiteMapcrawler.

Aplicativo de console que chica todos os URLs listados no arquivo sitemap.xml
Baixe Agora

SiteMapcrawler. Classificação e resumo

Propaganda

  • Rating:
  • Licença:
  • Freeware
  • Nome do editor:
  • Summer Son
  • Site do editor:
  • http://www.codeproject.com/Members/Summer-son
  • Sistemas operacionais:
  • Windows All
  • Tamanho do arquivo:
  • 47 KB

SiteMapcrawler. Tag


SiteMapcrawler. Descrição

O programa SiteMapcrawler foi desenvolvido para ser um aplicativo de console que chica todos os URLs listados no arquivo sitemap.xml.Você já pensou em tentar validar cada URL listado no seu arquivo de sitemap? Eu tenho um site com links de página gerados dinamicamente. Esses links são gerados com base em um título de página que pode ser qualquer combinação de letras, números e símbolos. Claro, o site remove todos os caracteres proibidos do título da página antes de gerar sua URL, apara e encurte-o um pouco ... No entanto, erros ainda ocorrem de vez em quando. Por exemplo, uma página com um título: '' ... IS_BROKN '' '' '' Devido aos meus detalhes de conversão de URL terá o seguinte URL: /.is_broken+ Existem milhares de páginas, então é claro que não consigo verificar Cada página separada que o banco de dados do site contém.Based em uma lista de URLs gerados dinamicamente i gerar um arquivo sitemap.xml. Que contém todas as páginas do site. Então, toda vez que um arquivo de mapa é gerado, eu preciso garantir que não haja itens de repetição (isso pode acontecer se as páginas diferentes tiverem títulos) e cada URL separado estiver acessível, ou seja, não produzirá uma solicitação ruim, ou 404 ou algo assim Isso. Então eu criei um programa C # que anda por cada URL listado no arquivo sitemap.xml e tenta acessá-lo. Ele registra todos os erros ocorridos em um arquivo de saída, por isso é fácil de rastrear Páginas do problema.I Use a classe XMLDocument para carregar um sitemap.xml; Aulas de WebRequest e WebResponse para determinação se existe um URL.


SiteMapcrawler. Software Relacionado

Web Sequence Grabber.

Com Sequência Web Grabber Você pode baixar arquivos da Internet. O programa usa uma lista de locais de Internet (URLs) que serão carregados. ...

269 420K

Download