Django-robôs. Aplicação de exclusão de robôs para Django, complementando sitemaps.
Baixe Agora

Django-robôs. Classificação e resumo

Django-robôs. Tag

Django. Gerenciar robots.txt. Exclusão de robôs. Django Sitemap. Mapa do site robôs.txt

Django-robôs. Descrição

Aplicação de exclusão de robôs para Django, complementando os sitemaps. Django-robots é um aplicativo django-robôs para gerenciar os arquivos robots.txt após o protocolo de exclusão robots, complementando o aplicativo Django Sitemap Contrib.A aplicação de exclusão robôs consiste em dois modelos de banco de dados que são amarrados com uma relação M2M: * Regras * URLsinstallationGet Fonte do site do aplicativo em: http: //code.google.com/p/django-robots/to Instalar o aplicativo do Sitemap, siga estas etapas: 1. Siga as instruções no arquivo Install.txt2. Adicione 'robôs' à sua configuração instalada_apps.3. Certifique-se de 'django.template.loaders.app_directories.load_template_source' está em sua configuração Template_Loaders. Está lá por padrão, então você só precisará alterar isso se você alterou essa configuração. Certifique-se de ter instalado o sites framework.initialization para ativar robots.txt geration no site django, adicione esta linha ao seu URLCONF: (r '^ robots.txt $', incluir ('robotots.urls')), isso informa Django para construir um robots.txt quando um robô acessa /Robots.txt. Em seguida, sincronize seu banco de dados para criar as tabelas necessárias e criar objetos de regras na interface do administrador ou através do shell.rulesrule - define uma regra abstrata que é usada para responder a robôs da Web de rastreamento, usando o protocolo de exclusão de robôs, aka robots.txt Você pode vincular vários padrões de URL para permitir ou dispersar o robô identificado por seu agente de usuário acessar os URLs fornecidos.O campo de atraso de rastreamento é suportado por alguns mecanismos de pesquisa e define o atraso entre os acessos sucessivos de rastreador em segundos. Se a taxa de rastreador for um problema para o seu servidor, você pode definir o atraso até 5 ou 10 ou um valor confortável para o seu servidor, mas é sugerido começar com pequenos valores (0,5-1) e aumentar conforme necessário para um valor para o seu servidor. Valores de atraso maiores adicionam mais atrasos entre acessos de rastreamento sucessivos e diminuir a taxa máxima de rastreamento para o seu servidor da Web. A estrutura de sites é usada para ativar vários robots.txt por instância de Django. Se nenhuma regra existir, ele permitirá automaticamente, todos os recursos de robô da Web a cada URL.Por favor, dê uma olhada no banco de dados de robôs da Web para uma lista completa de robôs existentes Strings do Agente do Usuário.Urlsurl - Define um padrão de URL sensível a maiúsculas e minúsculas que é usado para permitir ou não permitir o acesso para robôs da web. Case-sensível.A Slash de fuga ausente também corresponde a arquivos que iniciam com o nome do padrão dado, por exemplo, correspondências '/ admin' /admin.html também. Alguns grandes mecanismos de pesquisa permitem um asterisco (*) como um curinga para corresponder Qualquer seqüência de caracteres e um sinal de dólar ($) para corresponder ao final do URL, por exemplo, '/*.jpg$' pode ser usado para corresponder a todos os arquivos JPEG.CachingYou pode opcionalmente cache a geração do robots.txt. Adicionar ou alterar a configuração Robots_Cache_Timeout com um valor em segundos em seu arquivo de configurações do Django: Robots_Cache_Timeout = 60 * 60 * 24Este informa o Django para cache o robots.txt por 24 horas (86400 segundos). O valor padrão não é nenhum (sem cache). Requisitos: · Django. · Pitão

Django-robôs. Software Relacionado