pyparallelcurl. Uma interface simples para buscar recursos de URL em paralelo sem encadeamentos
Baixe Agora

pyparallelcurl. Classificação e resumo

pyparallelcurl. Tag

URL. Biblioteca Python. buscador Recursos Recursos de URL.

pyparallelcurl. Descrição

Uma interface simples para buscar recursos de URL em paralelo sem encadeamentos pyparallelcurl é um módulo python que fornece uma interface fácil de usar para permitir que você execute múltiplos busca de URL de onda em paralelo em python, sem encadeamentos. Para testá-lo, vá para a linha de comando, CD para esta pasta e executar ./test .pythis deve executar 100 pesquisas através da API do Google, imprimindo os resultados. Para ver o tipo de diferença de desempenho que executa solicitações paralelas Obtém você, tente alterar o padrão de 10 solicitações em execução em paralelo usando o argumento de script opcional e o tempo de tempo que cada um leva: Tempo ./Test.py 1 hora. Primeiro, permite apenas uma solicitação para executar imediatamente, serializando as chamadas. Eu vejo isso levando cerca de 100 segundos. A segunda corrida tem 20 anos em vôo de cada vez, e leva 11 segundos! Seja avisado, é possível sobrecarregar seu alvo se você disparar muitos pedidos de uma só vez. Você pode acabar com o seu IP banido de acessar esse servidor ou acertar outros limites de API.A classe é projetada para facilitar a execução de várias solicitações de cacha em paralelo, em vez de esperar por cada um para terminar antes de começar o próximo. Sob o capô usa Curl_Multi_exec, mas desde que eu acho que a interface dolorosamente confusa, eu queria um que correspondia às tarefas que eu queria correr. Para usá-lo, Easy_install Pycurl, importar pyparallelcurl e, em seguida, criar o objeto ParallelCurl = Parallelcurl (10 ) O primeiro argumento ao construtor é o número máximo de buscas pendentes para permitir antes de bloquear para aguardar um fim. Você pode alterar isso posterior usando SetMaxRequests () O segundo argumento opcional é uma matriz de opções de curl no formato usado por Curl_SetOpt_array () Em seguida, inicie um erro de URL: parallelcurl.startrequest ('http://example.com', on_request_done, {'Somekey': 'Somevalue'}) o primeiro argumento é o endereço que deve ser buscado a segunda é a função de retorno de chamada que será executada assim que a solicitação é feita O terceiro é um 'cookie', que pode conter dados arbitrários a serem Passado para a chamada CallbackThis StarTrequest retornará imediatamente, desde que menos do que o número máximo de solicitações forem excelentes. Quando a solicitação for concluída, a função de retorno de chamada será chamada, por exemplo: ON_REQUEST_DONE (conteúdo, 'http://example.com', ch, {'somewey': 'Somevalue'}) o retorno de chamada deve levar quatro argumentos. A primeira é uma string contendo o conteúdo encontrado no URL. O segundo é o URL original solicitado, o terceiro é a alça ondulada da solicitação que pode ser consultada para obter os resultados, e o quarto é o valor arbitrário 'cookie' que você está associado a este objeto. Este cookie contém dados definidos pelo usuário. Além disso, você pode ter solicitações em aberto no final do seu script, você deve CLARPARELLELCULL.FINISHLANTERQUESTS () antes de sair. Se você não fizer isso, os pedidos finais podem ser deixados não processados! Isso também é chamado no destruidor da turma, mas é definitivamente a melhor prática para chamar isso explicitamente. Requisitos: · Pitão

pyparallelcurl. Software Relacionado