Papy. oleodutos paralelos para python
Baixe Agora

Papy. Classificação e resumo

Papy. Tag

Biblioteca Python. Pitão paralelo Pipeline Pipeline paralela multithreading rpyc

Papy. Descrição

Oleodutos paralelos para python Papy é um quadro Python para construir e executar oleodutos (fluxos de fluxo) de tarefas arbitrárias em paralelo usando localmente usando multiprocessamento ou multi-threading ou remotamente usando RPC (Chamadas de Procedimento Remoto) conforme fornecido pelo RPYC (Chamada Python remota). O gasoduto é representado como um gráfico acíclico dirigido arbitrário. O usuário tem que definir funções dos nós (chamados Pipers) e as bordas (chamadas de tubos), que representam fluxo de dados ou dependência. As instâncias do Piper são atribuídas a recursos virtuais (chamados imsps), que são tecnicamente conjuntos de processos ou fios locais e / ou remotos. O IMAPS são semelhantes ao método IMAP multiprocessing.pool, mas suporta várias tarefas, ou seja (função, iterável), em vez de serem avaliadas um após o outro. Como exemplo de uma função válida de Piper (identifica o host, processo e próprio) : @Imports (], ], ]]) Def HID (I): Return "item% s está no host:% s Usando o processo:% s, e função:% s "% (I , Socket.GetostName (), OS.GetPid (), ID (HID)) Cria uma instância IMAP, que utiliza 4 processos: local_pool = IMAP ( Worker_Num = 4) Cria uma instância IMAP, que utiliza 4 encadeamentos: local_thread_pool = imap (worker_type = 'thread', trabalhador_num = 4) cria uma instância do IMAP, que utiliza 8 processos remotos em 2 hosts.remote_pool = IMAP (Worker_num = 0, Worker_Remote = , , 4]]) O trabalhador_num = 0 substitui o padrão de criar processos locais de trabalhadores no número de CPUs disponíveis. Os hosts remotos ('host1' e 'host2') devem executar um servidor RPYC Classic no modo de forking, ou seja: python classic_server.py -m 'Forking'A entrada para o pipeline precisa ser um processo de coleta e processos papy no pipeline em lotes de tamanho ajustável que permite um paralelo (consumo de memória) versante (resultados imediatos) trataff.Papy é flexível: * Topologia do gráfico é irrestrito * código de função do usuário é irrestrito * o número de entradas é irrestrito * O número de ims não é irrestrito * O número de processos / thread usados é irrestrito * Os Pipers podem ser atribuídos ao IMAPS Arbitrariamente * IMAPs podem ser compartilhados (balanceamento de carga) * O troca de predefinição de paralelismo da memória é ajustável * Os hosts de plataforma cruzada são suportados aqui são algumas teclas Características de "papy": · Construção de tubulações arbitrariamente complexas · Paralelismo local e remoto flexível · Recursos locais e remoções compartilhados · Robustez a exceções · Suporte para intervalos de tempo · Registro em tempo real · OS-Independent (realmente um recurso de multiprocessamento) · Plataforma cruzada (realmente uma característica do RPYC) · Testado e documentado. Requisitos: · Pitão

Papy. Software Relacionado