Motor Dapper Dataflow. O tempo de execução distribuído e paralelo do programa
Baixe Agora

Motor Dapper Dataflow. Classificação e resumo

Motor Dapper Dataflow. Tag

distribuído execução paralelo Execução de programas distribuídos Execução do Programa Paralelo

Motor Dapper Dataflow. Descrição

O tempo de execução distribuído e paralelo do programa Dapper (Execução de Execução do Programa Distribuído e Paralelo) é uma ferramenta para domar as complexidades de desenvolvimento para computação em grande escala e grade, permitindo que o usuário crie cálculos distribuídos a partir do essencial - o código que será executado, vivemos em interesse Os tempos, onde os avanços nas ciências dependem cada vez mais da crescente disponibilidade e abundância de recursos computacionais em rede cometidos. Com a ajuda da nuvem ou grade, os cálculos que de outra forma correriam por dias em uma única máquina de desktop agora distribuíram e / ou formulações paralelas que podem agitar, em questão de horas, a entrada define dez vezes mais grandes em cem máquinas . Como sedutor à medida que a ideia de força em números pode ser, ter apenas hardware físico não é suficiente - um programador tem que criar a computação real que será executada. Consequentemente, o alto valor colocado sobre o esforço humano e a criatividade exige um ambiente de programação que permite, e até mesmo encoraja a expressão sucinta de cálculos distribuídos, e ainda ao mesmo tempo não sacrifica a generalidade.Dapper, em pé para o tempo de execução distribuído e paralelo, É uma dessas ferramentas para preencher as especificações de alto nível do cientista / programador que capturam a essência de um programa, com os mecanismos de baixo nível que refletem as realidades desagradáveis da computação distribuída e paralela. Em sua abordagem orientada para o DataFlow, Dapper permite que os usuários codem localmente em Java e execute globalmente na nuvem ou na grade. O usuário primeiro escreve celepes ou pequenos trechos de código que realizam tarefas simples e não, em si mesmos, constituem um programa completo. Depois, ele ou ela especifica como esses codelets, vistos como vértices no DataFlow, transmitem dados uns aos outros através de relações de borda. O gráfico de DataFlow acíclico dirigido resultante é um programa completo interpretável pelo servidor Dapper, que, ao ser contatado por clientes de trabalhadores de longa duração, pode coordenar uma execução distribuída. Sob o modelo Dapper, o usuário não precisa mais se preocupar em tradicionalmente Os aspectos hoc do gerenciamento da nuvem ou na grade, que incluem lidar com interconexões e dependências de dados, recuperando de erros, distribuindo o código e os trabalhos iniciais. Talvez mais importante, ele fornece uma toolchain e tempo de execução baseado em Java e tempo para enquadrar quase todos os cálculos distribuídos com grade grosseiros em um formato consistente que permite a implantação rápida e fácil transporte a outros pesquisadores. Aqui estão algumas características importantes do "DataFlow Engine": · Um sistema de distribuição de código que permite ao servidor Dapper transmitir código de programa requisito sobre a rede e ter clientes carregá-lo dinamicamente. Uma conseqüência disso é que, impedir executáveis externos, atualizações para programas Dapper precisam só acontecer no lado do servidor. · Um poderoso método de incorporação de subfluxo para modificar dinamicamente o gráfico do DataFlow no tempo de execução. · Um tempo de execução em baunilha Java, uma linguagem que muitos não estão familiarizados. Além da exigência de uma JVM recente e opcionalmente graphviz dot, Dapper é auto-suficiente. · Um protocolo de controle robusto. O servidor Dapper espera que qualquer número de clientes falhasse, a qualquer momento e tenha uma reexecução personalizável e as políticas de tempo limite para lidar. Consequentemente, pode-se começar e parar os clientes (vivas demais) sem medo de colocar todo o sistema em um estado inconsistente. · Semântica flexível que permitem transferências de dados por meio de arquivos ou fluxos TCP. · Interoperabilidade com firewalls. Como sua nuvem ou grade local provavelmente se senta atrás de um firewall, elaboramos semântica especial para transmitir transferências de dados. · Termos de licenciamento liberais. Dapper é lançado sob o LGPL para evitar a contaminação da sua faixa bancária. · Operação como um aplicativo incorporado. Um manual de usuário descreve a API de programação que os usuários podem seguir para executar o servidor Dapper dentro de um aplicativo como Apache Tomcat. · Operação como uma interface de usuário autônoma. Com ele, pode-se executar demos fora do prateleira e aprender conceitos principais dos exemplos visuais. Ao seguir um conjunto mínimo de convenções, pode-se agrupar os próprios programas Dapper como arquivos de execução e, em seguida, obter status de dados de dados em tempo real e feedback de depuração. Requisitos: · Java 2 Edição Standard Runtime Ambiente O que há de novo nesta versão: · Adicionado a abstração do FlixListener, para que os usuários possam agora associar metadados a dados de dados e seus nós. · Corrigido um vazamento de memória no servidor Dapper. · Adicionado etiquetas de Apiviz Doclet para que as relações entre as classes possam ser melhor visualizadas. · Adicionado apiviz para visualização de dependências em javadoc. · Corrigido um pequeno erro no executável buildandest. · O processo de construção agora está totalmente integrado com o Apache Hera. A distribuição de origem agora há navios mais longos com o SST. Em vez disso, as dependências são baixadas automaticamente; Falha disso, pode-se baixar a fonte SST, compilá-lo e publicar em um repositório local. Veja o manual do usuário para mais detalhes. · Processo de construção atualizado e removeu etapas redundantes. · Avisos de direitos autorais e licença normalizados em todos os arquivos. · Java 1.6 agora é obrigado a construir e correr. · Alterar processo de construção para usar o Apache Ivy, o que significa que as dependências externas não precisam mais ser embaladas com a distribuição principal do SST. · Adicionado alvo 'Doxygen' para criar processo para que os componentes nativos possam ser documentados.

Motor Dapper Dataflow. Software Relacionado