Cascading. Uma API rica de recurso para definir e executar fluxos de trabalho de processamento de dados complexos, sem escala e tolerantes de falha em um cluster de Hadoop
Baixe Agora

Cascading. Classificação e resumo

Cascading. Tag

notificação processo API. Notificação de eventos API de processamento Scheduler de processos

Cascading. Descrição

Uma API rica em recursos para definir e executar fluxos de trabalho de processamento de dados complexos, sem escala e tolerantes de falha em um cluster de Hadoop A API de processamento em cascata permite que o desenvolvedor monte rapidamente processos distribuídos complexos sem ter que "pensar" em MapReduce, e para agendá-los eficientemente com base em suas dependências e outros meta-dados disponíveis. Obviamente, aplicativos de processamento de dados simples são suportados também, como trabalhos complexos tendem a começar simples. Aqui estão algumas características principais de "Cascading": · API de processamento de dados · Agendador topológico. · Notificação de eventos · Mapeduce Planejador de trabalho · Serviços de transmissão · Armadilhas de falha · Interface scriptable. · Interfaces de dados externas · Mapeduce trabalhos personalizados O que há de novo nesta versão: · Comportamento alterado ao limpar arquivos Temp que permite o desligamento para continuar mesmo se uma exceção for lançada durante o arquivo Temp Delete. · Corrigir bug onde c.f.flowprocess # opentepforead () incluiu valores de arquivo de entrada atuais no iterador. · Corrigir para arquivos temporários intermediários não sendo limpos no c.f.flow # stop (). · Bug fixo em que o NPE é lançado se todas as propriedades padrão do Hadoop não estiverem disponíveis.

Cascading. Software Relacionado