• Marlene R.



Para entender data warehouse populares como o Amazon Redshift, primeiro você precisa entender sua arquitetura subjacente e os princípios básicos sobre os quais eles são construídos. O processamento paralelo maciço (ou MPP, para abreviar) é essa arquitetura subjacente. Neste guia, vamos mergulhar no que é um banco de dados MPP, como ele funciona e nos pontos fortes e fracos do processamento paralelo maciço. Se você tiver alguma dúvida, deixe-nos saber nos comentários!


Embora o armazenamento e a capacidade de computação tenham evoluído muito nas últimas décadas, a triste realidade é que eles não acompanharam as necessidades modernas de armazenamento e análise de dados. Os bancos de dados MPP resolvem esse problema alocando o poder de processamento necessário em vários nós diferentes para analisar grandes conjuntos de dados de maneira mais eficiente.


Big Data Analysis: A Human Example

Dimensione horizontalmente, não verticalmente

Para ver como uma arquitetura MPP torna o processamento de grandes conjuntos de dados mais eficaz, vamos nos afastar do mundo dos computadores por um minuto e ver como podemos resolver um problema semelhante com pessoas em vez de servidores. Suponhamos que você seja um pesquisador e que seu sonho de toda a vida seja contar o número total de palavras na Biblioteca do Congresso. Depois de se registrar pessoalmente em Washington, D.C. (tudo o que é necessário, surpreendentemente), você tem acesso e pega o primeiro livro que vê das prateleiras e começa a contar.


Neste exemplo, você representa um servidor que analisa os dados (a biblioteca do congresso) e processa a consulta (SOMA de palavras) e é fácil ver o problema com isso: de acordo com a Wikipedia, a Biblioteca do Congresso contém mais de 167 milhões itens exclusivos. Em uma velocidade de leitura normal, você levaria dezenas de milhares de anos para ler cada texto.


Reconhecendo isso, você tenta aumentar sua velocidade de leitura (escalando verticalmente). Você investe em aulas de leitura dinâmica e compra algumas ferramentas caras para ajudá-lo a abrir livros e folhear as páginas com mais rapidez. Isso permite que você dobre o número de palavras que pode contar em um minuto, mas mesmo com essa taxa aumentada, é evidente que você não completará sua tarefa até milhares de anos no futuro.


E se, em vez de investir no aumento de seu poder de processamento, você pedisse ajuda às 3.000 pessoas que a Biblioteca do Congresso emprega? Embora você só consiga ficar muito mais rápido na contagem de palavras, sua capacidade de escalar horizontalmente obtendo mais pessoas é quase ilimitada. O bibliotecário-chefe decide que este projeto seria uma ótima utilização do dinheiro do contribuinte e dedica cada funcionário a essa tarefa e coloca você no comando de todos.


Pense sobre esta situação por um minuto: O que faz mais sentido fazer? Como você organizaria todos para garantir resultados com rapidez, eficiência e precisão?


A coisa mais fácil a fazer provavelmente seria designar a cada pessoa o que parece ser uma parte quase igual da biblioteca para lidar, digamos ... todos ganham uma estante. Não será exatamente igual, mas será próximo o suficiente. Enquanto todos estão lendo os textos em suas prateleiras designadas e contando as palavras, você, como líder, está organizando tudo: você se certifica de que todos tenham uma prateleira designada, que eles recebam lanches e água e vão ao banheiro conforme necessário, e você encontre alguns trabalhadores temporários para preencher quando algumas pessoas ligarem dizendo que estão doentes.


Quando um funcionário termina de contar todas as palavras em sua estante, ele escreve o número em um post-it, vai até sua mesa e o entrega a você. Você então pega o número no post-it e adiciona-o à sua contagem contínua de palavras totais. Quando todos tiverem acabado com suas prateleiras, você terá sua contagem final!


Este é o processamento paralelo maciço em ação, apenas com humanos em vez de computadores. Dividir tarefas simples, mas grandes em vários baldes e processar esses baldes ao mesmo tempo será muito mais rápido do que uma pessoa trabalhando sozinha, não importa o quão habilidosa essa pessoa seja.


O que é um banco de dados MPP?

Simplificando, um banco de dados MPP é um tipo de banco de dados ou data warehouse onde os dados e o poder de processamento são divididos entre vários nós diferentes (servidores), com um nó líder e um ou mais nós de computação. No MPP, o líder (você) seria chamado de nó líder - você é quem diz a todas as outras pessoas o que fazer e classifica a contagem final. Os funcionários da biblioteca, seus ajudantes, seriam chamados de nós de computação - eles lidam com todos os dados, executando as consultas e contando as palavras. Os bancos de dados MPP podem ser dimensionados horizontalmente adicionando mais recursos de computação (nós), em vez de ter que se preocupar com a atualização para servidores individuais cada vez mais caros (dimensionamento vertical). Adicionar mais nós a um cluster permite que os dados e o processamento sejam espalhados por mais máquinas, o que significa que a consulta será concluída mais cedo.


Sem essa estrutura, executar até mesmo a mais simples das consultas em um grande conjunto de dados levaria um tempo proibitivamente longo.


Fonte by Flydata


#Datus #Database #DataWarehouse #BigData




Algumas das melhores plataformas e ferramentas de IoT para coleta, processamento, visualização e gerenciamento de dispositivos de dados.


As plataformas e ferramentas de IoT são consideradas o componente mais significativo do ecossistema de IoT. Qualquer dispositivo IoT permite a conexão com outros dispositivos IoT e aplicativos para passar informações usando protocolos padrão da Internet. As plataformas IoT preenchem a lacuna entre os sensores do dispositivo e as redes de dados. Ele conecta os dados ao sistema do sensor e fornece percepções usando aplicativos de back-end para criar uma noção da abundância de dados desenvolvidos pelos vários sensores.


A Internet das Coisas (IoT) é o futuro da tecnologia que ajuda a Inteligência Artificial (IA) a regular e entender as coisas de uma forma consideravelmente mais forte.


Nós escolhemos uma combinação das plataformas e ferramentas de IoT mais conhecidas que ajudam você a desenvolver os projetos de IoT de forma organizada.



# 1 - Zetta


Zetta é uma plataforma IoT baseada em API baseada em Node.js. É considerado um kit de ferramentas completo para fazer APIs HTTP para dispositivos. Zetta combina APIs REST, WebSockets para fazer aplicativos intensivos de dados e em tempo real. A seguir estão alguns recursos notáveis.


Ele pode ser executado na nuvem, ou em um PC, ou mesmo em placas de desenvolvimento modestas. Interface fácil e programação necessária para controlar sensores, atuadores e controladores. Permite que os desenvolvedores montem aplicativos de smartphones, aplicativos de dispositivos e aplicativos em nuvem.

Ele foi desenvolvido para aplicativos intensivos de dados e em tempo real.

Transforma qualquer máquina em uma API.


# 2 - Arduino


Se você está procurando fazer um computador que possa perceber e exercer maior controle sobre o mundo real quando relacionado ao seu computador autônomo comum, então o Arduino pode ser sua preferência sábia.


Oferecendo uma combinação apropriada de hardware e software IoT, o Arduino é uma plataforma IoT simples de usar. Ele opera por meio de uma série de especificações de hardware que podem ser fornecidas à eletrônica interativa. O software do Arduino vem no plano da linguagem de programação Arduino e do Integrated Development Environment (IDE).


# 3 - OpenRemote


OpenRemote introduziu uma nova plataforma IoT de código aberto para criar gerenciamento de energia profissional, gerenciamento de multidão ou aplicativos de gerenciamento de ativos mais genéricos.


Resumindo os recursos mais importantes:


- Ativo genérico e modelo de atributo com diferentes tipos de ativos

- Agentes de protocolo como HTTP REST ou MQTT para conectar seus dispositivos IoT, gateways ou serviços de dados ou construir uma API específica do fornecedor ausente.

- Editor de fluxo para processamento de dados e um WHEN-THEN e um Groovy UI para regras baseadas em eventos.

- Painel padrão para provisionar, automatizar, controlar e monitorar seu aplicativo, bem como componentes de IU da Web para construir aplicativos específicos do projeto.

- Consoles Android e iOS que permitem que você se conecte aos seus serviços de telefone, por exemplo, cercas geográficas e notificações push.

- Solução Edge Gateway para conectar várias instâncias com uma instância de gerenciamento central.

- Solução multi-tenant multi-realms, combinada com gerenciamento de contas e serviço de identidade.


Node-RED

Node-RED_3


# 4 - Node-RED


Node-Rd é uma ferramenta visual para alinhar a Internet das Coisas, ou seja, conectar dispositivos de hardware, APIs e serviços online de novas maneiras. Construído em Node.js, o Node-RED se descreve como “um meio visual de conectar a Internet das Coisas”.


Ele fornece aos desenvolvedores para conectar dispositivos, serviços e APIs usando um editor de fluxo baseado em navegador. Ele pode ser executado no Raspberry Pi e mais 60.000 módulos estão acessíveis para aumentar suas instalações.


# 5 - Flutter


Flutter é um núcleo de processador programável para projetos eletrônicos, projetado para estudantes e engenheiros. A conquista da glória pela Flutter é seu longo alcance. Esta placa baseada em Arduino inclui um transmissor sem fio que pode mostrar até mais de meia milha. Além disso, você não precisa de um roteador; placas flutuantes podem interagir umas com as outras rapidamente.


Consiste em criptografia AES de 256 bits e é simples de usar. Alguns dos outros recursos estão abaixo.


- Desempenho rápido

- IU expressiva e flexível

- Desempenho nativo

- Acabamento visual e funcionalidade de widgets existentes.

- Mainspring M2MLabs

- M2MLabs_5


# 6 - Mainspring M2MLabs


M2MLabs Mainspring é uma estrutura de aplicativo para o desenvolvimento de aplicativos máquina para máquinas (M2M), como controle remoto, administração de frota ou terminal inteligente. Suas instalações incluem design flexível de dispositivos, estrutura de dispositivos, conexão entre máquinas e aplicativos, validação e normalização de dados, repositório de dados de longo prazo e funções de recuperação de dados.


É baseado em Java e no banco de dados Apache Cassandra NoSQL. Os aplicativos M2M podem ser modelados em horas em vez de semanas e, posteriormente, passados ​​para um ambiente de execução de alto desempenho feito em cima de um servidor J2EE padrão e o banco de dados Apache Cassandra altamente escalável.


# 7 - ThingsBoard


ThingsBoard é para coleta de dados, processamento, visualização e gerenciamento de dispositivos. Ele mantém todos os protocolos IoT padrão, como CoAP, MQTT e HTTP, tão rapidamente quanto implementações em nuvem e no local. Ele cria fluxos de trabalho com base em eventos de ciclo de vida de design, eventos de API REST, solicitações RPC.


Vamos dar uma olhada nos seguintes recursos do ThigsBoard.


- Uma plataforma estável que combina escalabilidade, produção e tolerância a falhas.

- Fácil controle de todos os dispositivos conectados em um sistema excepcionalmente seguro

- Transforma e normaliza as entradas do dispositivo e facilita alarmes para gerar alertas em todos os eventos de telemetria, restaurações e inatividade.

- Ativa recursos específicos de estado de uso usando grupos de regras personalizáveis.

- Lida com milhões de dispositivos ao mesmo tempo.

- Nenhum momento único de falha, pois cada nó no pacote é exato.

- Instalações multilocatário prontas para uso.

- Trinta widgets de painel altamente personalizados para acesso do usuário com sucesso.


Conclusão


Estamos vivendo em um mundo onde tudo está conectado à Internet, que estará gerando dados e informações que podem ser usados, analisados e, claro, explorados para aproveitar melhor os recursos da competitividade das empresas e cidades. Portanto, se você deseja que seu negócio tire proveito desse impacto e de como todos vivenciam o mundo ao seu redor, você deve concentrar seus desenvolvimentos na criação de “aplicativos conectados”.


Fonte: by geekflare


#IoT #Datusphere


  • Marlene R.


A automação de processos robóticos está rapidamente ganhando popularidade na era atual. Tornou-se uma das tecnologias mais intensivas do mundo digital. Com a adoção por várias indústrias, RPA experimentou um crescimento robusto. Assim, 2019 está apresentando as últimas tendências de RPA, que também beneficiarão empresas, mercado e indivíduos.


Em 2018, ganharam força a automação de processos inteligentes, contribuição para big data e IoT, integração com outras ferramentas, foram um incremento na adoção de ferramentas de RPA etc.


De acordo com a Grand View Research, o mercado de RPA avaliado em US $ 357,5 milhões em todo o mundo deverá crescer para US $ 8,75 bilhões até 2024 a um CAGR de 31%. Esperava-se que a automação se tornasse uma das principais tendências tecnológicas nos próximos anos.


De acordo com a Gartner Research, espera-se que os gastos globais com software RPA atinjam US $ 2,4 bilhões em 2022. Além disso, até o final do ano 2022, 80% das grandes e muito grandes organizações terão implantado o RPA de qualquer forma.


Aqui, algumas das principais tendências de RPA


# 1 Implantação aprimorada de RPA no mainstream

Para a maioria das empresas, não é fácil implantar o RPA no mainstream, mas se você falar sobre as previsões do RPA para 2019, a maioria das empresas implementará o RPA apenas para experimentar as conquistas alcançadas por seus concorrentes e colegas.


Agora, poucas empresas estão usando o RPA no mainstream. De acordo com um relatório sobre as previsões de RPA publicado pela Capgemini, atualmente o RPA é usado por apenas 39% das empresas. A maioria das empresas ainda hesita em implantar o RPA no mainstream, principalmente devido aos recursos de segurança. Eles ainda acreditam que mudar para a robótica e a computação em nuvem não é adequado para seus negócios.


No relatório, observa-se que 42% das empresas não estão prontas para implantar o RPA no mainstream. Mas se falarmos sobre as previsões da RPA para 2019, muitas delas mudarão para a RPA no próximo ano. Isso resultará em mais crescimento em seus produtos também. Além disso, virtualmente o front-end e o back-end dos dois processos sofrerão alguma queda, com certeza.


#2 maiores oportunidades de emprego

Nas tendências de RPA 2018, observou-se que o RPA eliminará as responsabilidades humanas em termos de propriedade. Mas nas próximas tendências da RPA, podemos mencionar claramente que a RPA apenas diversificará as responsabilidades humanas.


A maioria das empresas ainda não escolheu o RPA apenas porque acredita que ele eliminará puramente as responsabilidades humanas. Mas não é verdade, pois o RPA está lá apenas para apoiar operações. Acreditamos que a RPA aumentará as oportunidades. É apenas que os papéis serão alterados. Você pode ajudar as empresas a crescer, tornando-se analista de negócios. Você também pode aprender novas habilidades atualmente necessárias no RPA. A RPA tem um escopo enorme no futuro, à medida que o mundo está se transformando na era digital.


Além disso, os empregos criados pela RPA também ajudarão os candidatos em diferentes setores, seja de TI ou civil. Segundo um estudo de uma agência, 60.000 robôs industriais foram implantados no período de 2010 e 2015. Surpreendentemente, o número de empregos criados por isso foi de 230.000. Isso mostra que soluções RPA e humanos trabalharão juntos.


# 3 Maior adoção de RPA

Poucos setores já acreditavam que a automação de processos robóticos tem crescimento a longo prazo. Em um relatório, 3,1% das empresas acreditam que a implantação da Robotic Process Automation pode automatizar seus negócios. Se você falar sobre as tendências da RPA, a RPA será a entidade mais comum em Tecnologia da Informação.


Além disso, você verá um enorme incremento nessa implantação de 3,1% para 36,4%. O governo também está ajudando as empresas a se adaptarem às soluções de automação de processos robóticos. A RPA é responsável pela mudança de comportamento do departamento governamental e das pessoas envolvidas.


Em 2019, a adoção do RPA será aumentada em relação a 2018. Terá mais impacto nos negócios e empresas; será usado em mais processos e maneiras do que agora. Considerando o fato de que a RPA terá o impacto mais positivo de seus negócios, ela adotará prontamente a RPA.


# 4 Integração RPA com outras ferramentas e tecnologias

A abordagem do centro de excelência (COE) da implementação é uma das iniciativas de RPA de maior sucesso. O centro de excelência (COE) é a abordagem em que a nova tecnologia pode ser inserida em uma tecnologia nova no setor. Se você vê tanto organizacional quanto culturalmente, é garantido que ele se torne extremamente absorvido.


Fornece conhecimento institucional e técnico. Um centro de excelência (COE) é responsável por praticar, distribuir e classificar as inovações no RPA. Você verá o avatar eficiente do RPA integrado a outras tecnologias no espaço digital.


Quando usada com as outras ferramentas de automação, a ferramenta RPA é vista mais expandida. Pode começar a nova era da era digital que trará novas inovações. O RPA integrado a outras ferramentas de automação transformará a força de trabalho humana em uma força de trabalho digital mais poderosa.


# 5 Avanço da inteligência artificial e do aprendizado de máquina

Em uma nova e empolgante era cognitiva, o RPA é a força de trabalho digital de Inteligência Artificial e Machine Learning. Usando essas tecnologias inteligentes, os líderes em inovação e os pioneiros em negócios podem desenvolver as melhores estruturas para tudo, desde pessoal a finanças, desenvolvimento e produção.


A Automação de Processos Robótica está ajudando as empresas a economizar tempo, custo e produtividade dos funcionários. A era cognitiva é a próxima era da automação de processos robóticos. As empresas sabem que o RPA é útil para seus negócios. Inteligência Artificial e Aprendizado de Máquina são as técnicas cognitivas que utilizam os negócios com muita delicadeza. A Automação de Processo Robótica é útil no fornecimento de soluções para lógica difusa, reconhecimento de imagem e padrão e interação de voz em linguagem natural. Você pode criar bots para repetir essas atividades.


Em um relatório, é mencionado que, dentro de quatro anos, a Automação de Processos Robótica combinada com Inteligência Artificial deve causar um grande impacto. Além disso, 25% das empresas acreditam que a Inteligência Artificial, juntamente com a Automação Robótica de Processos, acabará mudando suas necessidades nas operações.


Fonte: whizlabs


#RPA, #IA, #Innovation