Recursos

Visão Geral da Plataforma

Digibee Hybrid Integration Platform

1 Introdução

A Digibee criou a sua Plataforma de integração híbrida para reduzir a complexidade da integração de ambientes de maneira drástica e para permitir que as empresas participem da transformação digital.

Os atuais times de integração precisam ter acesso a uma série de ferramentas e casos de negócio para que possam mesclar estilos de integração tradicionais e modernos. A Digibee possui as capacidades mais importantes para você levar em consideração:

  • uma grande variedade de componentes para alavancar os seus fluxos de integração, os quais podem consistir em ERPs, CRM, aplicativos in-house e sistemas legado;
  • uma arquitetura cloud-native resiliente, segura e escalável, construída em Kubernetes para automatizar o seu processo devOps, controle de versão e simplificar a sua infraestrutura;
  • bases de dados e múltiplas transformações de dados;
  • uma coleção de casos de negócio pré-montada para acelerar projetos (Cápsulas Digibee);
  • abordagem de integração low-code por meio de uma interface visual e de ícones arrastáveis;
  • suporte de gerenciamento de API para que você possa criar, assegurar, administrar e compartilhar APIs através de ambientes de forma rápida e simples;
  • integração de aplicativos e dados que te permitem copiar, transformar, transferir e sincronizar dados por aplicativos;
  • envio de mensagens e arquiteturas orientadas para eventos;
  • suporte 24 horas por dia, 7 dias por semana e todo o ambiente gerenciado por especialistas HIP;
  • uma equipe de suporte sempre conectada para apoio digital;
  • serviços profissionais especializados sob demanda.

2 Design

INTERFACE E RECURSOS PARA DESENHAR A INTEGRAÇÃO

A Digibee possui um time de UI poderoso e focado no usuário que permite ao desenvolvedor criar pipelines* ao arrastar e soltar componentes no canvas e utilizar formatos para configurá-los, o que reduz significativamente o tempo investido na implantação graças ao conceito de low code.
*Pipeline é o nome utilizado pela Digibee para cada fluxo de integração

CONECTIVIDADE NATIVA E CAPACIDADES DE TRANSFORMAÇÃO

Componentes são blocos de construção fundamentais de um pipeline. A Plataforma conta com uma rica gama de componentes nativos. Estes são os principais componentes que suportamos hoje:

  • Endpoints de Serviços Web com conexão para REST e SOAP
  • Transformação avançada de dados 
  • Conversões de estrutura de dados
    • XML para JSON 
    • JSON para XML 
    • JSON String para JSON
    • CSV para JSON
  • Streaming de dados
  • Conectividade de base de dados (definições e procedimentos SQL)
  • Provedor de mensagem
    • JMS
    • Kafka
    • SQS
    • RabbitMQ
  • Operações de arquivo
  • Serviços de armazenamento cloud-based:
    • Google Storage, AWS S3, Google Drive, One Drive and Dropbox
  • Integração ERP:
    • SAP
    • Totvs
    • Oracle E-Business Suite
    • Salesforce
    • Bling
  • Integração MS Excel
  • Troca de arquivo:
    • FTP e SFTP
    • WebDAV 
  • Envio de e-mail
  • Gerenciamento e Autenticação de Usuário
    • JWT
    • Autenticação Básica
    • OAuth 2.0
    • Cofre de Credenciais
  • Criptografia
    • Simétrica e Assimétrica
    • Assinaturas Digitais
    • PGP
    • CMS
  • Publicador de Evento 
  • Relacionamentos - mapeando identificadores entre sistemas diferentes
  • Object Store - habilidade para armazenar dados na Plataforma temporariamente para múltiplos uso e casos de integração
  • Declarações
  • Scripts customizados (Javascript)
  • Scripts de Automação de Processos Robóticos
  • Estrutura e validadores de mensagem de dados
  • Lógica
    • Loop
    • Iteração
    • Processamento condicional
    • Re-tentativas
    • Paralelismo

CÁPSULAS

Cápsulas são componentes reutilizáveis que qualquer usuário da Plataforma pode criar ao aplicar o mesmo modelo de desenvolvimento visual concebido na criação do pipeline. Isso permite que a integração de fluxos seja publicada na paleta de componentes para ser utilizada em outro momento.

Com as Cápsulas, as organizações podem oferecer lógicas de negócio pré-definidas a serem utilizadas por times internos, clientes e parceiros.

GESTÃO DE RELACIONAMENTO

Sempre que um processo de negócio é implantado, manter a consistência dos dados se torna um desafio - por exemplo, um produto é representado de maneiras diferentes por um sistema de e-commerce e um sistema de gerenciamento de warehouse (diferentes IDs, diferentes nomes de atributo); mesmo assim, eles representam o mesmo produto físico que precisa ser entregue ao consumidor. A Gestão de Relacionamento permite a criação de mapeamentos entre diferentes sistemas, trazendo consistência nos dados e no processo ao mesmo tempo que simplifica muito a criação de pipelines.

OBJECT STORE

Ao construir integrações que envolvem múltiplos sistemas, não é incomum ter que confiar em áreas de preparação de dados, assim como tabelas temporárias. O Object Store permite que você insira, atualize, busque e remova documentos JSON entre coleções, entregando uma funcionalidade tão desejada de forma estruturada, eficiente e descomplicada. Um padrão de uso comum para o Object Store é implantar uma fila de transação: transações são salvas como documentos para que sejam processadas sequencialmente quando possível ou necessário.

PIPELINES MULTI INSTÂNCIA

Replicar um processo em uma longa cadeia de lojas ou filiais (aqui queremos dizer lojas mesmo ou filiais organizacionais) é um desafio de integração significante. Ao fazer isso, fica ainda mais difícil manter a consistência e o custo baixo do domínio. Pipelines multi instância foram criados para solucionar esse problema. Eles consistem em um único pipeline com um mapa de parâmetro que mantém todas as informações específicas para lojas ou filiais que precisam ser integradas. Quaisquer mudanças no processo são feitas apenas em um pipeline específico, mas as implantações podem ser feitas separadamente para cada loja, resultando em resiliência e facilitando a expansão da operação do cliente de maneira gerenciada e monitorada.

TRIGGERS FLEXÍVEIS

Todo pipeline precisa de um trigger para dar início à sua execução. Existem muitos tipos diferentes de trigger na Plataforma que:

  • expõem o pipeline a chamadas diretas de API (endpoints de REST ou HTTP);
  • agendam execuções recorrentes (Scheduler);
  • associam o pipeline a um evento registrado, permitindo execução assíncrona - mais detalhes disponíveis na seção “Eventos”;
  • configuram o pipeline para escutar um tópico ou fila JMS (ActiveMQ e OracleAQ);
  • escutam mensagens de um provedor RabbitMQ;
  • consomem mensagens de um tópico Kafka;
  • escutam emails de uma caixa de entrada IMAP.

EVENTOS

A Plataforma foi desenhada de acordo com o paradigma orientado para eventos. Isso significa que pipelines geram e consomem eventos, criando um evento completamente assíncrono e resiliente. Eventos podem ser gerenciados, correlacionados e re-executados de acordo com necessidades de negócio específicas do cliente.

TESTAGEM SEGURA E ÁGIL

Todo pipeline pode ser executado em modo de teste, realizando chamadas a endpoints do mundo real e também a sistemas, provendo logs de execução e mensagens dentro do canvas de design do pipeline. Isso permite uma validação rápida, facilitando ajustes e correções sem a necessidade de re-implantar o pipeline no ambiente de execução.

VERSIONAMENTO ROBUSTO

Versionamento nativo, não opcional - gera versões secundárias para alterações menores e versões primárias para alterações que impactam as entradas e saídas do pipeline. Essa estratégias preserva a integridade da versão e possibilita a evolução futura do pipeline.

MASCARAMENTO DE DADOS SENSÍVEIS

Dados que não devem ser expostos podem ser marcados como sensíveis, tornando-se ofuscados no resultado de todas as plataformas (logs e mensagens).

AUDITORIA

Cada operação é auditada e armazenada em segurança pela Plataforma para que não seja indevidamente alterada.

3 Implantação

IMPLANTAÇÃO AUTOMÁTICA

A implantação é feita em segundos; escolha o ambiente - Teste ou Produção; selecione a versão do pipeline e o tamanho da implantação. A Plataforma cria um número correspondente de réplicas do pipeline de acordo com o tamanho selecionado da implantação, possibilitando o monitoramento e a publicação do pipeline e o tornando disponível imediatamente.

AMBIENTES SEGREGADOS

Um pipeline pode ser implantado em ambiente de não-produção, facilitando a sua validação no Runtime. Quando um pipeline está pronto, tudo o que você precisa fazer é implantá-lo no ambiente de produção.

RESILIÊNCIA

A Plataforma é 100% cloud native, completamente baseada em containers orquestrados por meio de Kubernetes. Um pipeline é implantado através de réplicas, as quais são instâncias de execução idênticas, porém logicamente isoladas em pods. Quando um evento ou uma solicitação associada a um pipeline é detectada, uma réplica disponível vai atendê-la para processamento imediato.

Caso uma réplica enfrente algum erro crítico que não permita o processamento bem sucedido da solicitação, então a solicitação passa a ser atendida e processada por outra réplica. A réplica que apresentou falha é automaticamente reciclada é se torna disponível mais uma vez, esperando por novas solicitações.

DESEMPENHO

A arquitetura da Plataforma promove isolamento de processo. Isso significa que uma réplica em ação não impacta o desempenho ou a estabilidade de nenhuma outra réplica associada, ou não, ao mesmo pipeline.

ESCALABILIDADE

A arquitetura da Plataforma permite o ajuste do número de réplicas do pipeline a ser implantado, levando-se em consideração as especificações da solicitação de processamento. Cada réplica no nosso ambiente Saas é acionada em zonas separadas.

4 Monitoramento

MONITORAMENTO NATIVO

A partir do momento que um pipeline é implantado, o monitoramento é ativado automaticamente - não é necessária intervenção humana.

DASHBOARD

O dashboard da Plataforma contém representação gráfica do comportamento de execução do pipeline: versão implantada, tempo médio de execução, erros e dinâmicas de execução, assim como acesso a logs de execução.

.

LOGS

Cada execução gera logs detalhados com tempo de execução, solicitação e mensagens de resposta dos pipelines. Logs adicionais podem ser criados pelos pipelines para dar suporte específico a solicitações de negócio.

ALARMES

A Plataforma gera eventos que representam condições específicas de pipelines. Esses eventos podem ser consumidos e enviados a gerenciamento de ticket de terceiros e monitoramento de soluções.

5 Evolução

VERSIONAMENTO E HISTÓRICO

A partir do histórico de versões do pipeline é possível gerar uma nova versão do pipeline, a qual pode ser testada e evoluída no ambiente de Teste enquanto a versão de produção continua no ar, sem ser afetada.

COEXISTÊNCIA E EVOLUÇÃO

A arquitetura da Plataforma permite que diferentes versões primárias de um pipeline estejam em produção simultaneamente, permitindo a adoção de estratégias de coexistência e zero-downtime.

PRONTO PARA TIMES ÁGEIS

A Plataforma desencadeia os benefícios do desenvolvimento ágil.

MODELO DE SUPORTE DIFERENCIADO

Além disso, a Digibee HIP (Hybrid Integration Platform) cria um ambiente que permite a construção colaborativa de integrações. A nossa equipe de suporte cria a oportunidade para que times ágeis interajam com os nossos consultores de integração em tempo real, seja para obter as respostas que precisam, debater boas práticas ou recebe suporte para desenvolver e implementar processos críticos de integração.

Apesar de as informações sobre a Plataforma serem públicas, os clientes podem se inscrever para receber notificações caso algum componente se torne indisponível.

6 Arquitetura

Digibee HIP

CLOUD-NATIVE

A Digibee HIP é uma Plataforma 100% cloud-native. Ela roda em Kubernetes, uma plataforma de execução comprovada que oferece enorme resiliência e escalabilidade.

PIPELINE ENGINE

É o elemento principal da Plataforma - encare como se fosse a Integração do Runtime. O Pipeline Engine é responsável por executar todas as integrações implantadas. Ele foi desenhado e extensamente testado para entregar desempenho, resiliência e executar os processos do seu negócio com total confiança.

Vamos entender um pouco mais sobre o seu funcionamento:

Toda integração é interpretada pelo Pipeline Engine e executada em contêineres isolados. Isso significa que cada pipeline tem em CPU dedicado e capacidade de memória alocada para a sua execução. Isso previne que falhas na integração impactem o desempenho de outras integrações e estabilidade.

Graças aos Kubernetes, quando uma execução problemática é detectada, a integração afetada é automaticamente reiniciada e fica pronta novamente em questão de milissegundos. Para garantir alta tolerância ao erro, o pipeline de cada integração é executado em múltiplas zonas de disponibilidade.

Isso é bastante diferente das soluções de integração tradicionais, assim como ESBs, nas quais todas as integrações dividem o mesmo contexto de execução.

O Pipeline Engine possui todos os códigos necessários para executar qualquer componente disponível na nossa Plataforma. Não é necessário escrever códigos adicionais para se conectar a uma tecnologia suportada.

Nós oferecemos componentes para processamento de mensagem, controle de fluxo, suporte a protocolos web assim como SOAP e REST, manipulação de arquivos tanto para base de dados relacionais e não-Sql, segurança, criptografia e muitos outros.

OS TRIGGERS

O Pipeline Engine em si não pode se comunicar com o mundo externo. Ele precisa de um trigger que faça a invocação. A Plataforma oferece uma grande variedade de triggers, assim como API/REST, Event-based, Scheduled, Message Queues, Email e HTTP.

Tanto para componente quanto para triggers, nós possuímos uma capacidade de desenvolvimento dedicada para criar novas versões e continuamente expandir as capacidades da Plataforma e prover cada vez mais suporte para cenários de integração empresariais.

Para ilustrar melhor o conceito de trigger, vejamos alguns cenários de uso:

API/REST

Uma empresa deseja oferecer aos seus desenvolvedores serviços específicos através de chamadas a APIs. Nesse caso, o pipeline de integração precisa ser configurado com um trigger REST para, quando for implantado, um endpoint seja exposto para que os usuários possam chamá-lo. Solicitações submetidas a esse endpoint serão encaminhadas ao pipeline para processamento.

Scheduled Execution

Uma integração lê arquivos em uma pasta SFTP, os processa e insere os seus dados em um sistema para a geração de relatórios legais - e isso precisa ser feito uma vez por dia. O processo pode ser seguido se configurado com um trigger Schedule para que a sua execução seja programada para rodar todos os dias, às 01h.

Filas de Mensagem

Uma integração precisa processar todas as mensagens postadas em uma fila ou tópico específico de um software de provedor de mensagens (como o RabbitMQ, Kafka). Tudo o que é preciso fazer é configurar o pipeline de integração com um trigger Message Queue para que ele processe mensagens conforme elas chegam.

FILA GERENCIADA

Nós implementamos um mecanismo nativo de enfileiramento. Sempre que um trigger recebe uma solicitação ou é agendado para execução, ele coloca uma solicitação no pipeline correspondente e esse pipeline é ativado assim que a mensagem chega. Se a integração falha no processamento da mensagem e é automaticamente reiniciada, a mensagem não é perdida - quando o pipeline volta a ficar online, ele se atualiza e processa as mensagens pendentes. Isso garante um alto nível de resiliência, tornando a Plataforma virtualmente imune a falhas na execução.

JUNTANDO TUDO

Agora nós vamos acompanhar uma transação do momento que o cliente a submete até o momento que a Plataforma entrega uma resposta. Digamos que essa transação seja uma chamada API.

Digibee HIP

A Plataforma oferece um gateway de API integrado, protegido por recursos de segurança de um provedor em nuvem para evitar ataques como o de DDoS. Assim que a transação passa pela infraestrutura de ponta do provedor, ela é recebida pelo nosso gateway, que direciona a mensagem para o trigger correspondente - nesse caso, o REST trigger.

A mensagem é postada na fila do pipeline. O pipeline a recebe e processa de acordo com fluxo de processamento desenhado - ele pode manipular a mensagem, tomar decisões com base no seu conteúdo, transformá-la e enriquecê-la com dados obtidos de outras fontes. Para desempenho e funcionalidade superiores, a Plataforma também possui serviços dedicados e avançados de cache e um sistema de armazenamento temporário de objetos, chamado de Object Store.

Depois que a mensagem é processada, o pipeline entrega a resposta para a solicitação submetida.

Designing, Deploying and Operating Integrations from the User Perspective

Desenhando, Implantando e Operando Integrações sob a Perspectiva do Usuário Todo esse processo pode ser monitorado através do portal da Plataforma. O portal permite que os usuários:

  • construam pipelines utilizando o canvas de pipelines, que permite arrastar e soltar componentes e desenhar o fluxo da integração;
  • testem pipelines através da funcionalidade integrada de modo de teste;
  • implantem pipelines nos ambientes de Teste e Produção;
  • monitorem transações e conteúdo de mensagens;
  • acessem os logs de auditoria.

Governança de Credenciais

Toda credencial necessária para acessar os sistemas que precisam ser integrados estão armazenados no cofre de credenciais da Plataforma. Depois que uma credencial é criada, ela não pode ser diretamente lida por ninguém - ela pode apenas ser acessada pelo pipeline durante o tempo de execução. Essa estratégia impede o acesso direto a credenciais, garantindo segurança excepcional e governança: clientes podem criar credenciais e compartilhá-las com desenvolvedores de pipelines apenas para propósitos de construção - o conteúdo das credenciais não fica disponível para visualização, nem edição.

Conectividade aos ambientes de clientes

Para poder acessar recursos que estão dentro das redes internas dos clientes, nós oferecemos gateways VPN dedicados que são completamente isolados através de políticas de rede.

7 Segurança

RECURSOS DA PLATAFORMA

  • A Plataforma possui uma série de controles de segurança:
  • auditoria para todas as ações administrativas;
  • acesso à Plataforma por 2FA;
  • gerenciamento completo do ciclo de vida do usuário com segregação de responsabilidade;
  • habilidade para integrar gerenciamento de usuário com o Diretório Ativo do próprio usuário ou outros;
  • melhores práticas para a exposição de endpoint utilizando mecanismos IPS e WAF dos maiores provedores em nuvem;
  • monitoramento 24 horas por dia, 7 dias por semana;
  • acompanhamento de incidentes em tempo real via statuspage.io;
  • reserva de CPU e memória para cada pipeline;
  • infraestrutura de isolamento para cada pipeline.

RECURSOS DO PIPELINE

  • Todos os pipelines podem ser aprimorados com segurança para acomodar as necessidades de negócio e técnicas. Estas são algumas possibilidades:
    autenticação que segue padrões de mercado;
  • criptografia;
  • campos sensíveis;
  • gerenciamento de senha;
  • limitação de taxa;
  • enfileiramento;
  • Restrição IP;
  • ACLs;
  • tamanhos de payload;
  • redundância;
  • recuperação.

Para saber mais sobre a Plataforma de Integração Híbrida Digibee, clique aqui e acesse nossa documentação.