đź’­Paradigmas Antigos e Atuais de BI: uma breve reflexĂŁo

Publicado porfelipelamounierPublicado emversĂŁo PT

🇺🇸 View this post in English version ↗
Bem Vindo(a)!
Por Felipe Lamounier, Minas Gerais, Brasil – powered by 🙂My Easy B.I.

No mundo dos dados, muita coisa mudou ao longo do tempo, especialmente no campo do Business Intelligence (BI). Desde os primeiros Data Warehouses até agora, houve uma grande transformação na forma como lidamos com informações.

Neste post, vamos explorar essa evolução no BI. Veremos como passamos de atualizações diárias para a necessidade de ter informações em tempo real e como as tecnologias se adaptaram a essas mudanças. Vamos descobrir como isso afetou não só a forma como guardamos os dados, mas também como os usamos para tomar decisões importantes.

đź“‘ ĂŤndice:

  1. Paradigma Antigo de BI (Business Intelligence)
    1. Data Warehouse
    2. Front End
  2. Novo Paradigma de BI (Business Intelligence)
    1. Necessidades atuais de dados
    2. Introdução ao Novo Paradigma DW: do Físico para o Virtual/Lógico/Híbrido
    3. Conceito de DW Virtual/Lógico – Arquitetura Lambda
    4. Abertura e Conectividade
    5. Vantagens do modelo DW Virtual/Lógico – Arquitetura Lambda
    6. Modelo DW Híbrido (Físico + Virtual) – Arquitetura Lambda
    7. Front End e Data Visualization
  3. ConclusĂŁo
    1. 🔭Veja Também:

Paradigma Antigo de BI (Business Intelligence)

Data Warehouse

O Data Warehouse como foi concebido inicialmente nos anos 80 é, como o próprio nome diz, um armazém de dados, onde os dados são extraídos dos sistemas fontes, transformados pelo processo de ETL e são gravados fisicamente em um repositório central de informações.

Dentro desse repositório, os dados são segregados por áreas DataMarts e então disponibilizados para consulta.

Em suma, dados são extraídos de fontes, persistidos fisicamente em um repositório de informações e consumidos por ferramentas de Data Explorer ou Dashboards.

Note que devido à tecnologia da época, o drive principal de um DW era a replicação física dos dados de sistemas transacionais (OLTP) para um sistema analítico (OLAP).

Ainda sobre o padrão da época, a frequência de atualização das cargas é D-1, e outro ponto importante era a quantidade e a característica dos sistemas fontes de dados.

As fontes de dados eram em quantidade menor, basicamente havia o sistema central ERP, e outros sistemas de chão de fábrica (MES).

Estávamos em um período em que não tínhamos IOT, não tínhamos sistemas e plataformas externos baseado em Nuvem nem bancos de dados em memória. O disco (storage) possuía uma velocidade de I/O limitado à tecnologia da época.

Basicamente o processamento dos dados eram baseados em disco e processador, com capacidade de volumetria menor, daĂ­ o normal para frequencia dos dados no BI serem D-1.

Reforçando novamente, o drive principal deste conceito era a replicação Física dos dados em um repositório próprio para este objetivo que faz todo a orquestração necessária.

imagem mostrando o esquema e framework de um Data Warehouse, divido por Data Sources, Staging Area, Warehouse, Data Marts e Camada de visualização

Front End

Os conceitos de relatórios Estratégico, Tático e Operacional já existiam, mas as ferramentas da época não tinham o apelo visual como temos hoje.

O Front End era voltado principalmente à entrega de dados tabulares no estilo “tabela dinâmica” para o usuário final. O usuário consumidor ainda não tinha uma grande maturidade com os conceitos de BI e os requisitos de negócio eram na sua maioria a construção de queries no formato lista.

Conceitos como gestão por KPIs macros (Torre de Controle), Gestão por Exceção, Gráficos de Paretto, não eram tão difundidos e, portanto, raramente produtos de BI tinham essa característica.

Um fator interessante eram como as informações estratégicas chegam aos gestores, que eram por PowerPoint. Seus liderados executavam as queries listas, exportavam para o Excel, onde eram manipulados os dados e criados gráficos, e então compilavam as informações em uma apresentação PowerPoint para o público Estratégico.

Veja também que a quantidade de pessoas que tinha acesso aos relatórios era menor que atualmente. Usar o BI não era tão popular quanto é hoje.

Novo Paradigma de BI (Business Intelligence)

Necessidades atuais de dados

Chegamos em um ponto em que os requisitos de B.I. foram avançando e passamos da necessidade de dados em D-1 com volumetria de centenas de milhares de registros para dados em Real-Time e processamento de dezenas de milhões de registros. Todos esses requisitos mantendo a performance na casa dos segundos.

Introdução ao Novo Paradigma DW: do Físico para o Virtual/Lógico/Híbrido

O conceito abstrato de um Data Warehouse continua o mesmo atualmente. Temos um ambiente que orquestram conexões, extrai, transforma os dados e envia estes dados para softwares analíticos.

A mudança no paradigma atual está em um DW se tornar cada vez mais Virtual/Lógico e cada vez menos Físico, enxugando etapas no meio do caminho.

Ou seja, cada vez mais eliminar passos intermediários entre o dado original (na fonte) até o seu destino final (por exemplo, camada front-end do usuário).

Portanto, alguns fatores importantes foram sendo ajustados ao longo do tempo para fazer um DW suportar estas novas necessidades de mercado.

O que nos permite alcançar essas marcas é a evolução das tecnologias de banco de dados em memória, computação elástica, processamento distribuído na nuvem, dentre outros.

Conceito de DW Virtual/Lógico – Arquitetura Lambda

DW Virtual consiste em conectar com uma ou mais fontes de dados, trazer esses dados para a camada do DW que irá utilizar seus recursos (disco, memória, cpu) para realizar processamentos necessários nesses dados, tais como filtros, Join, Unions e enviar esses dados para a camada de Analytics, tudo isso sem persistir os dados fisicamente no DW.

Dessa maneira alcançamos ao tão desejado Real-Time.

Abaixo uma imagem esquemática simples do que foi mencionado acima:

imagem mostrando o desenho esquemático da arquitetura dados em real time, onde temos uma fonte de dados, uma conexão live connection indo pro Real-Time para a camada de Analitycs

Abertura e Conectividade

Outro ponto importante para o DW do futuro é a abertura e conectividade com qualquer (ou quase) toda fonte de dados. Faz parte também a conexão de saída destes dados para plataformas de terceiros de Analytics ou Big Data (Power BI, Azure Data Factory, Databricks, etc).

Para atingir este objetivo, uma plataforma moderna de DW tem que ser capaz de ser aberta não somente a ferramentas do ecossistema do fornecedor proprietário, assim como qualquer outra plataforma.

Vantagens do modelo DW Virtual/Lógico – Arquitetura Lambda

Dados em Real-Time ou Near-Real Time, sem falha de cargas, sem dados desatualizados ou valores divergentes entre a fonte e o destino, diminuição do consumo de espaço em disco, maior confiabilidade dos dados.

Claro que há também desvantagens, pois é um trade-off entre rapidez e processamento. A desvantagem que temos nesse modelo é conseguir onerar o sistema fonte transacional com consultas pesadas, o que pode causar quedas de performance no ambiente transacional ou até mesmo indisponibilidade momentânea.

Para resolver este problema, utilizaremos o conceito do Modelo DW HĂ­brido, que se adequa melhor Ă  realidade.

Modelo DW Híbrido (Físico + Virtual) – Arquitetura Lambda

Consiste em gravar fisicamente dados no Data Warehouse, assim como também utilizar o modelo Virtual de Live Connection e utilizar a orquestração do DW para unir esses dados em uma consulta transparente para a camada de consumo dos dados.

Imagine o requisito de negócio onde é necessário mostrar um Painel com dados de faturamento por dia acumulados no mês, com dados (Near)Real-Time.

Para não onerar o sistema fonte transacional, a técnica híbrida a ser utilizada seria armazenar fisicamente no DW os dados até o dia anterior e para o dia atual consultar esses dados Virtualmente no sistema fonte e a orquestração do DW juntar esses dados em uma consulta híbrida que irá entregar os dados com performance necessária para a plataforma. Todo esse processo fica transparente para o destino final dos dados.

imagem esquemática da arquitetura lambda, mostrando um modelo de dados que junta e une fontes de dados real-time mais fonte de dados físicos armazenados no Data Warehouse e que se unem na camada de analytics para dar relatórios atualizados

Front End e Data Visualization

As ferramentas de Front diversificaram e melhoraram o apelo visual ao longo do tempo, também se popularizaram com o surgimento do Power BI em 2018, uma ferramenta gratuita, com interface parecida com Excel, trazendo familiaridade ao usuário comum, caindo no gosto geral.

Agora os conceitos de BI já são mais consolidados, com uma maior maturidade dos usuários de negócio e os requisitos buscam mais valor aos consumidores do BI.

Além da qualidade da informação (dados), a beleza dos painéis é levada em consideração e isso traz um valor agregado aos produtos de BI. Os consumidores exigem visuais modernos e interativos.

Em se tratando de análise dos dados, conceitos de Torre de Controle, Gestão por Exceção, gráficos diferentes (além do gráfico de pizza e linha), adequados e personalizado para análise daquele dado específico foram se popularizando junto aos usuários de negócio.

Com a evolução da tecnologia, os 3 pilares de análise: Estratégica, Tática e Operacional ficaram mais robustos requisitando dados mais próximo do Real-Time para tomada de decisão cada vez mais assertiva.

Até então, o padrão de atualização dos dados era D-1 e isso tornava relatórios Operacionais de certa forma atrasados, uma vez que necessitava de uma atuação rápida naquele determinado problema ou indicador mapeado, visto que o foco é as tarefas e atividades diárias. Para Análise Estratégica e Tática uma análise D-1 era factível, porém quanto mais rápido fosse a informação mais valor a tomada de decisão teria.

Um ponto muito importante desta disrupção da visualização dos dados foi introduzir perguntas importantes para definir um bom produto de BI, que são:

  • Seus dados contam uma histĂłria (storytelling)?
  • Existe contexto suficiente para acompanhá-lo?
  • Que perguntas sua visualização responderá?
  • QuĂŁo fácil será para as pessoas encontrarem insights que nĂŁo esperavam?
  • E quĂŁo fácil será para eles compartilhar esses insights com outras pessoas?

Em resumo, gestão eficiente e direta, beleza nos visuais, visuais certos para o tipo de análise certa, ferramentas interativas, controle de exceção, indicadores macros de saúde da empresa, dados Real-Time (ou mais próximo disso) e storytelling dos dados marcam essa nova fase.

ConclusĂŁo

A jornada do Business Intelligence (BI) mostra como os dados mudaram ao longo do tempo. Dos primeiros Data Warehouse aos modelos atuais mais rápidos, vimos uma grande transformação. No futuro, a tecnologia seguirá mudando o BI, buscando dados rápidos e confiáveis para ajudar nas decisões. Essa busca por equilíbrio entre velocidade e precisão será chave para novas soluções em um mundo que valoriza informações.

O BI continuará guiando decisões com dados valiosos. A revolução tecnológica seguirá moldando o campo, buscando dados rápidos e precisos. A busca por soluções equilibradas continuará sendo essencial para um mundo cada vez mais orientado por informações.

Dúvidas, sugestões ou comentários, por favor deixe nos comentários mais abaixo, no fim da página.

Keywords:

Gostou do conteúdo? Quer receber mais dicas? Se inscreva ↗ grátis!

🔭 Veja também Páginas:
🏠Home Page
đź’ˇBlog


🎓🚀Training&Education
🖼️Galeria de Imagens do Site

Quer aprender mais? Acesse nossa área 🎓🚀Training&Education↗

Siga nas redes sociais:

Um comentário em “đź’­Paradigmas Antigos e Atuais de BI: uma breve reflexĂŁo”

  1. Pingback: Old and Current BI Paradigms: a brief reflection – 🙂My Easy B.I.

Deixe um comentário