Theobald x SAP: Entenda a ferramenta de extração de dados de ambiente SAP

Theobald Xtract Universal representação esquemática

Bem Vindo(a)!
Por Felipe Lamounier, Minas Gerais, Brasil – powered by 🙂My Easy B.I.


Neste artigo iremos fazer um estudo sobre o software Theobald (com foco no SAP), apresentar seus recursos, suas vantagens e entender qual é o papel do Theobald na extração de dados de sistemas SAP e SAP BW.



📑 Índice:

  1. Introdução
  2. Tipos de Extratores
  3. Xtract Universal
    1. Xtract Universal: DeltaQ & ODP
    2. Destino de dados
    3. Configurar Destino de Dados
  4. Requisitos
    1. Sistemas SAP Suportados
    2. Sistemas SAP Não Suportados
    3. Banco de Dados HANA
    4. Sistema Operacional
    5. Requisitos de hardware
  5. Instalação e Atualização
  6. Licenciamento
  7. Getting Started com Xtract Universal
    1. Passo 1: Conecte o Designer a um Servidor
    2. Passo 2: Etapa 2 – Criar uma conexão SAP
    3. Passo 3: Definir uma extração de Tabela
    4. Passo 4: Executar uma Extração
    5. Passo 5: Gravar dados extraídos em um destino
    6. Designer – Visão geral da janela principal
    7. Configurações Gerais
  8. Executar e automatizar extrações
    1. Parâmetros de Extração
    2. Chamada via linha de comando
    3. Chamada via Webservice
    4. Chamada via Scheduler
    5. Chamada via ferramentas de ETL
    6. Parâmetros SQL
  9. Técnicas Avançadas
    1. Variáveis ​​definidas pelo usuário
    2. SAP Single Sign On
    3. Acesso a metadados via HTTP-JSON
    4. Acesso a metadados via HTTP
    5. Expressões de Script
    6. Backup e Migração
    7. Processamento Delta
    8. Filtrando Extrações
    9. Configurar um XU Service Account
  10. Configuração do Servidor
  11. Logs
  12. Segurança
  13. Componentes do Xtract Universal
    1. BAPI
    2. BW Cubo
    3. BW Hierarquia
    4. DeltaQ
    5. ODP (Operational Data Provisioning)
    6. OHS (Open Hub Services)
    7. SAP Query
    8. Report (Programa ABAP) ou Transação SAP
    9. Tabela SAP
    10. Tabela CDC (Change Data Capture)
  14. SAP Customizing
  15. FAQ
  16. Conclusão

🔭 Veja também Páginas:
🏠Home Page
💡Blog


Introdução

Theobald é uma solução de extração de dados do SAP que permite que as empresas extraiam dados do sistema SAP / SAP BW e os migrem para outras plataformas.

A solução utiliza as APIs e recursos do próprio SAP para extrair dados, garantindo alta performance e segurança. Além disso, oferecem opções de automação para agendar a extração de dados e atender às necessidades de atualização dos usuários. Eles também oferecem ferramentas de governança de dados e qualidade de dados para ajudar as empresas a garantir que os dados migrados sejam precisos e confiáveis.

A arquitetura de extração de dados do Theobald é baseada em componentes que permitem extrair dados do SAP e migrá-los para outras plataformas. Alguns dos componentes chave incluem:

  1. Conector SAP: Utiliza as APIs do próprio SAP para extrair dados de fontes de dados, como tabelas e funcionalidades do SAP.
  2. Pipeline de extração: Controla o fluxo de dados a partir da fonte até o destino, incluindo o processamento, a validação e a limpeza dos dados.
  3. Ferramenta de mapeamento de dados: Permite aos usuários mapear os dados do SAP para o formato de destino desejado, incluindo a conversão de tipos de dados e a aplicação de regras de negócios.
  4. Repositório de dados: Armazena os dados extraídos do SAP para garantir que eles estejam disponíveis para uso posterior.
  5. Automatização: Oferece opções para agendar a extração de dados e atender às necessidades de atualização dos usuários.

Tipos de Extratores

O Theobald possui suporte para vários tipos de fontes de extração no SAP, incluindo:

  1. Infoprovider: O Theobald suporta a extração de dados de Infoproviders no SAP BW, incluindo InfoCubes, DSOs (Data Store Objects) e InfoObjects.
  2. Tabelas do SAP: É possível extrair dados de tabelas do SAP, incluindo tabelas de transações, tabelas de master e tabelas de customização.
  3. BAPIs: É possível extrair dados usando BAPIs (Business Application Programming Interfaces), que são interfaces padrão fornecidas pelo SAP para acessar dados em sistemas SAP.
  4. Extratores (DataSource), inclusive extratores Delta
  5. SAP Query e SAP BW BEx Query.
  6. SAP HANA View
  7. CDS View
  8. Open HUB
  9. Programas e Funções ABAP

O Theobald também suporta a extração de dados de fontes externas, como arquivos CSV, Microsoft Excel e bancos de dados externos.

Estes tipos de extratores acima são chamados de Xtract Universal. Iremos aprofundar em detalhes sobre ele no próximo capítulo.


Anúncios


Xtract Universal

Xtract Universal é o nome técnico dado pela Theobald para o seu conector universal SAP que extrai dados dos tipos de extrações mencionadas no capítulo anterior e os envia para vários destinos, inclusive nuvem, conforme imagem abaixo:

Theobald Xtract Universal representação esquemática com o desenho da estrutura e como funciona os métodos de conexão e extração dos dados
Representação esquemática da ferramenta Theobald Xtract Universal

BAPI: acessa BAPIs e módulos de função RFC.
BW: extrai dados de SAP BW InfoCubes e BEx Queries.
BW Hierarchy: extrai Hierarquias de um sistema SAP BW/BI.
DeltaQ: extrai DataSources (OLTP) e extratores de sistemas ERP e ECC.
ODP: extrai dados por meio da estrutura SAP Operational Data Provisioning (ODP).
Open Hub Services (OHS): extrai destinos InfoSpokes e Open HUB
Query: extrai consultas de ERP. Observação: não são consultas BEx do BW
Report: extrai dos programas ABAP
Tabela: extrai dados de tabelas e views SAP; permite juntar várias tabelas no lado SAP
TableCDC: extrai conteúdo delta de tabelas e views SAP.

Os componentes dependem do tipo de sistema origem SAP (ERP/ECC ou BW):

Xtract Universal: componentes por tipo de sistema fonte SAP mostrando componetes do ERP ECC e também SAP BW
Xtract Universal: componentes por tipo de sistema fonte SAP

Abaixo a tela de configuração de conexão do Theobald. No exemplo foi feito uma configuração do extrator ‘0FI_GL_4’. Observe que foi configurado a extração Delta.

O Theobald consegue executar extratores Delta, funcionando da mesma maneira como se fossem chamados pelo BW, respeitando a fila Delta, enviado apenas os registros modificados.

Tela Theobald Xtract Universal Designer mostrando tela de extração do datasource sap to ODP, mostrando como extratir dados de um extrator sap standard
Tela Theobald Xtract Universal Designer
Xtract Universal Designer - Definir fonte SAP ODP mostrando possiblidade de carga delta do extrator do ecc e sap bw
Xtract Universal Designer – Definir fonte SAP ODP

Abaixo um vídeo de exemplo de configuração de uma nova extração para “SAP Table or View”:

Theobal Xtract Universal: Criar conexão com SAP Table or View
Fonte: https://theobald-software.com/en/xtract-universal/

Basicamente temos a Extração; Tipo de conector; Fonte; Destino:

Xtract Universal representação básica das extrações
Xtract Universal representação básica da extração
Fonte: https://help.theobald-software.com/img/content/glossary-example.png


Anúncios


Xtract Universal: DeltaQ & ODP

O componente DeltaQ e ODP é o conector considerado a cereja do bolo para extração de dados SAP. Com ele é possível extrair dados de SAP DataSourcers (Extratores ECC e BW). O principal benefício é o mecanismo de extração incremental de dados (Delta), uma função também integrada pelo SAP BW.

DeltaQ e ODP permitem o uso de DataSources e assim elimina a necessidade de um SAP BW. O componente ODP é a resposta da Theobald Software aos novos tipos de extração SAP ODP. Este componente também pode ser usado para extrair SAP DataSources, bem como CDS Views, objetos BW/4HANA e outras fontes de dados.



Destino de dados

O Theobald pode enviar dados extraídos de diferentes fontes para uma ampla variedade de sistemas, tais como:

  1. Banco de Dados e Data Warehouse:
    Amazon Redshift; Azure Synapse Analytics (SQl pool); Azure SQL Database; EXASolution; IBM DB2; MySQL; Oracle; PostgreSQL; SAP HANA; Snowflake; SQL Server
  2. Ferramentas de BI / Analytics / ETL:
    Alteryx; Power BI connector (Cloud/Desktop); Tableau; Qlik (QlikSense and QlikView); KNIME
  3. Sistemas de Negócio:
    Salesforce; SharePoint
  4. Plataformas de Nuvem:
    Amazon S3; Azure Storage; Google Cloud Storage; Hadoop
  5. Destinos Genéricos:
    CSV web service (via HTTP); JSON web service; Flat File – CSV; Flat File – JSON; Flat File – Parquet

Configurar Destino de Dados

Para obter informações de como configurar todas as conexões listadas acima, acesse: https://help.theobald-software.com/en/xtract-universal/destinations


Sistemas SAP Suportados

  • Todos os sistemas baseados em SAP ABAP que fornecem conectividade RFC são suportados. Toda a comunicação com o SAP é realizada através do protocolo RFC.
  • Sistemas SAP ABAP em qualquer banco de dados (incluindo HANA) são suportados. O banco de dados utilizado pelo sistema SAP é irrelevante, pois a integração ocorre no nível do servidor de aplicação SAP.

Sistemas SAP Não Suportados

  • Sistemas SAP que não rodam em sistemas ABAP
  • Sistemas SAP que não fornecem conectividade RFC.

Banco de Dados HANA

Use o Operational Data Provisioning (ODP) para conectar o banco de dados SAP HANA de um sistema de origem SAP ABAP. A comunicação é feita via RFC. Estão disponíveis os seguintes tipo de objetos:

  • Analysis Views
  • Calculation Views
  • Associated Attribute Views

O acesso direto a um banco de dados HANA sem um sistema de origem SAP ABAP correspondente não é suportado.


Sistema Operacional

  • Windows 11
  • Windows Server 2022
  • Windows 10
  • Windows Server 2019
  • Windows 8.1 (until 10.01.2023)
  • Windows Server 2016 (until 12.01.2027)
  • Windows Server 2012 R2 (until 10.10.2023)
  • Windows Server 2012 (until 10.10.2023)

Requisitos de hardware

  • Processador: Mínimo: 2 núcleos. 1 núcleo adicional é necessário para cada extração paralela adicional.
  • Mínimo: processador: 1,4 GHz, recomendado: 2,0 GHz ou mais rápido.
  • Memória:
  • Mínimo: 8 GB, recomendado: 12 GB para até duas extrações paralelas.
    4 GB de memória dedicada em média para cada extração paralela adicional.

Instalação e Atualização

Para detalhes sobre instalação e atualização do Theobald acesse o link: https://help.theobald-software.com/en/xtract-universal/introduction/installation-and-update


Licenciamento

O Xtract Universal é licenciado por servidor e é independente se está instalado em um ambiente produtivo ou não produtivo. Em ambos os casos é necessário uma licença completa. Outro ponto é que cada Destino (destination Add-On) precisa ser licenciado adicionalmente.

A fornecedora recomenda a instalação em pelo menos 2 servidores independentes (DEV e PRD) para que a instalação de novas funcionalidades e atualizações não comprometam a estabilidade do ambiente produtivo.


Anúncios


Getting Started com Xtract Universal

Os Pré-requisitos para começar com o Xtract Universal são:

  1. Download e Instalação
  2. Checar se a conexão com SAP está aberta
  3. Conceder direitos de acesso no SAP
  4. Checar se customização no SAP é necessária: para os casos de SAP Table↗ (opcional), Programa↗, Open HUB↗ e DeltaQ

Passo 1: Conecte o Designer a um Servidor

https://help.theobald-software.com/en/xtract-universal/getting-started/connect-designer-with-server


Passo 2: Etapa 2 – Criar uma conexão SAP

https://help.theobald-software.com/en/xtract-universal/getting-started/sap-connection


Passo 3: Definir uma extração de Tabela

https://help.theobald-software.com/en/xtract-universal/getting-started/define-a-table-extraction


Passo 4: Executar uma Extração

https://help.theobald-software.com/en/xtract-universal/getting-started/run-an-extraction


Passo 5: Gravar dados extraídos em um destino

https://help.theobald-software.com/en/xtract-universal/getting-started/write-data-to-destination


Designer – Visão geral da janela principal

https://help.theobald-software.com/en/xtract-universal/getting-started/designer-overview


Configurações Gerais

https://help.theobald-software.com/en/xtract-universal/getting-started/general-settings


Executar e automatizar extrações

Esta seção contém detalhes sobre como executar extrações automaticamente e manualmente no Xtract Universal Designer

https://help.theobald-software.com/en/xtract-universal/execute-and-automate-extractions


Parâmetros de Extração

https://help.theobald-software.com/en/xtract-universal/execute-and-automate-extractions/extraction-parameters


Chamada via linha de comando

https://help.theobald-software.com/en/xtract-universal/execute-and-automate-extractions/call-via-commandline


Chamada via Webservice

https://help.theobald-software.com/en/xtract-universal/execute-and-automate-extractions/call-via-webservice


Chamada via Scheduler

https://help.theobald-software.com/en/xtract-universal/execute-and-automate-extractions/call-via-scheduler


Chamada via ferramentas de ETL

https://help.theobald-software.com/en/xtract-universal/execute-and-automate-extractions/call-via-etl


Parâmetros SQL

https://help.theobald-software.com/en/xtract-universal/execute-and-automate-extractions/xu-parameter-sql


Anúncios


Técnicas Avançadas

A seção Getting Started com Xtract Universal↗ fornece uma introdução básica ao Xtract Universal usando o componente Xtract Table como exemplo.

A seção a seguir fornece uma visão mais profunda sobre técnicas e aspectos mais avançados do Xtract Universal.


Variáveis ​​definidas pelo usuário

https://help.theobald-software.com/en/xtract-universal/advanced-techniques/user-defined-variables


SAP Single Sign On

https://help.theobald-software.com/en/xtract-universal/advanced-techniques/sap-single-sign-on


Acesso a metadados via HTTP-JSON

https://help.theobald-software.com/en/xtract-universal/advanced-techniques/metadata-access-via-http-json


Acesso a metadados via HTTP

https://help.theobald-software.com/en/xtract-universal/advanced-techniques/metadata-access-via-http


Expressões de Script

https://help.theobald-software.com/en/xtract-universal/advanced-techniques/script-expressions


Backup e Migração

https://help.theobald-software.com/en/xtract-universal/advanced-techniques/backup-and-migration


Processamento Delta

https://help.theobald-software.com/en/xtract-universal/advanced-techniques/delta-processing


Filtrando Extrações

https://help.theobald-software.com/en/xtract-universal/advanced-techniques/regular-expressions


Configurar um XU Service Account

https://help.theobald-software.com/en/xtract-universal/advanced-techniques/service-account


Configuração do Servidor

Esta seção contém um visão geral do servidor Xtract Universal:
https://help.theobald-software.com/en/xtract-universal/server


Logs

Para saber mais sobre os arquivos de Log de todas as etapas executadas:
https://help.theobald-software.com/en/xtract-universal/logging


Segurança

Informações sobre a segurança da comunicação entre o Designer e o Servidor:
https://help.theobald-software.com/en/xtract-universal/security


Anúncios


Componentes do Xtract Universal


BAPI

Funções do componente BAPI do Xtract Universal:
https://help.theobald-software.com/en/xtract-universal/bapis-and-function-modules


BW Cubo

Funções do componente Cubo BW do Xtract Universal:
https://help.theobald-software.com/en/xtract-universal/bw-infocubes-and-bex-queries


BW Hierarquia

Funções do componente Hierarquia BW do Xtract Universal:
https://help.theobald-software.com/en/xtract-universal/bw-hierarchies


DeltaQ

Funções do componente DeltaQ do Xtract Universal:
https://help.theobald-software.com/en/xtract-universal/datasource-deltaq


ODP (Operational Data Provisioning)

Funções do componente ODP (SAP Operational Data Provisioning framework) do Xtract Universal: https://help.theobald-software.com/en/xtract-universal/odp


OHS (Open Hub Services)

Funções do componente OHS (Open Hub Services) do Xtract Universal:
https://help.theobald-software.com/en/xtract-universal/bw-open-hub-services


SAP Query

Funções do componente SAP Query do Xtract Universal:
https://help.theobald-software.com/en/xtract-universal/sap-queries


Report (Programa ABAP) ou Transação SAP

Funções do componente Report (Programa ABAP) ou Transação SAP do Xtract Universal:
https://help.theobald-software.com/en/xtract-universal/abap-reports


Tabela SAP

Funções do componente SAP Table do Xtract Universal:
https://help.theobald-software.com/en/xtract-universal/table


Tabela CDC (Change Data Capture)

Funções do componente SAP Table CDC:
https://help.theobald-software.com/en/xtract-universal/table-cdc


SAP Customizing

Para evitar possíveis restrições para extrações de tabelas ou para usar outros tipos de extração Xtract, você precisa ajustar várias configurações no sistema SAP ou usar os módulos de função Z do Theobald Software.

O link abaixo fornece uma visão geral da instalação de módulos de função personalizados e personalização do sistema SAP:

https://help.theobald-software.com/en/xtract-universal/sap-customizing


  • CDS View usa o tipo de Extração SAP ODP
  • Solução baseado em Windows Server
  • Roda Hana View
  • Roda CDS View
  • Executa Extrator tanto do ECC quanto do BW
  • A carga dos dados é dividida em pacotes, assim como acontece nas cargas para BW, uma vez que a tecnologia é a mesma utilizada no Theobald
  • Xtract Universal é homologado pela SAP

Conclusão

Neste post tivemos um overview da ferramenta Theobald, que é um software de extração de dados do SAP para envio a vários destinos.

Espero que este resumo do Theobald possa esclarecer vários pontos, e se ficou com dúvidas por favor deixe nos comentários abaixo.




Fontes:
https://theobald-software.com/en/xtract-universal/
https://help.theobald-software.com/en/xtract-universal/index

Keywords: Como Extrair dados SAP BW pelo Theobald; Como funciona o Theobald?; Manual e base de conhecimento do Theobald; resumo theobald; Como utilizar Theobald para extração de dados do SAP; Vantagens do uso de Theobald em ambientes SAP; Integração de dados SAP com Theobald Xtract Universal; Melhores práticas para extração de dados SAP BW com Theobald; Configuração de conexão SAP com Theobald Xtract Universal; O papel do Theobald na extração de dados SAP e SAP BW; Automatização de processos de extração de dados SAP usando Theobald; Soluções de Theobald para alta performance em extração de dados

Gostou do conteúdo? Quer receber mais dicas? Se inscreva ↗ grátis!


Siga nas redes sociais:


Deixe um comentário