Use este identificador para citar ou linkar para este item:
http://repositorio.utfpr.edu.br/jspui/handle/1/40764| Título: | ETL e automação na integração de dados financeiros: construção de data warehouse para análise de dados da B3 |
| Título(s) alternativo(s): | ETL and automation in financial data integration: developing a data warehouse for analysis of B3 data |
| Autor(es): | Pinho, João Victor Tavares |
| Orientador(es): | Almeida, Simone de |
| Palavras-chave: | Armazenamento de dados Integração de dados (Computação) Dashboards (Sistemas de informação gerencial) Bolsa de valores Mercado financeiro Data Warehousing Data integration (Computer service) Dashboards (Management information systems) Stock exchanges Money market |
| Data do documento: | 2-Jun-2026 |
| Editor: | Universidade Tecnológica Federal do Paraná |
| Câmpus: | Ponta Grossa |
| Citação: | PINHO, João Victor Tavares. ETL e automação na integração de dados financeiros: construção de data warehouse para análise de dados da B3. 2026. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) - Universidade Tecnológica Federal do Paraná, Ponta Grossa, 2026. |
| Resumo: | Este trabalho tem como objetivo desenvolver um processo de Extração, Transformação e Carga (ETL) para a construção de um Data Warehouse (DW) a partir de dados extraídos automaticamente da B3 e da Comissão de Valores Mobiliários (CVM), com o propósito de integrar, transformar e organizar informações financeiras para suporte à análise estratégica. A complexidade do mercado financeiro e o elevado volume de dados gerados motivaram a adoção de soluções tecnológicas capazes de processar essas informações de forma eficiente, bem como a construção de um dashboard analítico baseado em ferramentas de Business Intelligence (BI). A abordagem adotada caracteriza-se como aplicada de natureza experimental, incluindo a seleção das ferramentas de ETL e DW, a coleta de dados provenientes das fontes mencionadas, a implementação dos processos de ETL, a modelagem dimensional e a avaliação de desempenho da solução obtida. O dashboard desenvolvido permite a identificação de tendências e correlações entre o desempenho financeiro das empresas e a valorização de seus ativos no mercado, contribuindo para análises mais assertivas. Os resultados obtidos evidenciam a eficiência da ferramenta Pentaho Data Integration (PDI) na construção de fluxos de ETL, bem como o desempenho do banco de dados colunar ClickHouse capaz de processar 3,55 milhões de registros em 81 milissegundos, considerados bem reduzidos. A integridade dos dados foi validada por meio da comparação entre os valores armazenados no DW e aqueles divulgados por fontes oficiais, assegurando a confiabilidade das informações. Por fim, os resultados demonstram que a solução proposta é eficaz e aplicável, oferecendo suporte consistente à análise de dados financeiros. |
| Abstract: | This study aims to develop an Extract, Transform, and Load (ETL) process for the construction of a Data Warehouse (DW) using data automatically collected from the B3 and the Brazilian Securities and Exchange Commission. The proposed solution focuses on integrating, transforming, and organizing financial data to support strategic analysis. The increasing complexity of the financial market and the high volume of generated data motivated the adoption of technological solutions capable of efficiently processing large datasets, as well as the development of an analytical dashboard based on Business Intelligence tools. The methodological approach is characterized as applied and experimental, encompassing the selection of ETL and DW technologies, data acquisition from multiple sources, implementation of data transformation and loading processes, dimensional modeling, and performance evaluation of the proposed solution. The developed dashboard enables the identification of trends and correlations between companies’ financial performance and the valuation of their stocks in the stock market, supporting more informed decision-making processes. The results demonstrate the effectiveness of Pentaho Data Integration (PDI) in building ETL pipelines, as well as the high performance of the ClickHouse database, which efficiently processes millions of records with low query latency. Data integrity was validated by comparing the values stored in the Data Warehouse with official financial disclosures, ensuring the reliability of the information. Overall, the proposed solution proved to be effective and applicable, providing robust support for financial data analysis. |
| URI: | http://repositorio.utfpr.edu.br/jspui/handle/1/40764 |
| Aparece nas coleções: | PG - Ciência da Computação |
Arquivos associados a este item:
| Arquivo | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| etldatawarehouseb3.pdf | 1,3 MB | Adobe PDF |  Visualizar/Abrir |
Este item está licenciada sob uma Licença Creative Commons
