Conclusão

Resultados Obtidos

A implementação deste projeto permitiu compreender de forma prática como funciona a construção de pipelines de dados modernos utilizando a arquitetura Medalhão no Databricks. Ao longo do desenvolvimento, foi possível aplicar conceitos fundamentais de Engenharia de Dados, desde a extração de informações até a criação de estruturas analíticas organizadas para consumo final.

Cada camada do pipeline desempenhou um papel importante dentro do processo. A Landing foi responsável pelo armazenamento inicial dos dados brutos, a Bronze realizou a conversão para Delta Lake, a Silver aplicou tratamentos e regras de qualidade, enquanto a Gold organizou os dados em tabelas dimensionais voltadas para análise. Essa separação em camadas tornou o fluxo mais organizado, seguro e fácil de manter.

Além do processamento de dados, o projeto também demonstrou a importância da automação utilizando Jobs & Pipelines. O encadeamento automático dos notebooks tornou a execução mais eficiente e confiável, reduzindo falhas manuais e permitindo maior controle sobre o pipeline. Esse modelo se aproxima bastante das soluções utilizadas em ambientes corporativos reais.

Por fim, o trabalho reforçou como tecnologias como Databricks e Delta Lake são essenciais para projetos modernos de Big Data e Analytics. A arquitetura Medalhão mostrou-se uma abordagem eficiente para organização e refinamento de dados, permitindo transformar informações brutas em dados confiáveis e preparados para apoiar análises e tomadas de decisão.