Data Engineer: Engenheiro de Data Foundry

Sobre a vaga

Buscamos um Engenheiro de Dados experiente para atuar como Data Foundry Engineer, responsável pela construção e manutenção de arquiteturas robustas de pipelines de dados.

Responsabilidades

• Projetar e implementar pipelines de dados escaláveis usando ferramentas modernas
• Gerenciar orquestração de fluxos de trabalho com Temporal, Airflow, Prefect ou Dagster
• Implementar processamento de dados em batch e streaming com Spark e Databricks
• Garantir qualidade e confiabilidade dos dados com Great Expectations e Soda
• Trabalhar com formatos de dados modernos como Delta Lake, Apache Iceberg e Hudi
• Integrar sistemas via REST, gRPC e Kafka/Kinesis
• Desenvolver soluções em múltiplas nuvens (AWS, GCP, Azure, OCI)

Requisitos

• Experiência sólida com Python e SQL
• Conhecimento profundo em orquestração de dados (Airflow, Temporal, Prefect ou equivalente)
• Experiência com Spark e/ou Databricks
• Familiaridade com arquiteturas de Data Lake e Data Warehouse
• Conhecimento em ferramentas de qualidade de dados
• Experiência com pelo menos uma plataforma de nuvem (AWS, GCP, Azure ou OCI)

Diferenciais

• Experiência com Go
• Conhecimento em dbt para transformação de dados
• Experiência com Streamlit para visualização de dados
• Familiaridade com LLMs e GenAI
• Experiência em múltiplas plataformas de nuvem