Especialista de Engenharia de Dados II

Sobre a vaga

A Experian busca um Especialista de Engenharia de Dados II para integrar seu time em São Paulo. Você será responsável por desenhar, implementar e manter pipelines de dados de alta performance, garantindo qualidade, escalabilidade e confiabilidade em ambientes cloud.

Responsabilidades

• Desenhar e implementar arquiteturas de processamento de dados utilizando Apache Spark e PySpark
• Desenvolver e manter pipelines de dados robustos com orquestração (Airflow, Prefect ou Dagster)
• Otimizar consultas SQL e modelos de dados para performance
• Implementar infraestrutura como código com Terraform na AWS
• Garantir qualidade de dados através de testes e monitoramento
• Colaborar com times de Analytics e Engenharia de Produto

Requisitos

• 5+ anos de experiência em Engenharia de Dados
• Sólido conhecimento em PySpark, Python e SQL
• Experiência com orquestração de workflows (Airflow, Prefect ou Dagster)
• Familiaridade com AWS e infraestrutura cloud
• Conhecimento em CI/CD e boas práticas de desenvolvimento

Diferenciais

• Experiência com Scala
• Conhecimento em Terraform e Infrastructure as Code
• Experiência em ambientes de dados em larga escala