Data Engineer II

Sobre a vaga

Procuramos um Data Engineer II para atuar no time de engenharia de dados da Inter&Co. Você será responsável por desenhar, implementar e manter pipelines de dados robustos e escaláveis.

Responsabilidades

• Desenvolver e otimizar pipelines de dados usando Python e PySpark
• Gerenciar infraestrutura de dados na AWS (EMR, Glue, S3)
• Orquestrar workflows com Apache Airflow
• Trabalhar com streaming de dados via Apache Kafka
• Implementar soluções de catálogo de dados com AWS Data Catalog e Datahub
• Colaborar com CI/CD e manter código versionado em Git
• Participar de arquitetura e design de soluções de dados escaláveis

Requisitos

• Experiência comprovada em engenharia de dados
• Proficiência em Python e SQL
• Conhecimento de PySpark e Apache Spark
• Experiência com AWS (EMR, Glue, S3, Data Catalog)
• Familiaridade com Apache Airflow e Kafka
• Conhecimento de Git e práticas de CI/CD
• Experiência com Kubernetes é um diferencial
• Mindset voltado para escalabilidade e performance