Arquiteto de Dados Cloud com experiência em IA

Sobre a vaga

A 3Pillar Global busca uma pessoa sênior para atuar como Arquiteto de Dados Cloud, com experiência em IA, em uma posição remota.

A vaga é aberta para profissionais na Índia, América do Norte, Europa, América do Sul ou Ásia.

Perfil e requisitos

• Experiência sênior em arquitetura de dados em ambientes cloud.
• Conhecimento em Python, SQL, PySpark e processamento de dados distribuído.
• Experiência com pipelines e streaming de dados usando Kafka, Spark Structured Streaming, Kinesis ou tecnologias similares.
• Vivência com plataformas e lakehouse/data warehouse como Databricks, Delta Lake, Snowflake e Redshift.
• Experiência com AWS, incluindo S3, Glue, EKS, Bedrock e CloudWatch.
• Conhecimento em containers, orquestração e infraestrutura como código com Docker, Kubernetes e Terraform.
• Experiência com práticas de CI/CD, incluindo GitHub Actions.
• Conhecimento em soluções de IA e LLMs, como LangChain, LlamaIndex, OpenAI, AWS Bedrock, Claude e HuggingFace.

Tecnologias citadas

Python, SQL, PySpark, Spark Structured Streaming, Kafka, Databricks, Delta Lake, Snowflake, AWS, S3, Glue, EKS, Bedrock, Kinesis, Redshift, Docker, Kubernetes, Terraform, GitHub Actions, LangChain, LlamaIndex, OpenAI, Claude, HuggingFace, Pinecone, FAISS, ChromaDB, OpenSearch, Neo4j, MLflow, FastAPI, CloudWatch e Grafana.