Sobre a posição
Buscamos uma pessoa para atuar como referência técnica em Engenharia de Dados, liderando a definição e a evolução de arquiteturas de dados escaláveis, resilientes, seguras e eficientes na Google Cloud Platform (GCP).
Essa pessoa será responsável por estabelecer padrões técnicos, orientar equipes de desenvolvimento, avaliar soluções tecnológicas e promover boas práticas de Engenharia e Qualidade de Dados, sempre alinhadas às necessidades estratégicas do negócio. A posição combina visão arquitetural com atuação próxima às equipes e às soluções de dados.
Principais responsabilidades
- Definir e evoluir arquiteturas de processamento, armazenamento, integração e disponibilização de dados, considerando escalabilidade, desempenho, disponibilidade, segurança e custos.
- Projetar e desenvolver soluções de ingestão, transformação, processamento e orquestração de pipelines de dados em batch e streaming.
- Atuar como referência técnica nos serviços da GCP, especialmente BigQuery, Cloud Storage, Dataflow, Dataproc com PySpark, Pub/Sub, Cloud Composer, Dataform, Cloud Run e Cloud Functions.
- Definir estratégias para monitoramento, validação e mensuração da qualidade dos dados, promovendo confiabilidade, rastreabilidade e transparência.
- Identificar oportunidades de otimização de consultas, processamento, armazenamento e consumo de recursos, aplicando princípios de FinOps.
- Projetar soluções de integração entre sistemas e plataformas, considerando APIs, eventos, compartilhamento de dados e portabilidade entre ambientes.
- Avaliar novas tecnologias, frameworks e recursos de Inteligência Artificial aplicados à Engenharia de Dados.
- Definir diretrizes de arquitetura, padrões de desenvolvimento e documentação técnica.
- Orientar engenheiros de dados de diferentes níveis de senioridade, apoiar decisões arquiteturais, revisar código e disseminar boas práticas.
Requisitos técnicos
- Experiência sólida em Engenharia de Dados e no desenvolvimento de arquiteturas de dados em ambientes corporativos.
- Domínio da Google Cloud Platform, com experiência prática em BigQuery, Cloud Storage, Dataflow, Dataproc, Pub/Sub e serviços de orquestração.
- Conhecimento avançado de SQL e Python para desenvolvimento de pipelines e otimização de processamento.
- Experiência com Apache Spark e PySpark no processamento distribuído de grandes volumes de dados.
- Experiência com Terraform e práticas de Infrastructure as Code (IaC).
- Conhecimento de Git, CI/CD, testes automatizados e práticas de DataOps.
- Experiência com modelagem de dados, arquitetura lakehouse, data warehouse e integração de diferentes fontes de dados.
- Conhecimento de segurança, IAM, governança, linhagem, metadados e qualidade de dados.
- Experiência com monitoramento, observabilidade, troubleshooting e análise de incidentes em plataformas de dados.
- Capacidade de avaliar alternativas técnicas considerando custo, desempenho, escalabilidade, segurança e impacto operacional.
Perfil esperado
Procuramos alguém com visão sistêmica, capacidade de tomar decisões técnicas e habilidade para orientar equipes. É importante conseguir equilibrar arquitetura e execução, comunicar decisões com clareza e propor soluções sustentáveis para as necessidades do negócio.