Data Engineering Specialist | DataOps & Data Platform

Queremos levar nossa operação de dados para um próximo nível de maturidade. Por isso, esperamos que essa pessoa ajude a construir uma cultura em que operar a plataforma também significa fazer engenharia. Isso envolve:

Automação de atividades operacionais e repetitivas;

Observabilidade end-to-end dos pipelines;

Detecção antecipada de falhas e degradações;

Gestão de SLAs/SLOs de processamento;

Estratégias de retry, recovery e resiliência;

Redução de MTTR;

Análise automatizada de incidentes;

Capacity planning;

Performance tuning;

FinOps e otimização do consumo computacional;

Eliminação sistemática de débito técnico;

Evolução contínua dos pipelines e componentes legados.

O objetivo é construir uma plataforma cada vez mais resiliente, previsível, eficiente e simples de operar.

Buscamos alguém com sólida experiência em Engenharia de Dados e plataformas distribuídas, capaz de transitar entre desenvolvimento, arquitetura e operação.

Experiência avançada com Databricks em ambientes produtivos e de larga escala;

Domínio de Apache Spark;

Experiência sólida com Scala, especialmente na manutenção, troubleshooting e otimização de aplicações Spark;

Experiência com Python e SQL para engenharia de dados;

Experiência com Delta Lake / Lakehouse Architecture;

Experiência sólida com processamento batch e streaming;

Conhecimento aprofundado de arquiteturas e tecnologias de stream processing;

Experiência com Microsoft Azure e serviços relacionados a plataformas de dados;

Experiência com Azure Data Factory;

Conhecimento de bancos NoSQL, preferencialmente MongoDB Atlas;

Experiência com CI/CD aplicado a pipelines e plataformas de dados;

Experiência com monitoramento, logging e observabilidade;

Conhecimento de técnicas de performance tuning de Spark/Databricks;

Capacidade de diagnosticar problemas complexos em sistemas distribuídos;

Experiência em ambientes críticos, com requisitos elevados de disponibilidade, confiabilidade e performance.

A plataforma possui workloads de processamento contínuo e queremos fortalecer significativamente essa competência. Será importante possuir experiência com conceitos como:

Structured Streaming;

Event-driven architectures;

Processamento near real-time / real-time;

Checkpointing e recuperação;

Event time e processing time;

Watermarks;

State management;

Backpressure;

Particionamento e paralelismo;

Troubleshooting e performance de pipelines streaming.

Experiência com tecnologias de mensageria e event streaming, como Kafka ou equivalentes no ecossistema Azure, será considerada relevante.

Queremos profissionais que enxerguem IA como uma ferramenta de engenharia e produtividade, e não apenas como uma tecnologia experimental. Será um importante diferencial experiência utilizando AI Coding Agents e ferramentas de engenharia assistida por IA, especialmente Devin, para acelerar atividades como:

Desenvolvimento e refatoração de código;

Análise e modernização de workloads legados;

Geração e evolução de testes;

Troubleshooting;

Análise de logs e incidentes;

Documentação técnica;

Automação de tarefas operacionais;

Análise de causa raiz;

Migração de componentes;

Otimização de pipelines;

Aumento da produtividade do ciclo de engenharia.

Buscamos alguém interessado em explorar como engenharia + automação + agentes de IA podem reduzir esforço operacional e aumentar a velocidade e a qualidade das entregas.

Experiência avançada com Databricks Unity Catalog;

Experiência com Databricks Workflows / Jobs;

Conhecimento de Databricks Asset Bundles;

Experiência com Infrastructure as Code, especialmente Terraform;

Experiência com Kubernetes e containers;

Experiência com Kafka ou plataformas equivalentes de event streaming;

Conhecimento de práticas de SRE aplicadas a plataformas de dados;

Experiência com FinOps e otimização de custos de workloads Databricks/Azure;

Experiência em modernização de grandes bases de código Scala/Spark;

Experiência com plataformas de dados de grande escala em ambientes regulados;

Conhecimento de segurança, governança e controles de acesso em plataformas de dados;

Experiência prática com Devin ou outros AI Software Engineering Agents.

Essa não é uma posição focada exclusivamente em desenho de arquitetura. Buscamos uma pessoa hands-on, que goste de investigar problemas difíceis, entrar no código, analisar Spark Jobs, entender planos de execução, investigar comportamento de clusters, analisar logs, identificar gargalos e propor soluções estruturais. Ao mesmo tempo, esperamos senioridade suficiente para olhar além do incidente imediato e perguntar: “Como podemos fazer com que esse problema não aconteça novamente?” E, idealmente: “Como podemos automatizar isso para que uma pessoa não precise resolver esse problema novamente?” Você terá espaço para influenciar decisões técnicas, propor padrões, automatizar processos e ajudar a definir a evolução tecnológica da plataforma.

Operamos um ecossistema de dados complexo, com diferentes gerações de tecnologia coexistindo e workloads críticos para o negócio. Nosso desafio não é simplesmente manter essa plataforma funcionando. Queremos transformá-la. Buscamos evoluir de uma operação predominantemente reativa para uma plataforma orientada por engenharia, observabilidade, automação e IA, reduzindo complexidade operacional e aumentando significativamente nossa capacidade de escala. Se você gosta de resolver problemas difíceis de engenharia, trabalhar com sistemas distribuídos, modernizar plataformas críticas e acredita que DataOps + Engenharia + IA podem mudar a forma como grandes plataformas de dados são operadas, queremos conversar com você. A Getnet se orgulha de ser uma organização que oferece igualdade de oportunidades, independentemente de idade, gênero, deficiência, estado civil, raça, religião ou orientação sexual. Estamos comprometidos em oferecer um processo seletivo inclusivo e acessível para todas as pessoas.

NOSSA OFERTA E BENEFÍCIOS

Ao se juntar à nossa equipe, você desfrutará de diversos benefícios, como:

Cuidamos do seu bem-estar, por isso você contará com plano de saúde, seguro de vida e plano odontológico.

Incentivamos a flexibilidade com um modelo híbrido e colaborativo; o(a) candidato(a) selecionado(a) deverá estar preparado(a) para trabalhar em um modelo 60% presencial.

Impulsionamos o seu crescimento com acesso a programas de autodesenvolvimento.

Buscamos tornar seus dias de trabalho mais acessíveis, por isso você contará com auxílio-transporte e vale-refeição.

Getnet faz parte do Grupo Santander, um dos principais grupos financeiros do mundo, com presença em mais de 22 países.

COMECE AQUI. DÊ O SEU PRÓXIMO PASSO PROFISSIONAL

Se você tem interesse e atende aos requisitos, candidate-se agora ou compartilhe esta oportunidade com alguém que você considere ideal para esta posição.

Quer nos conhecer melhor? Visite nosso site: Getnet | Máquinas de cartão e soluções financeiras para o seu negócio