Engenheiro(A) De Dados Sênior

Full-time Engineering

Buscamos Engenheiro(a) de Dados para projetar arquiteturas de dados escaláveis em cloud (Azure Fabric, Databricks) Atividades: ● Desenhar pipelines de ingestão em tempo real e batch (Kafka, Event Hubs, Service Bus) ● Modelar Data Lakehouses com Delta Lake e otimizar particionamento ● Definir estratégias de governança e segurança (Purview, RBAC, data lineage) ● Migração e Modernização ● Converter sistemas legados para plataformas modernas ● Traduzir lógica complexa de stored procedures para PySpark/SQL ● Validar integridade de dados pós-migração e corrigir discrepâncias ● Implementar processos de delta load e CDC (Change Data Capture) ● Performance e Qualidade ● Otimizar queries e processamentos para grande volume de dados ● Estabelecer deduplicação e validação de schemas ● Implementar monitoramento e observabilidade (Application Insights) ● Documentação e Colaboração ● Documentar arquiteturas com diagramas técnicos ● Criar mapeamentos DE-PARA entre sistemas legados e novos ● Trabalhar ...