Job Description
Buscamos Engenheiro(a) de Dados para projetar arquiteturas de dados escaláveis em cloud (Azure Fabric, Databricks)
Atividades:
● Desenhar pipelines de ingestão em tempo real e batch (Kafka, Event Hubs, Service
Bus)
● Modelar Data Lakehouses com Delta Lake e otimizar particionamento
● Definir estratégias de governança e segurança (Purview, RBAC, data lineage)
● Migração e Modernização
● Converter sistemas legados para plataformas modernas
● Traduzir lógica complexa de stored procedures para PySpark/SQL
● Validar integridade de dados pós-migração e corrigir discrepâncias
● Implementar processos de delta load e CDC (Change Data Capture)
● Performance e Qualidade
● Otimizar queries e processamentos para grande volume de dados
● Estabelecer deduplicação e validação de schemas
● Implementar monitoramento e observabilidade (Application Insights)
● Documentação e Colaboração <...