Engenheiro de Dados

Engenheiro de Dados

Regime de Contratação: CLT Safe
Região de Trabalho: Remoto
Senioridade: Pleno/Sênior

Atividades:

  • Ter conhecimento e garantir que está sendo aplicado as melhores práticas de uso de dados;
  • Contribuir em projetos de migração de dados entre plataformas (MF x Hadoop);
  • Otimizar processos de ETL;
  • Colaborar no desenho de arquiteturas para processamento de dados, seja para novos pipelines ou para melhoria do atual;
  • Aplicar os padrões de governança de dados estabelecidos pela empresa;
  • Garantir que arquitetura comporte necessidades e requisitos técnicos do time de execução, trabalhando em conjunto com times de TI (Arquitetura, Segurança, Infraestrutura) e com áreas de negócio;
  • Desenvolver APIs de acesso e consumo dos dados para disponibilização dos dados como um produto;
  • Identificar oportunidades e realizar estruturação de dados para uso em diversas áreas da empresa;
  • Interagir com terceiros, fornecedores e/ou prestadores a fim de garantir o melhor entendimento e implementação dos dados e arquitetura;
  • Participar de discussões baseadas em dados dentro da equipe e entre áreas de negócios, apoiando decisões importantes;
  • Fazer a interface com os times de tecnologia e produtos a fim de definir as melhores práticas quanto ao armazenamento e consumo dos dados, além de sugerir, testar e acompanhar a implementação de novas tecnologias;

Conhecimentos Obrigatórios:

  • Spark (Scala/Python);
  • Apache Airflow;
  • Hadoop Ecosystem (Yarn, Hive, HDFS);
  • Amazon AWS (EC2, S3, EMR);
  • Cultura DevOps;
  • Cassandra/MongoDB;

Conhecimentos Desejáveis:

  • Jenkins;
  • Kubernetes/Docker;
  • Terraform/Ansible;
  • Apache Hudi/Iceberg;
  • Cassandra;
  • Trino (Presto);
  • HBase;
  • Delta Lake;
  • Técnicas de CDC – Change Data Capture

Envie seu currículo!

Formatos de arquivo: .pdf, .doc, .docx

VAMOS TRABALHAR JUNTOS

BRASIL
SÃO PAULO Av. Dr. Cardoso de Melo 1470 - Vila Olímpia
ARGENTINA
BUENOS AIRES Clay 2954
C1426DLD 54-11-5299-5400
PARANÁ San Martín 902 1º P
Of. 6, E3100AAT
LA PLATA Calle 58 480
B1900BPT
BAHÍA BLANCA Belgrano 133 - 2º P
B8000IJC
SALTA Pasaje Arteaga 1157
CÓRDOBA La Rioja 532, 4º Piso Oficina F
US
SEATTLE AREA 625 4th Ave #205
Kirkland, WA 98033
+1 703 842 9455
COLOMBIA
BOGOTÁCarrera 15 # 100 - 43
Oficina 602
PERU
LIMACalle Santa Teresa # 171 Urb. Los Sauces - Ate
URUGUAY
MONTEVIDEORoque Graseras 857, 11300

Copyright © 2022 Hexacta. Todos os direitos reservados.