Engenheiro de Dados Databricks Sênior (Plataforma de Dados)

Nós movemos o mercado financeiro para o futuro, impulsionando negócios e potencializar a economia do país. Com o maior hub de dados e informações do cenário financeiro brasileiro, lideramos iniciativas que realmente importam: defendemos os interesses dos nossos parceiros e investidores, fornecemos ferramentas analíticas e dados, educamos investidores e certificamos profissionais, além de estabelecermos regras para as instituições do mercado financeiro e de capitais. 💛

Estamos em busca de um Engenheiro Databricks Sênior nesta função, você será responsável por projetar, desenvolver e implementar pipelines e soluções de dados utilizando Databricks, Python, Pyspark, SQL, Terrraform e serviços da AWS. Você terá um papel essencial na construção e manutenção de nossa infraestrutura de dados, garantindo que ela atenda às necessidades de negócios de maneira eficiente e eficaz.

-Responsável pelo design, desenvolvimento e implementação de pipelines de dados de ponta a ponta utilizando Databricks para ETL, streaming e processamento em lote.

-Implementar arquitetura data lake, data lakehouse e data warehouses no Databricks, assegurando escalabilidade, confiabilidade e desempenho.

-Trabalhar em parceria com os stakeholders e outros membros da equipe para converter requisitos de negócios em especificações técnicas e soluções escaláveis.

-Implementar processos e procedimentos para garantir qualidade, em termos de Governança de Dados, segurança e otimização no ambiente Databricks.

-Aplique conhecimento técnico aprofundado para enfrentar desafios dos clientes e expandir oportunidades de negócios.

-Gerencie projetos, garantindo que os marcos sejam atingidos dentro dos prazos e limites orçamentários estabelecidos.

-Garantir automatização de processo seguro e robusto de CICD, para entrega de pipeline de dados.

-Experiência como Arquiteto de Soluções e Engenheiro de Dados, com foco em Databricks.

- Experiência, em mais de 4 anos, na função de Engenharia de Dados Sr., com foco em Arquitetura baseada em cloud.

- Forte experiência em projetar, construir, e otimizar soluções de dados, usando databricks, implementando pipeline, Airflow, Databricks - Workflow, Delta Lake, Unity Catalog, Spark, Python, Sql e etc.

- Experiência em plataforma de nuvens, preferencialmente AWS, EC2, S3, Redshift, Tokens, integrando com DataBricks.

- Experiência, em mais de 4 anos, em Spark, Python, SQL, para manipulação de dados.

- Experiência em versionamento de código, usando GitLab;

- Experiência em implementar CICD, usando conceitos de GitFlow.

- Experiência em implementar arquitetura de dados, usando Databricks e AWS, aplicando conceitos avançados de Data Lake, Data Lakehouse, Data Mesh, Data Sharing, RedShift, e integrações com ferramentas de dados, garantindo escalabilidade, segurança e confiabilidade.

- Excelência na comunicação verbal e escrita, é fundamental para esta posição.

- Salário Competitivo;

- Vale Refeição R$ 1.111,00

- Vale Alimentação R$ 875,29;

- Assistência Médica;

- Assistência Odontológica;

- Modelo de trabalho híbrido;

- Seguro de Vida;

- Previdência Privada;

- Auxílio Home Office;

- Licença Parental de 6 meses para todos os colaboradores da ANBIMA;

-Auxílio Funeral;

- Parcerias, Day Off de aniversário e muito mais...

Local de trabalho: Nosso escritório fica na região de Pinheiros próximo da estação de trem. Estamos trabalhando de forma hibrida, escritório (3x por semana) e home-office (2x por semana).). 

Muito prazer, somos a ANBIMA – Associação Brasileira das Entidades dos Mercados Financeiro e de Capitais. Falamos em nome de instituições como bancos, gestoras, corretoras, distribuidoras e administradoras. Temos a missão de fortalecer a representação do setor e apoiar a evolução de um mercado de capitais capaz de financiar o desenvolvimento econômico e social do Brasil e influenciar o mercado global.

Somos protagonistas da evolução da indústria de investimentos, trazendo impacto e legado positivos ao nosso país. Se você tem sede de aprender a impactar o desenvolvimento econômico e social do Brasil, a ANBIMA é para você!