Engenheiro de Dados Sênior - PySpark/Azure

Estamos em busca de um profissional para atuar como Engenheiro de Dados Sênior para integrar nossa equipe em um cliente do segmento financeiro para atuar preferencialmente com Python, PySpark e Azure . O candidato ideal possui perfil proativo, sólidos conhecimentos de análise e levantamento de requisitos, desenvolvimentos das soluções, requisições e problemas, trabalho em equipe, facilidade de adaptação e visão sistêmica. Responsabilidades da Posição:

• Produzir soluções técnicas simples e eficientes, com base no Backlog de Produtos priorizado e nos padrões de qualidade,
• Determinar a viabilidade técnica e operacional avaliando a definição do problema, requisitos e análises;
• Assegurar a qualidade do produto, aplicando práticas de desenvolvimento ágil (refatoração, code review, código limpo, integração contínua, implantação contínua, testes contínuos, testes unitários, etc.);
• Solucionar problemas, depurando e atualizando software existente;
• Realizar os testes necessários para garantir a qualidade do produto;
• Fornecer recomendações para melhoria contínua e aplicando consistentemente as melhores práticas;

Requisitos técnicos mandatórios:

• Conhecimento em Microsoft Azure;
• Processamento Batch e Streaming de Dados: Conhecimento em processamento de dados em lotes e em streaming (mensageria), com a capacidade de projetar, implementar e manter pipelines de processamento de dados (utilizando Kubernetes);
• Habilidade em Databricks (Apache Spark);
• Fortes habilidades de programação em Pyspark e Python e Kedro para desenvolver, depurar e manter códigos de transformação de dados.
• Experiência com a plataforma Cloudera ou outras soluções on-premises para big data, incluindo Hadoop, HBase e Hive.
• Conhecimento em DevOps: Familiaridade com o uso do Jenkins para integração e entrega contínua (CI/CD), além de automação de tarefas de implantação e gerenciamento de pipelines.
• Git;
• Métodos Ágeis: Compreensão dos princípios e práticas de métodos ágeis, como Kanban e Scrum, para colaboração eficaz e gerenciamento de projetos.
• Conhecimento em desenvolvimento orientado a objeto: Familiaridade com linguagem JAVA.
• Conhecimento em ferramentas de orquestração de processos, o que é importante para o agendamento e controle de fluxos de trabalho (Ex.: Control-M ou outros);

Local de Trabalho : Santo Amaro - SP Horário de trabalho: Seg a Sex das 09h às 18h Alocação: Híbrido (3x presencial e 2x home office) Contratação: CLT + pacote de benefícios Softtek Tempo de Contrato: indeterminado Diversidade e inclusão A Softtek valoriza a diversidade e inclusão em sua força de trabalho. A empresa tem uma equipe global com pessoas de diferentes origens e culturas, o que torna o ambiente de trabalho mais rico e interessante. Todas as nossa oportunidades são elegíveis a profissionais com deficiência. Os Softtekians são seres humanos talentosos e autodeterminados que se consideram pessoas loucamente incríveis! Venha fazer parte desse time!!! Quer saber mais? Acesse: Caso se candidate para essa vaga seus dados ficarão armazenados em nosso banco de dados, atendendo a privacidade de dados conforme à Lei Geral de Proteção de Dados, lei nº 13.709/2018. Caso não tenha interesse em manter suas informações pessoais em nosso banco de dados, solicitamos nos encaminhar um e-mail para privacid.candidato@softtek.com. Dúvidas também podem ser enviadas ao e-mail privacid.candidato@softtek.com e dpo.br@softtek.com