Databricks jobs

Transforme sua carreira com o iFood! Somos uma empresa brasileira de tecnologia referência na América Latina. Por meio de soluções inovadoras, conectamos milhares de restaurantes a milhões de consumidores diariamente com uma média de 100 milhões de pedidos mensais. Além do delivery de comida, também somos Mercado, Farmácia e Pet. Temos também o iFood Pago, nossa Fintech, que engloba o iFood Benefícios, o vale alimentação e refeição do iFood e o próprio iFood Pago, o banco do restaurante.

Como Data Engineer - AI/ML Platforms, você será responsável por projetar, construir e manter a infraestrutura de dados robusta que alimenta nossos modelos de IA e ciência de dados. Trabalharão com diversos stakeholders do ecossistema iFood para desenvolver pipelines escaláveis que transformam bilhões de dados em insights inteligentes. Junte-se a nós e faça parte de uma equipe que está sempre à frente com tecnologia de ponta e inovação constante.

• Colaborar com stakeholders de múltiplas empresas do ecossistema iFood para mapear sistemas de dados, definir estratégias de ingestão e coordenar compartilhamento seguro e governado de dados para projetos colaborativos de IA.
• Projetar, construir e operar pipelines batch/streaming confiáveis que ingerem, transformam e armazenam grandes volumes de dados estruturados e não estruturados em plataformas como AWS S3.
• Definir e gerenciar políticas e controles de acesso a dados, garantindo acesso seguro e apropriado aos conjuntos de dados em várias plataformas (AWS S3, Databricks) alinhado com requisitos de governança e compliance.
• Implementar frameworks de qualidade de dados e verificações de validação adaptados para cada fonte de dados do ecossistema.
• Desenvolver e aplicar melhores práticas para organização, catalogação e gestão abrangente de metadados otimizadas para treinamento eficiente de LLMs e analytics.
• Construir e gerenciar workflows ETL/ELT usando frameworks de computação distribuída como Spark no Databricks ou Amazon EMR.
• Monitorar, analisar e otimizar proativamente custos associados ao armazenamento, processamento e transferência de dados pela plataforma.
• Solucionar problemas de pipeline, otimizar queries e documentar soluções para autonomia das equipes.

• Linguagens: Python e SQL avançado com experiência sólida em desenvolvimento.
• Big Data: Proficiência em Spark (Databricks/EMR) e conhecimento em Ray.
• Cloud: Experiência robusta em AWS (principal), conhecimento em GCP é diferencial.
• Bancos de Dados: Experiência com bancos relacionais e NoSQL (MongoDB).
• Conceitos: Domínio em ETL/ELT e modelagem de dados para ambientes de produção.
• Experiência:Experiência sólida em engenharia de dados com foco em produção e confiabilidade.

• Experiência direta apoiando múltiplos clientes externos ou unidades de negócio em ambientes complexos.
• Conhecimento em orquestração de workflows (Airflow, Prefect, Luigi) para automação de processos.
• Experiência com bancos de dados em grafo (Neo4j, Neptune) para modelagem avançada de relacionamentos.
• Conhecimento em containerização e Kubernetes para cargas de trabalho de dados escaláveis.
• Mentalidade proativa voltada para melhoria contínua e análise de causa raiz.
• Experiência com geração de dados sintéticos em larga escala para treinamento de modelos.

No iFood, acreditamos na força da diversidade para gerar #Inovação e atingir #Resultados incríveis, por isso, não fazemos distinção para candidatos com deficiência, gênero, orientação sexual, raça/etnia, idade, origem, constituição familiar e estética. Temos grupos compostos por foodlovers voluntários, onde falamos sobre Raça, Gênero, LGBTQI+ e PcD. Queremos ser a empresa onde pessoas escolham como lugar para se desenvolver e contribuir para a realização de sonhos, #AllTogether.

Conheça nossas iniciativas →

Nós, FoodLovers, temos fome de inovação e resultado. Buscamos sempre fazer o nosso melhor, pensando "fora da caixa" e atuando com agilidade e responsabilidade! Temos fome de diversidade, conhecimento e compartilhamento. Trabalhamos em um ambiente de muita versatilidade. Sabe o que promove a nossa receita especial? As pessoas! Vem fazer parte disso🤝