Em agosto do ano passado (2019) tivemos o orgulho de iniciar os trabalhos junto com os profissionais sensacionais da Leroy Merlin, a conhecida multinacional francesa de quase um século (fundada em 1923)!
A atuação da Crawly foi em conjunto com as áreas de Pricing, Inovação, Digital, TI e Business Intelligence, em um esforço conjunto para gerar insights e inteligência de mercado.
O objetivo é enriquecer dados dos produtos do portfólio da Leroy, através de robôs inteligentes, que não somente coletam dados de mercado como preço, características específicas e fornecedores de cada produto, mas também informações de frete e formas de pagamento para cada um dos sites monitorados diariamente pelos robôs. E para cada produto ofertado pela Leroy, buscamos a correspondência nos fornecedores e sites de interesse, aplicando modelos de Machine Learning para garantir matches com a maior precisão possível.
Um dos grandes desafios do projeto é conseguir o acesso diário, em massa, para coleta de informação das centenas de milhares de produtos. E um dos grandes pontos fortes da Crawly é a capacidade de trabalhar com bilhões de buscas todos os meses, então aplicamos nosso conhecimento adquirido em centenas de projetos e criamos uma infraestrutura pronta para trabalhar com tamanho volume.
Hoje, na Crawly, atuamos com as melhores tecnologias do mercado, criando serviços Serverless, atuando com serviços de fila (SQS/SNS/entre outros) e bancos de dados próprios para acesso ágil e tratamento de grandes volumes de dados (Redshift/MongoDB/Redis/entre outros). Tudo isso para garantir que os robôs sejam sempre responsivos e estejam sempre disponíveis para buscar e armazenar a infinidade de informações que buscamos.
E no projeto junto à Leroy não foi diferente, criamos uma infraestrutura capaz de buscar em milhões de páginas todos os meses, pois sabemos o quão importante é a assertividade nas buscas.
Ainda para garantir o funcionamento constante e correto dos robôs, empregamos mecanismos de monitoramento e detecção de erros, em tempo real, como no caso do Runscope, Sentry e Cloudwatch. Esse monitoramento constante garante a detecção de alterações em fluxos de captura de dados, o que nos permite atuar de maneira proativa e atuar em situações antes mesmo que impactem a coleta das informações.
O real valor do projeto pôde ser visto por todas as áreas que atuaram no projeto, quando conseguimos ampliar o horizonte das análises realizadas pelos analistas de Pricing, em conjunto com o pessoal de B.I. e Digital. Trouxemos informações ricas sobre valor de frete, práticas de promoções em formas de pagamento, preços praticados em produtos de diversos sites e por inúmeros fornecedores, o que permite à Leroy trabalhar melhor as estratégias de precificação e atuação no mercado digital.
Esse trabalho em conjunto foi um sucesso, garantindo à Crawly uma premiação no 4º Fórum de Inovações Leroy Merlin, quando fomos destaque no impacto gerado através da inovação.
