Data mining as a service | Dunning

Data mining as a service

Uma das metodologias que a equipe de P&D (Pesquisa e Desenvolvimento) do Dunning utiliza para a realização de personalizações no sistema é baseada no conceito de mineração de dados como serviços e em Knowledge Discovery in Databases – KDD. A equipe negocia a disponibilização de bases de dados do cliente para a realização de PoC (Proof of Concept) a partir de perguntas (sobre o problema que precisa ser resolvido) elaboradas em conjunto com o cliente e que podem ser respondidas utilizando técnicas de mineração de dados. O processo de mineração de dados (MD) naturalmente demanda um procedimento de experimentação junto com cliente; na verdade, MD é um processo iterativo composto de aplicações, modelos, algoritmos e sistemas.

A aplicação de técnicas de mineração de dados a bases de dados reais demanda algoritmos paralelos para mineração de grandes volumes de dados. Geralmente esse processo é extremamente custoso do ponto de vista computacional, uma vez que a quantidade de dados envolvida na mineração em geral é muito grande, tende a crescer, e os algoritmos frequentemente tem complexidade exponencial. A utilização de soluções paralelas e distribuídas consolida-se como crucial para a viabilidade da execução desses algoritmos. Nesse sentido faz-se necessário uma plataforma para paralelização de algoritmos. Por outro lado, algoritmos de mineração de dados desenvolvidos em uma plataforma de paralelismo não são sustentáveis isoladamente. Logo, é preciso uma plataforma integrada para serviços em mineração de dados que proporcione todo um ambiente computacional para o processo de mineração de dados como serviços.

O Dunning implementa de forma resumida o processo de descoberta de conhecimento em bases de dados (Knowledge Discovery in Databases – KDD ) para gestão de recebíveis. Através de um método iterativo são geradas versões do sistema para clientes específicos (através do que chamamos de “personalizações”) para atendimento a requisitos específicos dos clientes (por exemplo, uma cooperativa possui uma política de cobrança/crédito diferente de um varejo de eletromóveis). A metodologia KDD permite ao Dunning simplificar o processo de construção dessas personalizações com elevado grau de aproveitamento de códigos e algoritmos computacionais, reduzindo sobremaneira o custo e prazo de entrega.