Distributed Job Scheduler

Since Cron was released for Unix operating systems in 1975, it became a useful tool for making developers and system administrators’ life easier by programming tasks to be launched autonomously. Although Cron is a simple and powerful tool, it has some problems associated with it, such as lack of visibility, and complexity, because scheduling tasks using crontab’s notation can sometimes be difficult. As times wore on, new approaches of job scheduling systems emerged, most of them providing a user friendly interface to manage jobs/tasks scheduling and reports or statistics about job’s execution. Every day Jumia dispatches millions of marketing campaigns which include emails, newsletters, push notifications, SMS, and other types of channels to engage its customers to visit the e-commerce online store and other Jumia applications. In Jumia Marketing and Digital Services team’s systems a job scheduler is also used, it’s called Eye Of Sauron (EOS). EOS is very useful, however it wasn’t designed very well when it begun and, nowadays, it’s considered a problem for Jumia’s business because it’s not reliable. It’s Eye Of Sauron’s duty to trigger the dispatch process for all the marketing campaigns for Jumia’s users, so it needs to be well designed and provide trust to Jumia’s business stakeholders. With this project the problems from the original service were addressed. A new distributed job scheduler named Eye of Sauron v2 was designed and developed. It is composed by several components that are capable of being scaled horizontally and/or vertically. The new system also uses a message broker for asynchronous communication and a relational database as storage solution. The new job scheduler was considered successful because it was evaluated with a quality percentage of eighty-seven points using a Quantitative Evaluation Framework (QEF) model that considers numerous aspects not only related with functionality, but also with user interface and experience.

Desde que o Cron foi lançado para sistemas operativos Unix em 1975, este tornou-se uma ferramenta muito útil para facilitar a vida de programadores e administradores de sistemas ao possibilitar o agendamento de tarefas a serem lançadas de forma autónoma. Embora o Cron seja uma ferramenta simples e poderosa, ele possui alguns problemas associados, como a falta de visibilidade e complexidade, pois o agendamento de tarefas usando a notação do crontab às vezes pode ser difícil. Com o passar do tempo, surgiram novas abordagens de sistemas de agendamento de tarefas, a maioria delas fornecendo uma interface amigável para promover a manutenção do agendamento de tarefas e relatórios ou estatísticas sobre a execução dessas tarefas. Todos os dias a Jumia envia milhões de campanhas de marketing que incluem e-mails, newsletters, notificações push, SMS e outros tipos de canais para aliciar os seus clientes a visitar a loja online de comércio eletrónico e outras aplicações da Jumia. Nos sistemas da equipa Jumia Marketing and Digital Services também é usado um agendador de tarefas, chamado Eye Of Sauron (EOS), ou “Olho de Sauron”. Este sistema é muito útil, porém não foi adequadamente projetado, o que fez com que hoje em dia seja considerado considerado um problema para o negócio da Jumia por não ser confiável. É dever do Eye Of Sauron chamar o processo de envio de todas as campanhas de marketing para os utilizadores da Jumia, por isso precisa fornecer confiança aos executivos da Jumia. Com este projeto os problemas do serviço original foram solucionados. Um novo agendador de tarefas distribuído chamado Eye of Sauron v2 foi projetado e desenvolvido. É composto por vários componentes que podem ser escláveis horizontalmente e/ou verticalmente. O novo sistema também utiliza um message broker para comunicação assíncrona e uma base de dados relacional como solução de armazenamento. O novo agendador de tarefas foi considerado bem sucedido porque foi avaliado com uma percentagem de qualidade de oitenta e sete pontos usando um modelo Quantitative Evaluation Framework (QEF). Este modelo considera inúmeros aspectos, não apenas relacionados à funcionalidade, mas também com a interface e a experiência do utilizador.