Implantação de plataforma de orquestração

[jvanz]

A infraestrutura de processamento de dados do Querido Diário é um pouco precária. Temos apenas alguns serviços rodando em algumas máquina. Isso é um problema, porque nossa infra não é escalável e difícil manutenção. Por isso, queremos migrar para uma infraestrutura mais robusta. Com isso em mente, decidimos em conversas com a comunidade, migrar nossos serviços para rodar em cima do Kubernetes.

A ideia é utilizar o Kubernetes como a base para construirmos nossa plataforma em cima. Inicialmente queremos migrar nossos programas para rodar no Kubernetes. Depois disso, podemos adicionar (ou não) novas ferramentas em cima dele para melhorar nosso pipeline de dados.

Nota: foi escolhido o Kubernetes como plataforma pelo fato de ser open source, padrão atual da indústria e estar disponível em praticamente qualquer service de nuvem do mercado. O que facilita a migração das aplicações em caso de migração.

Tarefas pendentes.

• Migração dos jobs atuais para Kubernetes #37
• Mapear e documentar o fluxo dos dados #35
• Avaliação de frameworks para processameto de dados #38
• Scripts de automação para criação de toda a nova infraestrutura utilizada para rodas as aplicações
• Documentação da nova infraestrutura