de_lab_06.md

Лаба 6. Мониторинг и тестирование пайплайна

1. Мониторинг пайплайна

Для нужд мониторинга вашего пайплайна у вас есть два инструмента: kibana — для мониторинга Elastic + Logstash, Grafana — для всего остального (например, скорость чтения с диска, очередь в Kafka и др.).

В качестве напоминания: большую часть данных в Grafana сама себя не напишет. Вам нужен отдельный инструмент для сбора этих данных: Graphit или Prometeus.

У вас должно получиться что-то подобное (набор метрик на картинке случаен):

*Мониторинг Kafka*

*Мониторинг Elasticsearch*

2. Стресс-тест пайплайна

Во время проверки чекера мы натравим на ваш сайт нашу пушку, которая будет генерировать клики со скоростью более 2000 кликов в секунду в течение 3-х минут. Натравить пушку можно будет в пятницу с утра. В тот же день заработает и сам чекер.

Проект будет считаться засчитанным, если следующие показатели за время проверки не увеличатся более чем на 50% по сравнению с вашими историческими данными:

• для elasticsearch:
  • indexing latency ,
• показатели для kafka:
  • TotalTimeMs в broker metrics,
  • Request latency average в kafka producer metrics,
  • ConsumerLag/MaxLag в Kafka consumer metrics,
• показатели для spark streaming:

  • active tasks (stacked per executor)

  • HDFS reads/executor

  • completed tasks per executor

    ​

3. Ссылки для изучения

• Мониторинг Kafka