Академия бэкенда от Т-Банка 2024, 1 семестр, Проект 3: Анализатор логов

Описание

Лог-файлы являются важной частью работы любого сервера, так как они содержат информацию о том, какие запросы были отправлены на сервер, какие ошибки возникли и какие действия были выполнены.

Однако, обрабатывать и анализировать эти логи вручную может быть очень трудоемким процессом. Для решения этой проблемы напишем программу-анализатор логов.

На вход программе через аргументы командной строки задаётся:

• путь к одному или нескольким NGINX лог-файлам в виде локального шаблона или URL
• необязательные временные параметры from и to в формате ISO8601
• необязательный параметр формата вывода результата: markdown или adoc

Примеры вызова программы:

analyzer --path logs/2024* --from 2024-08-31 --format markdown

analyzer --path https://raw.githubusercontent.com/elastic/examples/master/Common%20Data%20Formats/nginx_logs/nginx_logs --format adoc

analyzer --path logs/**/2024-08-31.txt

analyzer --path logs/2024* --filter-field method --filter-value GET

Программа должна выполнять следующие задачи:

• подсчитывать общее количество запросов
• определять наиболее часто запрашиваемые ресурсы
• определять наиболее часто встречающиеся коды ответа
• рассчитывать средний размер ответа сервера

Функциональные требования

• Программа должна принимать на вход путь к лог-файлам, который может быть шаблоном для локальных файлов или URL.
• Программа должна поддерживать опциональные параметры: from и to для анализа записей в заданном временном диапазоне; выходной формат данных в виде markdown или adoc документа
• Подсчет общего количества запросов
• Опредение наиболее часто запрашиваемых ресурсов
• Определение наиболее часто встречающихся кодов ответа
• Определение наиболее часто встречающихся адресов
• Определение наиболее часто встречающихся методов
• Рассчет среднего размер ответа сервера
• Рассчет 95% перцентиля размера ответа сервера
• Добавить фильтрацию по значению поля

Нефункциональные требования

• Программа должна обрабатывать лог-файлы эффективно, не загружая весь файл в память.
• Программа должна иметь четкую и понятную логику обработки ошибок.
• Результат работы программы должен быть легко интерпретируемым человеком.

Описание входных и выходных данных

Ввод

• Путь к лог-файлам: локальный путь (с поддержкой glob) или URL
• Временные параметры: from и to в формате ISO8601 (опционально).
• Формат вывода: markdown или adoc (опционально).

Вывод

• Текстовый отчёт в выбранном формате с анализом логов.

Пример вывода

#### Общая информация
|            Метрика             |            Значение            |
|:------------------------------:|:------------------------------:|
|             Файлы              | [src/main/resources/log1.txt]  |
|         Начальная дата         |               -                |
|         Конечная дата          |               -                |
|      Количество запросов       |               50               |
|     Средний размер ответа      |            249.88b             |
|       95p размера ответа       |              951b              |

#### Запрашиваемые ресурсы
|             Ресурс             |           Количество           |
|:------------------------------:|:------------------------------:|
|      /downloads/product_1      |               32               |
|      /downloads/product_2      |               18               |

#### Коды ответа
|              Код               |              Имя               |           Количество           |
|:------------------------------:|:------------------------------:|:------------------------------:|
|              304               |          NOT_MODIFIED          |               34               |
|              404               |           NOT_FOUND            |               9                |
|              200               |               OK               |               7                |

#### IP адреса
|             Адрес              |           Количество           |
|:------------------------------:|:------------------------------:|
|          80.91.33.133          |               10               |
|          93.180.71.3           |               7                |
|          217.168.17.5          |               6                |
|        173.203.139.108         |               4                |
|         91.234.194.89          |               3                |

#### HTTP методы
|             Метод              |           Количество           |
|:------------------------------:|:------------------------------:|
|              GET               |               49               |
|              HEAD              |               1                |

Начало работы

Для того чтобы собрать проект, и проверить, что все работает корректно, можно запустить из модального окна IDEA Run Anything команду:

mvn clean verify

Альтернативно можно в терминале из корня проекта выполнить следующие команды.

Для Unix (Linux, macOS, Cygwin, WSL):

./mvnw clean verify

Для Windows:

mvnw.cmd clean verify

Для окончания сборки потребуется подождать какое-то время, пока maven скачает все необходимые зависимости, скомпилирует проект и прогонит базовый набор тестов.

Если вы в процессе сборки получили ошибку:

Rule 0: org.apache.maven.enforcer.rules.version.RequireJavaVersion failed with message:
JDK version must be at least 22

Значит, версия вашего JDK ниже 22.

Если же получили ошибку:

Rule 1: org.apache.maven.enforcer.rules.version.RequireMavenVersion failed with message:
Maven version should, at least, be 3.8.8

Значит, у вас используется версия maven ниже 3.8.8. Такого не должно произойти, если вы запускаете сборку из IDEA или через mvnw-скрипты.

Далее будут перечислены другие полезные команды maven.

Запуск только компиляции основных классов:

mvn compile

Запуск тестов:

mvn test

Запуск линтеров:

mvn checkstyle:check modernizer:modernizer spotbugs:check pmd:check pmd:cpd-check