Добро пожаловать в проект NiFi_Lab! Этот репозиторий создан для популяризации Apache NiFi — мощного инструмента для автоматизации потоков данных. Здесь вы найдёте практические примеры (лабораторные работы) и инструкции по настройке NiFi для решения реальных задач.
Цель этого проекта — сделать NiFi более доступным для новичков и продемонстрировать его возможности на практических примерах. Для продвинутого пользователя тоже будет достаточно контента. Новые пользователи смогут изучить разные приёмы решения одной задачи и изучить правильные методы решения задач. Упрощается всё тем, что в проекте есть готовые потоки, которые можно импортировать и не тратить время на его составление. У фотографов это называется насмотренность.
- Introduction: Руководство по установке и настройке Apache NiFi на Windows.
- Lesson1, Lesson2, ...: Папки с лабораторными работами, каждая из которых посвящена определённой задаче.
-
Установка и настройка NiFi:
- Перейдите в раздел Introduction, чтобы узнать, как развернуть NiFi на Windows.
-
Лабораторные работы:
- Изучите папки Lesson1, Lesson2 и другие, чтобы ознакомиться с практическими примерами использования NiFi.
-
Примеры flow:
- В каждой лабораторной работе вы найдёте готовые NiFi flow (JSON файлы), которые можно импортировать и использовать.
- Lesson1: Удаление пустых строк из файла с использованием различных процессоров.
- Lesson2: Фильтрация текста на содержание строки или фразы (например, "Chuck Norris").
- Lesson3: Меняем один атрибут записи по значению другого.
- Lesson4: Читаем файлы.
- Lesson5: Использование Lookup для замены значений (например, замена фамилий).
- Lesson6: Fork - Join Enrichment.
- Lesson7: Фильтруем объекты JSON
- Lesson8: Преобразование JSON с экранированными символами (Unescape JSON).
- Lesson9: Запись данных в виде JSON в БД.
- Lesson10: Чтение всей таблицы из базы данных и её обработка.
- Lesson11: Преобразование XML в JSON с сохранением структуры данных.
- Lesson12: Back Pressure & retry
- Lesson13: Преобразование Excel в CSV (тут пример кастомного процессора на Python)
- Lesson14: DQ
- Lesson15: MockScript
- Lesson16: InvokeScriptedProcessor
Постороение пайплайнов
Использование ИИ в процессе обработки данных
Этот проект создан для того, чтобы:
- Показать, насколько просто и эффективно использовать Apache NiFi.
- Предоставить готовые примеры для быстрого старта.
- Помочь новичкам разобраться в основах работы с NiFi.
Этот проект распространяется под лицензией MIT.