Задачей было разработать библиотеку адаптеров для упрощенной работы с алгоритмами, контейнерами и файлами. Обобщенный подход к алгоримам и итераторам позволяет более элегантно решать типовые задачи.
- Dir - берет все файлы в директории (и рекурсивно по всем поддиректориям)
- OpenFiles - открывает файловый поток для каждого пути из предыдущего адаптера
- Split - делит входной поток по списку делимитеров передаваемых через аргументы
- Out - выводит данные в выходной поток
- AsDataFlow - преобразует контейнер в поток данных для дальнейшей обработки
- Transform - изменяет значения элементов, наподобие того как это делает алгоритм transform, применяя заданную функцию к каждому элементу
- Filter - фильтрация по определенному признаку, признак передается в качестве аргумента
- Write - проходится по всем элементам входного диапазона и записать их в указанный поток вывода, вставляя между элементами (а также после каждого элемента) заданный разделитель.
- AsVector - собирает результаты обработки в вектор
- Join - объединяет два потока данных по ключу, аналогично операции LEFT JOIN в SQL
- KV - структура ключ-значение, используемая для операций объединения
- JoinResult - результат операции объединения, содержащий данные из обоих потоков
- DropNullopt - фильтрует
std::optinal<T>поток отstd::nulloptзначений - SplitExpected - в случае если предыдущий адаптер возвращает expeceted, позволяет разделить пайплайн обработки на 2 для ожидаемых и нет результатов
- AggregateByKey - агрегация значений относительно соответствующего ключа. Значение, соответствующее ключу, обновляется через переданный функциональный объект - агрегатор. Выполняется не лениво
- Пример:
aggregator := [int value{}](char c) { value++; return value; } [ a, b, c, d, a, a, b, d ] -> [ (a, 3), (b, 2), (c,1), (d,2) ]
- Пример:
Требование по памяти ко всем адаптерам кроме AggregateByKey и Join - константа.
