benches

бенчмарки нормализации

Запуск:

cargo bench

---

Замеряется nfd и nfkd нормализация.

Тестовые данные находятся в ../test_data/, папки texts и texts_decomposed.

Это просто примеры текстов на разных языках, надёрганые из интернета. Часть текстов — просто машинный перевод с помощью Google Translate.

Группы:

• nfd — NFD-нормализация.
• nfkd — NFKD-нормализация.
• dec — NFD-нормализация уже NFD-нормализованного текста.

Библиотеки:

• icu – используется библиотека ICU4X
• my – мой вариант

пример:

cargo bench nfd/my/english