Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

QA - model quality assessment #12

Open
iolkhovsky opened this issue Apr 16, 2023 · 2 comments
Open

QA - model quality assessment #12

iolkhovsky opened this issue Apr 16, 2023 · 2 comments
Assignees
@iolkhovsky
Labels
enhancement New feature or request

Comments

@iolkhovsky
Copy link
Owner

Надо придумать хороший тест качества моделей. Хочется иметь нормальный регрессионный тест для новых версий модели. Кажется для этого нужно подготовить репрезентативный датасет и выбрать хорошую метрику
@iolkhovsky iolkhovsky added the enhancement New feature or request label Apr 16, 2023
@otherman16 otherman16 assigned otherman16 and unassigned otherman16 Apr 16, 2023
@Aouta91
Copy link

Aouta91 commented Apr 18, 2023

Могу написать несколько pytest , которые можно запускать на ci в гитхабе. Для тестов нужно подумать над тесткейсами

@iolkhovsky
Copy link
Owner Author

Кажется каноничное решение проблемы определения качества - использование bleu_score
https://pytorch.org/text/stable/data_metrics.html#
Подготовку тестового датасета нужно скорее вынести за пределы этой задачи

@iolkhovsky iolkhovsky self-assigned this Apr 22, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@iolkhovsky iolkhovsky

Labels
enhancement New feature or request
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@otherman16 @Aouta91 @iolkhovsky