From 18f8c12c635a5ea514b520794204713822ef7343 Mon Sep 17 00:00:00 2001 From: khrstln Date: Sun, 22 Dec 2024 14:25:06 +0300 Subject: [PATCH 1/2] docs: update readme --- README.md | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/README.md b/README.md index 9eff26e..298b6de 100644 --- a/README.md +++ b/README.md @@ -79,6 +79,10 @@

+## Валидация + +Для измерения качества работы RAG-системы была сформирована валидационная выборка, в которой было по 5 файлов каждого типа данных (резюме, текстовые данные, диалоги, описание). Из каждого файла с помощью ChatGPT извлекался эталонный набор релевантных тегов. Затем производилось извлечение тегов с использованием и без использования RAG. Далее значение метрики Accuracy рассчитывались относительно эталонного набора, полученного с помощью ChatGPT. Использование техники RAG повысило значение Accuracy с 0,489 до 0,546. Более подробно с результатами валидации можно ознакомиться по [ссылке](https://docs.google.com/spreadsheets/d/1P7xZ67yTzmCKRYsSBGk0rixUoe4MMB2cvYnYcIo-r5k/edit?usp=sharing). + ## Инструкция по установке приложения📋 1. Убедитесь, что ваш Docker поддерживает исполнение контейнеров с GPU. From 17b89decdaf209155cec523a31ceb5f022bdbf1c Mon Sep 17 00:00:00 2001 From: khrstln Date: Sun, 22 Dec 2024 15:17:27 +0300 Subject: [PATCH 2/2] docs: update readme --- README.md | 18 ++++++++++++++---- 1 file changed, 14 insertions(+), 4 deletions(-) diff --git a/README.md b/README.md index 298b6de..7b8b162 100644 --- a/README.md +++ b/README.md @@ -23,6 +23,20 @@ Наша команда приняла решение собирать информацию четырех видов: резюме, диалоги, ссылка на аккаунт в социальной сети, текстовое описание пользователя. Резюме были взяты из открытых чатов, в которых люди ищут работу в сфере IT. В качестве диалогов использовались сообщения из IT-топиков на Reddit, Текстовые описание пользователей брались из раздела "Summary" в резюме, в качестве аккаунтов в социальных сетях использовались аккаунты на linkedin. +## Валидация ✅ + +Для сравнения версий приложения, качества используемых моделей и качества RAG-системы мы сформировали валидационную выборку, в которой содержалось по 5 файлов каждого типа данных (резюме, диалоги, текстовые описания, аккаунты в социальных сетях). + +**Flow валидации 📜** +1. Из каждого файла с помощью ChatGPT извлекается эталонный набор релевантных тегов. +2. Из каждого файла с помощью локально развернутой модели производится извлечение тегов с использованием и без использования RAG. +3. Для наборов, полученных с использованием и без использования RAG, рассчитываются значения Accuracy относительно эталонного набора, полученного с помощью ChatGPT. + +**Результаты 📈** + +Использование техники RAG повысило значение Accuracy с 0,489 до 0,546. +Более подробно с результатами валидации можно ознакомиться по [ссылке](https://docs.google.com/spreadsheets/d/1P7xZ67yTzmCKRYsSBGk0rixUoe4MMB2cvYnYcIo-r5k/edit?usp=sharing). + ## Модели 🤖 С помощью метода zero-shot и модели facebook/bart-base по данным от пользователя определяется наиболее релевантная профессия с целью дальнейшего извлечения соответствующих профессии навыков. С помощью модели mistralai/Mistral-7B-Instruct-v0.3 из текста выделяются теги, на основании которых строится список потенциальных собеседников с наиболее близкими профессиональным интересами. @@ -79,10 +93,6 @@

-## Валидация - -Для измерения качества работы RAG-системы была сформирована валидационная выборка, в которой было по 5 файлов каждого типа данных (резюме, текстовые данные, диалоги, описание). Из каждого файла с помощью ChatGPT извлекался эталонный набор релевантных тегов. Затем производилось извлечение тегов с использованием и без использования RAG. Далее значение метрики Accuracy рассчитывались относительно эталонного набора, полученного с помощью ChatGPT. Использование техники RAG повысило значение Accuracy с 0,489 до 0,546. Более подробно с результатами валидации можно ознакомиться по [ссылке](https://docs.google.com/spreadsheets/d/1P7xZ67yTzmCKRYsSBGk0rixUoe4MMB2cvYnYcIo-r5k/edit?usp=sharing). - ## Инструкция по установке приложения📋 1. Убедитесь, что ваш Docker поддерживает исполнение контейнеров с GPU.