report.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3>\n",
    "<center> درس پردازش زبان‌های طبیعی </center>\n",
    "<center> تمرین سری دوم </center>\n",
    "<center> تجزیه و تحلیل اسناد حقوقی </center>\n",
    "<center> ترم بهار 1403-1402 </center>\n",
    "</h3>\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h4 style='direction:rtl;'>\n",
    "    شماره گروه: 18\n",
    "</h4>\n",
    "<div style='direction:rtl;'>\n",
    "    <b>اعضای تیم:<br></b>\n",
    "    حامد جهانتیغ (401212324)<br>\n",
    "    زهرا ملکی (402206183)<br>\n",
    "    امیر شکوهی (402206437)    \n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "<h2 style='direction:rtl;'>\n",
    "    # معرفی\n",
    "</h2>\n",
    "<div style=\"direction: rtl;\">\n",
    "در این تمرین تلاش شده است تا به تجزیه و تحلیل اسناد حقوقی پرداخته شود. از این رو بخش های زیر حائز اهمیت هستند که هر کدام در بخش خود شرح و بسط داده و معرفی می شود:\n",
    "\n",
    "<ol>\n",
    "  <li>آماده سازی داده ها</li>\n",
    "  <li>استخراج ویژگی های از متن</li>\n",
    "  <li>یافتن پرونده مشابه</li>\n",
    "  <li>پیاده سازی رابط کاربری به صورت چت بات</li>\n",
    "</ol>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"direction: rtl;\">\n",
    "برای عدم وجود مشکل در اجرا، تمامی کتابخانه های استفاده شده در فایل Requirements.txt قرار گرفته است که در اینجا فرآیند نصب انجام می شود. همچنین کتابخانه های مورد استفاده در فایل نوت بوک گزارش هر کدام در بخش مورد نیاز خود فراخوانی می شود.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "! pip install -r Requirements.txt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "from hazm import word_tokenize\n",
    "from dataset.dataset_creator import LegalDatasetPreProcessor, LawTxetPreProcessor\n",
    "from model.case_analyzer.case_retrieval import *\n",
    "from model.feature_extraction.feature_extractor import FeatureExtractor\n",
    "from test_pack.case_ir_test import CaseIrText\n",
    "from dataset.crawler import TelegramCrawler\n",
    "from setup import Run"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "<h2 style='direction:rtl;'>\n",
    "    # آماده سازی داده ها\n",
    "</h2>\n",
    "<div style=\"direction: rtl;\">\n",
    "همان طور که در متن تمرین اشاره شد، اسناد حقوقی دارای طیف گسترده ای می باشند که هر کدام معنا و جایگاه خود را دارند. براین اساس در وهله اول سه منبع معرفی شده در تمرین بررسی شد و موارد موثر آن در قالبی کارا قرار گرفت. علاوه بر این موارد برای کارایی بهتر منابع دیگری از طریق اینترنت جمع آوری شد تا کارایی بیشتری را ایجاد نماید. همچنین روند جزئیات مربوط به این امور در نوت بوک dataset_preprocess.ipynb قرار گرفته است. برای انجام امور مرتبط با منابع از طریق پکیج dataset امور پردازشی انجام می شود و منابع اولیه و پردازش شده در پوشه resource قرار میگیرد.\n",
    "در ادامه به تحلیل سه منبع معرفی شده و جمع آوری شده پرداخته میشود:\n",
    "<ol>\n",
    "  <li>سایت قوانین</li>\n",
    "  <li>سایت اختبار</li>\n",
    "  <li>سایت شناسنامه</li>\n",
    "</ol>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "pre_processor = LegalDatasetPreProcessor()\n",
    "qavanin_df = pre_processor.gz_to_df(\"resource/sample_resource/qavanin.gz\")\n",
    "ekhtebar_df = pre_processor.gz_to_df(\"resource/sample_resource/ekhtebar.gz\")\n",
    "shenasname_df = pre_processor.gz_to_df(\"resource/sample_resource/shenasname.gz\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## قوانین\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "در منابع ارائه شده، قوانین موجود بسیار محدود و کم کاربرد می باشد. به همین علت از این منابع می توان به عنوان متونی برای تست استفاده کرد اما برای انجام فعالیت های تعریف شده، نیاز است تا قوانین مهم و کاربردی استخراج شود. به همین علت با استفاده از سایت داوود آبادی قوانین 18 قانون کاربردی استخراج شد و با انجام اعمال پردازشی دو دیتافریم برای قوانین و مواد آنها ایجاد می شود.<br>\n",
    "همچنین برای انجام کارهای پردازشی زبان طبیعی لیستی 480 تایی از قوانین مهم (این لیست شامل مقرارت نمی شود و در کار پردازشی انجام شده بالغ بر 110 هزار عنوان مقررات و بخشنابه از سایت قوانین احصاء شد.) استخراج و با نام law_clean_list.txt قرار داده شده است.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "- Number of qavanin in Qavanin Site Dataset: 6\n"
     ]
    }
   ],
   "source": [
    "print(\"- Number of qavanin in Qavanin Site Dataset:\", qavanin_df.shape[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "- Number of law:  18\n",
      "- Number of madeh:  5705\n",
      "   law_index                law_name\n",
      "0          0  قانون مالیاتهای مستقیم\n",
      "1          1             قانون تجارت\n",
      "2          2               قانون کار\n",
      "3          3              قانون مدنی\n",
      "4          4      قانون مسئولیت مدنی\n",
      "   law_index  madeh_index                                         madeh_text\n",
      "0          0            1  ماده 1\\nاشخاص زیر مشمول پرداخت مالیات میباشند:...\n",
      "1          0            2  ‌ماده 2\\nاشخاص زیر مشمول پرداخت مالیات‌های موض...\n",
      "2          0            3  ‌ماده 3\\nبه موجب ماده (2) قانون اصلاح موادی از...\n",
      "3          0            4  ماده 4\\nبه موجب ماده (2) قانون اصلاح موادی از ...\n",
      "4          0            5  ‌ماده 5\\nبه موجب ماده (2) قانون اصلاح موادی از...\n"
     ]
    }
   ],
   "source": [
    "\n",
    "with open(\"resource/law/law.txt\", 'r', encoding='utf-8') as file:\n",
    "    content = file.read()\n",
    "law_list = content.split(\"@\")[:-1]\n",
    "law_processor = LawTxetPreProcessor(law_list)\n",
    "law_name_df, madeh_df = law_processor.get_df()\n",
    "print(\"- Number of law: \", law_name_df.shape[0])\n",
    "print(\"- Number of madeh: \", madeh_df.shape[0])\n",
    "print(law_name_df.head())\n",
    "print(madeh_df.head())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## پرونده های قضایی\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "یکی از منابع بسیار مهم حقوقی، میتوان به پرونده ها و دادنامه های قضایی اشاره کرد که می تواند به افراد درگیر مسائل قضایی کمک کننده باشد. در حال حاضر بالغ بر 40 هزار دادنامه گمنام شده توسط پژوهشکده قوه قضاییه در سامانه ملی آرا منتشر شده است. با کمک کراولر نوشته شده در پکیج dataset با نام crawler دو هزار رای برای انجام این تمرین استخراج و استفاده شده است. نسخه از پرونده ها که عبارت های غیر مهم از آن حذف شده است نیز وجود دارد. همچنین داده ها براساس نرمالساز کتابخانه Hazm نرمال شده اند.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>title</th>\n",
       "      <th>number</th>\n",
       "      <th>date</th>\n",
       "      <th>type</th>\n",
       "      <th>text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>مرجع اتخاذ تصمیم درخصوص امور مالی سازمان تأمین...</td>\n",
       "      <td>۹۵۰۹۹۷۰۹۵۵۹۰۱۸۰۱</td>\n",
       "      <td>۱۳۹۵ / ۰۷ / ۲۵</td>\n",
       "      <td>اداری</td>\n",
       "      <td>\\n. رأی شعبه بدوی دیوان عدالت اداری. در خصوص ش...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>چگونگی اخراج کارکنان فراری کادر ثابت ارتش</td>\n",
       "      <td>۹۵۰۹۹۷۰۹۵۵۲۰۳۲۶۵</td>\n",
       "      <td>۱۳۹۵ / ۰۸ / ۱۹</td>\n",
       "      <td>اداری</td>\n",
       "      <td>\\n. رأی شعبه بدوی دیوان عدالت اداری. [در خصوص ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>شخصیت مستقل پژوهشگاه‌های صنعت نفت</td>\n",
       "      <td>۹۵۰۹۹۷۰۹۰۵۶۰۱۰۳۵</td>\n",
       "      <td>۱۳۹۵ / ۰۸ / ۱۵</td>\n",
       "      <td>اداری</td>\n",
       "      <td>\\n. رأی شعبه بدوی دیوان عدالت اداری. [در خصوص ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>ماهیت حقوقی کمیسیون ماده ۱۶ قانون تسهیلات استخ...</td>\n",
       "      <td>۹۵۰۹۹۷۰۹۰۵۶۰۱۰۲۵</td>\n",
       "      <td>۱۳۹۵ / ۰۸ / ۱۱</td>\n",
       "      <td>اداری</td>\n",
       "      <td>\\n. رأی شعبه بدوی دیوان عدالت اداری. در خصوص د...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>صلاحیت دیوان و اتحادیه‌های صنفی</td>\n",
       "      <td>۹۵۰۹۹۷۰۹۵۵۲۰۲۷۹۳</td>\n",
       "      <td>۱۳۹۵ / ۰۷ / ۰۶</td>\n",
       "      <td>اداری</td>\n",
       "      <td>\\n. رأی شعبه بدوی دیوان عدالت اداری. [در خصوص ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                               title            number  \\\n",
       "0  مرجع اتخاذ تصمیم درخصوص امور مالی سازمان تأمین...  ۹۵۰۹۹۷۰۹۵۵۹۰۱۸۰۱   \n",
       "1          چگونگی اخراج کارکنان فراری کادر ثابت ارتش  ۹۵۰۹۹۷۰۹۵۵۲۰۳۲۶۵   \n",
       "2                  شخصیت مستقل پژوهشگاه‌های صنعت نفت  ۹۵۰۹۹۷۰۹۰۵۶۰۱۰۳۵   \n",
       "3  ماهیت حقوقی کمیسیون ماده ۱۶ قانون تسهیلات استخ...  ۹۵۰۹۹۷۰۹۰۵۶۰۱۰۲۵   \n",
       "4                    صلاحیت دیوان و اتحادیه‌های صنفی  ۹۵۰۹۹۷۰۹۵۵۲۰۲۷۹۳   \n",
       "\n",
       "             date   type                                               text  \n",
       "0  ۱۳۹۵ / ۰۷ / ۲۵  اداری  \\n. رأی شعبه بدوی دیوان عدالت اداری. در خصوص ش...  \n",
       "1  ۱۳۹۵ / ۰۸ / ۱۹  اداری  \\n. رأی شعبه بدوی دیوان عدالت اداری. [در خصوص ...  \n",
       "2  ۱۳۹۵ / ۰۸ / ۱۵  اداری  \\n. رأی شعبه بدوی دیوان عدالت اداری. [در خصوص ...  \n",
       "3  ۱۳۹۵ / ۰۸ / ۱۱  اداری  \\n. رأی شعبه بدوی دیوان عدالت اداری. در خصوص د...  \n",
       "4  ۱۳۹۵ / ۰۷ / ۰۶  اداری  \\n. رأی شعبه بدوی دیوان عدالت اداری. [در خصوص ...  "
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "case_df = pd.read_csv(\"resource/case/case.csv\", encoding= \"utf-8\")\n",
    "case_df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>nonstop_text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>رأی شعبه بدوی دیوان عدالت اداری شکایت خانم م م...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>رأی شعبه بدوی دیوان عدالت اداری [ اعتراض شاکی ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>رأی شعبه بدوی دیوان عدالت اداری [ شکایت شاکی ش...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>رأی شعبه بدوی دیوان عدالت اداری دادخواست م ش ط...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>رأی شعبه بدوی دیوان عدالت اداری [ شکایت شاکی م...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   Unnamed: 0                                       nonstop_text\n",
       "0           0  رأی شعبه بدوی دیوان عدالت اداری شکایت خانم م م...\n",
       "1           1  رأی شعبه بدوی دیوان عدالت اداری [ اعتراض شاکی ...\n",
       "2           2  رأی شعبه بدوی دیوان عدالت اداری [ شکایت شاکی ش...\n",
       "3           3  رأی شعبه بدوی دیوان عدالت اداری دادخواست م ش ط...\n",
       "4           4  رأی شعبه بدوی دیوان عدالت اداری [ شکایت شاکی م..."
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "nonstop_case_df = pd.read_csv(\"resource/case/nonstop_case.csv\", encoding= \"utf-8\")\n",
    "nonstop_case_df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## اخبار\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "اخبار حقوقی میتواند به عنوان یکی از منابع حقوقی شناخته شود. در همین راستا اخبار ارائه شده توسط منع سایت اختبار به عنوان یکی از منابع مهم خبری پردازش شده است.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "- Number of news:  58\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>title</th>\n",
       "      <th>content_html</th>\n",
       "      <th>date</th>\n",
       "      <th>url</th>\n",
       "      <th>tags</th>\n",
       "      <th>category.original</th>\n",
       "      <th>content</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>تمدید مهلت ثبت‌نام پذیرفته‌شدگان آزمون مشاوران...</td>\n",
       "      <td>[{'type': 'h1', 'text': 'مهلت ثبت‌نام پذیرفته‌...</td>\n",
       "      <td>2018-04-03</td>\n",
       "      <td>https://ekhtebar.ir/%d8%aa%d9%85%d8%af%db%8c%d...</td>\n",
       "      <td>[آزمون ماده ۱۸۷, آزمون مرکز وکلا ۹۸, آزمون مشا...</td>\n",
       "      <td>آزمون های حقوقی/آزمون مرکز وکلای قوه قضائیه</td>\n",
       "      <td>مهلت ثبت‌نام پذیرفته‌شدگان آزمون مشاوران حقوقی...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>مرجع قضایی، وکالت را کسب و کار ندانست</td>\n",
       "      <td>[{'type': 'h2', 'text': 'قرار منع تعقیب کانون ...</td>\n",
       "      <td>2018-04-03</td>\n",
       "      <td>https://ekhtebar.ir/%d9%85%d8%b1%d8%ac%d8%b9-%...</td>\n",
       "      <td>[تسهیل مجوز کسب و کار, کانون وکلای دادگستری یز...</td>\n",
       "      <td>اخبار/اخبار کانون وکلای دادگستری</td>\n",
       "      <td>قرار منع تعقیب کانون وکلا از اتهام «عدم اعلام ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>کارنامه آزمون دکتری سال ۹۷ هفته آخر فروردین من...</td>\n",
       "      <td>[{'type': 'h2', 'text': 'نتایج اولیه آزمون دکت...</td>\n",
       "      <td>2018-04-03</td>\n",
       "      <td>https://ekhtebar.ir/%da%a9%d8%a7%d8%b1%d9%86%d...</td>\n",
       "      <td>[آزمون دکتری حقوق, اعلام نتیجه, دکتری 97]</td>\n",
       "      <td>اخبار/اخبار دانشگاه ها</td>\n",
       "      <td>نتایج اولیه آزمون دکتری سال ۹۷ هفته آخر فروردی...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>آغاز ثبت‌نام آزمون EPT فروردین‌ماه ۹۷ دانشگاه ...</td>\n",
       "      <td>[{'type': 'h2', 'text': 'ثبت‌نام آزمون EPT دان...</td>\n",
       "      <td>2018-04-04</td>\n",
       "      <td>https://ekhtebar.ir/%d8%a2%d8%ba%d8%a7%d8%b2-%...</td>\n",
       "      <td>[آزمون ept]</td>\n",
       "      <td>آزمون های حقوقی/آزمون دکتری حقوق/آزمون زبان دکتری</td>\n",
       "      <td>ثبت‌نام آزمون EPT دانشگاه آزاد اسلامی آغاز شدا...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>شیوه جدید برگزاری مصاحبه دکتری در دانشگاه آزاد...</td>\n",
       "      <td>[{'type': 'h3', 'text': 'رئیس مرکز سنجش دانشگا...</td>\n",
       "      <td>2018-04-04</td>\n",
       "      <td>https://ekhtebar.ir/%d8%b4%db%8c%d9%88%d9%87-%...</td>\n",
       "      <td>[دکتری حقوق, دکتری حقوق ۹۷, دکتری دانشگاه آزاد]</td>\n",
       "      <td>آزمون های حقوقی/آزمون دکتری حقوق</td>\n",
       "      <td>رئیس مرکز سنجش دانشگاه خبر داد: شیوه جدید برگز...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                               title  \\\n",
       "0  تمدید مهلت ثبت‌نام پذیرفته‌شدگان آزمون مشاوران...   \n",
       "1              مرجع قضایی، وکالت را کسب و کار ندانست   \n",
       "2  کارنامه آزمون دکتری سال ۹۷ هفته آخر فروردین من...   \n",
       "3  آغاز ثبت‌نام آزمون EPT فروردین‌ماه ۹۷ دانشگاه ...   \n",
       "4  شیوه جدید برگزاری مصاحبه دکتری در دانشگاه آزاد...   \n",
       "\n",
       "                                        content_html        date  \\\n",
       "0  [{'type': 'h1', 'text': 'مهلت ثبت‌نام پذیرفته‌...  2018-04-03   \n",
       "1  [{'type': 'h2', 'text': 'قرار منع تعقیب کانون ...  2018-04-03   \n",
       "2  [{'type': 'h2', 'text': 'نتایج اولیه آزمون دکت...  2018-04-03   \n",
       "3  [{'type': 'h2', 'text': 'ثبت‌نام آزمون EPT دان...  2018-04-04   \n",
       "4  [{'type': 'h3', 'text': 'رئیس مرکز سنجش دانشگا...  2018-04-04   \n",
       "\n",
       "                                                 url  \\\n",
       "0  https://ekhtebar.ir/%d8%aa%d9%85%d8%af%db%8c%d...   \n",
       "1  https://ekhtebar.ir/%d9%85%d8%b1%d8%ac%d8%b9-%...   \n",
       "2  https://ekhtebar.ir/%da%a9%d8%a7%d8%b1%d9%86%d...   \n",
       "3  https://ekhtebar.ir/%d8%a2%d8%ba%d8%a7%d8%b2-%...   \n",
       "4  https://ekhtebar.ir/%d8%b4%db%8c%d9%88%d9%87-%...   \n",
       "\n",
       "                                                tags  \\\n",
       "0  [آزمون ماده ۱۸۷, آزمون مرکز وکلا ۹۸, آزمون مشا...   \n",
       "1  [تسهیل مجوز کسب و کار, کانون وکلای دادگستری یز...   \n",
       "2          [آزمون دکتری حقوق, اعلام نتیجه, دکتری 97]   \n",
       "3                                        [آزمون ept]   \n",
       "4    [دکتری حقوق, دکتری حقوق ۹۷, دکتری دانشگاه آزاد]   \n",
       "\n",
       "                                   category.original  \\\n",
       "0        آزمون های حقوقی/آزمون مرکز وکلای قوه قضائیه   \n",
       "1                   اخبار/اخبار کانون وکلای دادگستری   \n",
       "2                             اخبار/اخبار دانشگاه ها   \n",
       "3  آزمون های حقوقی/آزمون دکتری حقوق/آزمون زبان دکتری   \n",
       "4                   آزمون های حقوقی/آزمون دکتری حقوق   \n",
       "\n",
       "                                             content  \n",
       "0  مهلت ثبت‌نام پذیرفته‌شدگان آزمون مشاوران حقوقی...  \n",
       "1  قرار منع تعقیب کانون وکلا از اتهام «عدم اعلام ...  \n",
       "2  نتایج اولیه آزمون دکتری سال ۹۷ هفته آخر فروردی...  \n",
       "3  ثبت‌نام آزمون EPT دانشگاه آزاد اسلامی آغاز شدا...  \n",
       "4  رئیس مرکز سنجش دانشگاه خبر داد: شیوه جدید برگز...  "
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "ek_news = pre_processor.ekhtebar_news(ekhtebar_df)\n",
    "ek_news.to_csv(\"resource/news/nesw.csv\", index=False)\n",
    "print(\"- Number of news: \", ek_news.shape[0])\n",
    "ek_news.head() "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## بلاگ\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "برای این بخش با توجه به محتوای خوب یکی از کانال های تلگرامی حوزه حقوق به نشانی https://t.me/elitelawyers، محتوای این کانال استخراج شد. \n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>\\n..............《حضانت فرزند》............\\n🖋بر...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>\\n......《تقسیم ملک مشاع و ورثه ای》.......\\n🖋 ا...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>\\n..........《جلوگیری از پرداخت چک》........\\n🖋ب...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>\\n...............《طلاق توافقی》...................</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>\\n..............《اعتراض به مالیات》...............</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                text\n",
       "0  \\n..............《حضانت فرزند》............\\n🖋بر...\n",
       "1  \\n......《تقسیم ملک مشاع و ورثه ای》.......\\n🖋 ا...\n",
       "2  \\n..........《جلوگیری از پرداخت چک》........\\n🖋ب...\n",
       "3  \\n...............《طلاق توافقی》...................\n",
       "4  \\n..............《اعتراض به مالیات》..............."
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "blog = TelegramCrawler()\n",
    "result = blog.channel_html_to_df(\"resource/sample_resource/elitelawyers_telegram.html\")\n",
    "result.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h2 style='direction:rtl;'>\n",
    "    # استخراج ویژگی ها از متن\n",
    "</h2>\n",
    "<div style=\"direction: rtl;\">\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "<div style=\"direction: rtl;\">\n",
    "در این قسمت تلاش شده است تا بتوان عبارت های مهم موجود در متن ورودی استخراج شود. ویژگی اصلی پیاده سازی این بخش استفاده از بستر عبارت های منظم می باشد. البته برای بهبود کارایی آن از ترفندهای جانبی استفاده شده است تا بتواند دقت ها را تا حد امکان بهبود دهد.</br>\n",
    "ویژگی های استخراج شده در 4 دسته کلی قرار دارند که به شرح زیر می باشد:\n",
    "<ol>\n",
    "<li>استخراج عبارت های قانونی</li>\n",
    "<li>استخراج مواد قانونی و اصول</li>\n",
    "<li>استخراج سازمان های مذکور</li>\n",
    "<li>استخراج تاریخ های مذکور</li>\n",
    "</ol>\n",
    "هر کدام از بخش های فوق در ادامه معرفی می شود. لازم به ذکر است برای بهبود ارتباط میان 4 دسته ذکر شده با یکدیگر، خروجی به صورت لیستی از دیکشنری هایی از این 4 دسته می باشد که هر کدام از المان های لیست (دیکشنری) مربوط به یک جمله است.\n",
    "برای استخراج span صحیح هر عبارت، ابتدا در هر بخش span عبارت بدست آمده نسبت به جمله ورودی محاسبه می شود. در نهایت این sapn با مقدار بایاس اجتماعی از جملات قبلی جمع می شود تا span در کل عبارت ورودی بدست آید. با توجه به آنکه توکنایزر جمله کتابخانه هضم فاصله های میان دو جمله را در نظر نمی گیرد، برای تصحیح بایاس از ریجکس استفاده شده است.  \n",
    "\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "feature_extractor = FeatureExtractor()\n",
    "sample_text = \"\"\n",
    "feature_extractor.extract(sample_text)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## استخراج عبارت های قانونی\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "در این بخش، قوانین ذکر شده در متن استخراج میشود. برای پیاده سازی این بخش از دو مرحله استفاده می شود. یکی از ورودی های اصلی سازنده (Constructor) کلاس لیستی از کلمات کلیدی مرتبط با قانون که به صورت پیشفرض \n",
    "[\n",
    "    'قانون' , 'قوانین' , 'آیین نامه'  , 'آیین‌نامه' ,\n",
    "    'اساس نامه' , 'اساس‌نامه'\n",
    "] \n",
    "می باشد. حال سیر پیاده سازی این بخش به شرح زیر ارائه می شود:\n",
    "<ol>\n",
    "<li>در وهله اول ورودی با کمک نرمالساز هضم، نرمال  و ساخت جمله (Part of Speech) با کمک هضم استخراج می شود.</li>\n",
    "<li>در گام دوم، تمامی عبارت هایی که در لیست کلمات کلیدی قرار دارند استخراج می شود.</li>\n",
    "<li>براساس عبارت های استخراج شده، از آن عبارت شروع به افزودن کلمات به نتایج می شود تا در صورتی که در نقش آن EZ وجود داشته باشد. بعد از اتمام ذنجیره EZ(که به معنای اضافه می باشد) کلمه بعدی که EZ ندارد افزوده می شود.</li>\n",
    "<li>در گام آخر با کمک عبارت های منظم در صورتی که نام قانون با \"،\" و  حرف ربط \"و\" گسترش یافته باشد، آن به عبارت پیدا شده افزوده می شود.</li>\n",
    "</ol>\n",
    "لازم به ذکر است که هدف ابتدایی دنبال شده برای یافتن قوانین به شرح زیر بود:</br> \n",
    "\n",
    " لیستی از قوانین استخراج شد که با نام law_clean_list.txt در بخش resourceقرار گرفته است. این فایل بالغ بر 450 عنوان قوانین را در خود به صورت عبارت کامل جا داده است. سپس توسط bleu score و bert score نزدیک ترین قانون به قانون متن جستجو شد. اما به دلیل نقص لیست قوانین نتایج استخراج شده مطلوب نبوده و به دنبال آن روش استفاده شده به روش فعلی تغییر یافت.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## استخراج مواد قانونی و اصول\n",
    "</h3>\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "<style>\n",
    "    .right-align-list {\n",
    "      direction: rtl; \n",
    "      list-style-position: inside;\n",
    "      padding: 0;\n",
    "    }\n",
    "    \n",
    "    .right-align-list li {\n",
    "    text-align: right;\n",
    "    padding-right: 20px;\n",
    "    }\n",
    "\n",
    "</style>\n",
    "\n",
    "<div style=\"text-align: right\">\n",
    "جهت استخراج مواد چند کلمه کلیدی {'ماده', 'مواد', 'اصل', 'اصول'} را به عنوان شاخص جستجو در نظر گرفتیم.\n",
    "متن را به جملات کوتاه شکسته و هر جمله را با کمک کتابخانه هضم چانک بندی میکنیم. از میان چانک‌ها، آن‌هایی که برچسب‌های زیر را دارند جدا میکنیم.\n",
    "</div>\n",
    "<ul class=\"right-align-list\">\n",
    "    <li>گروه اسمی - NP</li>\n",
    "    <li> گروه قیدی - ADVP</li>\n",
    "    <li>گروه وصفی - ADJP</li>\n",
    "</ul>\n",
    "\n",
    "<div style=\"text-align: right; direction: rtl\">\n",
    "       پس از آن با کمک کلاس <code>find_article</code> به دنبال این کلمات کلیدی می‌گردیم.\n",
    "        دو حالت را در نظر میگیریم:\n",
    "        <br>\n",
    "        حالت اول: ماده و قانون در یک چانک باشند\n",
    "        <br>\n",
    "        حالت دوم: چانک فاقد قانون بوده و فقط دارای ماده باشد\n",
    "        <br>\n",
    "        در هر حالت پس از یافتن ماده و نقطه شروع و پایان، آن را به تابع اصلی بازگردانده و در آخر لیستی شامل مواد را باز میگردانیم\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## استخراج سازمان های مذکور\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    " هدف از انجام این تسک، استخراج نام تمامی سازمان های موجود در متن ورودی است. به همین جهت مجموعه ی نسبتا مفصلی از نام سازمان های کشور تهیه گردید. این موارد در فایلی به نام org.txt در قسمت resource قرار دارد.\n",
    " حال سیر پیاده سازی این بخش به شرح زیر ارائه می شود:\n",
    "<ol>\n",
    "<li> در ابتدا، برای استفاده از منابعی مانند مجموعه ی نام سازمان ها و مدل های هضم منابع لازم فراهم می شود.</li>\n",
    "<li>جهت ساختاربندی مناسب، از کلاس org_extractor استفاده می شود.</li>\n",
    "<li>در اولین گام اصلی راه حل، به کمک\n",
    "chunker\n",
    "کتابخانه ی هضم متن  چانک بندی می شود.\n",
    "سپس کاراکترهای زائد متن که به حل مسئله کمکی نمی کنند حذف شده و چانک ها  برای مرحله ی بعد آماده می شود. بخش آخر به دلیل مدیریت کردن اشتباهات در چانک ها پس از تبدیل به فرم مورد نیاز اضافه شده است.</li>\n",
    "<li>می دانیم نام سازمان ها در یک چانک NP قرار می گیرد. اما گاهی این نام به دلیل طولانی بودن شکسته شده و در چند چانک متوالی NP جایگیری می کند. به همین دلیل تمامی چانک های NP متوالی را ادغام میکنیم و صرفا آنها در نظر گرفته می شود.</li>\n",
    "<li>در ادامه برای هر چانک از تابع ngram استفاده می شود. مقدار n  در هر یک از این ngramها به ترتیب از تعداد کلمات هر چانک به یک کلمه کاهش می یابند.\n",
    "دلیل این کار آن است که به ترتیب از بزرگترین عبارت در مجموعه ی نام سازمان ها جستجو شود.</li>\n",
    "<li>سپس به کمک عبارات قاعده محور،‌ ngramهای ایجاد شده را در مجموعه ی نام سازمانها جستجو می شود.\n",
    "خروجی لیستی از تاپل هاست که در هر تاپل نام سازمان و اندیس شروع و پایان آن در جمله قرار دارد. \n",
    "</li>\n",
    "</ol>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## استخراج تاریخ های مذکور\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "    جهت استخراج تاریخ دو گام طی می شود چرا که دو نوع متنی و عددی در متن وجود دارد:\n",
    "<ol>\n",
    "<li> با کمک regex فرمت‌های عددی تاریخ از متن استخراج می شود\n",
    "    <br>\n",
    "    این regex بدین صورت عمل میکند که تاریخ های به فرمت:\n",
    "        <br>\n",
    "    d/m/yy\n",
    "        <br>\n",
    "    d/mm/yy\n",
    "        <br>\n",
    "    dd/m/yy\n",
    "        <br>\n",
    "    dd/mm/yy\n",
    "        <br>\n",
    "    d/m/yyyy\n",
    "        <br>\n",
    "    d/mm/yyyy\n",
    "        <br>\n",
    "    dd/m/yyyy\n",
    "        <br>\n",
    "    dd/mm/yyyy\n",
    "        <br>\n",
    "</li>\n",
    "<li> برای فرمت حرفی نیز دو لیست اعداد به صورت عدد و حرف ایجاد شده است. سپس به دنبال ماه از لیست ماه ها و پس از آن فرمت های \"هر ماه\"، \"هر سال\"، \"ماه\" و \"سال\" در صورت وجود استخراج می شود. \n",
    "</ol>\n",
    "در نهایت لیستی از تاریخ های استخراجی ارجاع داده می شود.\n",
    "</div>\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## ارزیابی استخراج ویژگی ها\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "12 تست اجرا شد\n",
    "<br>\n",
    "به جهت سادگی کل عبارت را در نظر گرفتیم.\n",
    "<br>\n",
    "خروجی 11 نتیجه موفق را به همراه داشت\n",
    "<br>\n",
    "این تست ترکیبی از دیتاهای سایت های اختبار و شناسنامه است.  \n",
    "</div>\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "<h2 style='direction:rtl;'>\n",
    "    # یافتن پرونده مشابه\n",
    "</h2>\n",
    "<div style=\"direction: rtl;\">\n",
    "یکی از موارد کاربردی در مسائل حقوقی و قضایی، استفاده از تشابهات میان موضوعات برای استفاده مجدد در موارد جدید می باشد. در همین راستا در این بخش یک مدل بازیابی اطلاعات توسعه داده می شود تا با کمک آن بتوان براساس متن ورودی، پرونده های نزدیک به متن ورودی ارائه شود. \n",
    "مخزن مورد استفاده در این بخش 2000 پرونده استخراج شده از سامانه ملی آراء که پیش از این معرفی شده است می باشد. البته این تعداد برای رسیدن به نتیجه مطولب فاصله زیادی دارد اما برای نمونه می تواند روند را به طور مناسب شبیه سازی کند.<br>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## مدل بازیابی\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "روش های مختلفی برای بازیابی اطلاعات وجود دارد که می توان دو دسته اصلی زیر را برای این روش ها در نظر گرفته می شود.\n",
    "<ol>\n",
    "  <li>مدل بازیابی لغوی (Syntaxical): در این مدل ها تمرکز بر روی یاقتن تشابه ظاهری لغات و عبارت بکاررفته شده است.</li>\n",
    "  <li>مدل بازیابی محتوایی (Semantical): در این مدل ها تمرکز بر روی یافتن تشابه محتوایی برای بازیابی اطلاعات است به نوعی که ممکن است مفاهیم مشابه در معنا یکسان و در ظاهر بکار گرفته شده متمایز باشند.</li>\n",
    "  <br>\n",
    "  در این تمرین تلاش شده است تا از یک مدل بازیابی اطلاعات لغوی استفاده شود زیرا بستر مورد نیاز برای استفاده از مدل های زبانی برای پیاده سازی برخط وجود نداشت. البته برای ایجاد فضای ارزیابی مدل بازیابی در زیر بخش تست نحوه بکارگرفته شده از یک مدل انکدور شرح داده شده است.<br> \n",
    "</ol>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"direction: rtl;\">\n",
    "برای پیاده سازی مدل بازیابی از سه مدل زیر استفاده شد که هر کدام شرح داده میشود.\n",
    "<ol>\n",
    "  <li>مدل بازیابی BM25: یک مدل بازیابی اطلاعات لغوی بر پایه TF-IDF می باشد که با بگ کردن کلمات کار میکند.</li>\n",
    "  <li>مدل بازیابی برپایه امتیاز Bleu: معیاری برای ارزیابی خودکار متن ترجمه شده توسط ماشین است. این مدل بر اساس تشابه لغوی امتیازی را برای دو دسته کاندید و مرجع تعیین می کند..</li>\n",
    "  <li>مدل بازیابی برپایه Word2Vec: یکی از روش های بازیابی استفاده از یک مدل شبکه عصبی برای بدست آوردن یک بازنمایی برداری از لغات برپایه منابع است. بر این اساس هر لغت متناسب با اسناد یک بازنمایی خواهد داشت و در نهایت متن جدید با کلماتی در مجموعه لغات تبدیل به ماتریکس شده و تشابه آن استخراج می شود.</li>\n",
    "  <br>\n",
    "  پیاده سازی هر سه مورد در فایلی با نام case_retrieval.py در پکیج case_analyzer قرار  دارد. در نهایت پس از بررسی های انجام شده که جزئیات آن در بخش تست می آید روش BM25 برای این بخش در نظر گرفته می شود.\n",
    "</ol>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{'corpus_id': 0, 'score': 1776.0104075846805},\n",
       " {'corpus_id': 3, 'score': 1230.5755198846866},\n",
       " {'corpus_id': 66, 'score': 1122.7788939223922},\n",
       " {'corpus_id': 50, 'score': 1117.7834090779272},\n",
       " {'corpus_id': 40, 'score': 1115.131583023599},\n",
       " {'corpus_id': 162, 'score': 1110.277780141251}]"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from model.case_analyzer.case_retrieval import BM25Retrival\n",
    "case_df = pd.read_csv(\"resource/case/case.csv\", encoding=\"utf-8\")\n",
    "ir_model = BM25Retrival(case_df.text[1000:1500], [], word_tokenize)\n",
    "ir_model.get_similar_score(case_df.text[1000])[:6]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## ارزیابی مدل بازیابی\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "بهترین روش برای ارزیابی مدل های بازیابی ارائه شده در قسمت قبل استفاده از یک نیروی حقوقی و لیبل زدن داده ها می باشد اما با توجه به حجم داده ها و مسئله زمان برای این موضوع از یک مدل sentence_transformer فارسی با عنوان ahdsoft/persian-sentence-transformer-news-wiki-pairs-v3 استقاده شد. بدین صورت که تمامی متن ها با استفاده از این مدل Encoder به فضای تنسور رفته اند. نوت بوک مرتبط با آن با نام LLMbase_retrieval.ipynb قراردارد. در نهایت همه اطلاعات مرتبط با فضای تنسوری در فایل case_LLM_embeding.npy قرار گرفته است. لازم به ذکر است با توجه به محدودیت های موجود، پرونده های 500 تا 1000 برای انجام تست در نظر گرفته شده است.  \n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"direction: rtl;\">\n",
    "برای انجام فرآیند ارزیابی مراحل زیر طی شده است:\n",
    "<ol>\n",
    "<li>ابتدا برای هر پرونده، ده پرونده شبیه با استفاده از شباهت کسینوس تنسورها با استفاده از مدل معنایی استخراج می شود. </li>\n",
    "<li>بعداز آن برای هر پرونده ده مورد مشابه با استفاده از الگوریتم بازیابی (BM25, Bleu Score) بدست می آید</li>\n",
    "<li>زمان هر درخواست برای هر روش محاسبه می شود.</li>\n",
    "</ol>\n",
    "تابع پیاده سازی تست این بخش با نام case_ir_test.py در پکیج test قرار گرفته است. فرآیند تست در اینجا پیاده می شود:\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "case_text = pd.read_csv(\"resource/case/case.csv\").text.to_list()\n",
    "bm25_model = BM25Retrival(case_text[500:1000])\n",
    "bleu_model = BleuRetrieval(case_text[500:1000])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 500/500 [01:30<00:00,  5.52it/s]\n"
     ]
    }
   ],
   "source": [
    "bm25_model.create_similarity_matrix(\"resource/case/case_BM25_matrix.npy\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 500/500 [21:53<00:00,  2.63s/it]\n"
     ]
    }
   ],
   "source": [
    "bleu_model.create_similarity_matrix(\"resource/case/case_bleu_matrix.npy\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-BM25 Model Accuracy with LLM Encoding:  38.60\n",
      "-Bleu Model Accuracy with LLM Encoding:  43.80\n"
     ]
    }
   ],
   "source": [
    "bm25_similarity_matrix = np.load(\"resource/case/case_BM25_matrix.npy\")\n",
    "bleu_similarity_matrix = np.load(\"resource/case/case_bleu_matrix.npy\")\n",
    "LLM_similarity_matrix = np.load(\"resource/case/case_LLM_matrix.npy\")\n",
    "bm25_test = CaseIrText(LLM_similarity_matrix, bm25_similarity_matrix)\n",
    "bleu_test = CaseIrText(LLM_similarity_matrix, bleu_similarity_matrix)\n",
    "print(\"-BM25 Model Accuracy with LLM Encoding: \", bm25_test.number_score(15))\n",
    "print(\"-Bleu Model Accuracy with LLM Encoding: \", bleu_test.number_score(15))\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"direction: rtl;\">\n",
    "همانطور که در نتایج بالا مشخص شد، دقت دو مدل BM25 و Bleu نزدیک به هم هستند اما با توجه به اختلاف زمانی بسیار بالایی که وجود دارد .(حدودا BM25 سی برابر سریع تر از Bleu می باشد.) مدل BM25 انتخاب می شود. ذکر چند تکته در این بخش حائر اهمیت است:\n",
    "<li>مدل بازیابی BM25 برای داده های کم زمان مناسبی دارد اما در صورتی که مقدار داده ها (هرسال 14 میلیون پرونده تشکیل می شود.) زمان پاسخ به هر درخواست بسیار زیاد می شود. بنابراین برای داده های زیاد بهترین کار استفاده از روش های Passive مانند استفاده از مدل های معنایی می باشد. در این حالت در فاز پیش پردازش تمامی  اطلاعات به صورت بردار وجود دارد و تنها یک عمل شباهت کسینوس انجام می شود. همچنین پایگاه های داده ای مثل الاستیک سرچ نیز عملکرد مناسبی دارد.</li>\n",
    "<li>ارزیابی در این حالت اعتبار کمی دارد زیرا ممکن است یک پرونده با موضوع خاص در میان داده ها وجود داشته باشد که مشابه آن در داده ها نباشد به همین علت مدل بازیابی پرونده با فاصله زیاد را نتیجه می دهد درحالی که این دقت کم ناشی از مدل بازیابی نیست و نتیجه نبود داده مشابه است.</li>\n",
    "<li>یک مدل Word2Vec برای بازیابی توسعه داده شد که نتایج آن به علت کمبود اطلاعات مناسب نبود. این پیاده سازی در فایل case_ir.py قرار گرفته است.</li>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "<h2 style='direction:rtl;'>\n",
    "    # Setup\n",
    "</h2>\n",
    "<div style=\"direction: rtl;\">\n",
    "\n",
    "از آنجا که پاسخ تولیدی در بات، از دو بخش feature extraction و case analysis ایجاد می شود، در کلاس Run به فراخوانی و ادغام پاسخ این دو بخش می پردازیم. هر متن حقوقی به جملات آن شکسته می شود و سپس هر جمله به کلاس های استخراج اطلاعات ارسال می شوند. سپس اطلاعات متن به صورت یک لیست از دیکشنری ها(یک دیکشنری به ازای هر سطر) برگردانده می شوند.\n",
    "در تابع run پس از بررسی متن ورودی، در صورتی که کاربر به کمک افزودن کلمه ی پرونده به همراه یک عدد، مشاهده ی پرونده های مشابه را درخواست کرده باشد،‌بخش case analyzer فعال شده و به تعدادی که کاربر خواسته باشد پرونده ی مشابه به وی برمی گرداند. همچنین میزان دقت این پرونده ها را نیز به کاربر نمایش می دهد.\n",
    "خروجی این تابع یک tuple متشکل از featureها و caseهای مشابه است.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "program = Run()\n",
    "sample = \"\"\n",
    "program.run(sample)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "<h2 style='direction:rtl;'>\n",
    "    # پیاده سازی بات\n",
    "</h2>\n",
    "<div style=\"direction: rtl;\">\n",
    "در فایل configuration.yaml اطلاعات لازم برای بات قرارگرفته است. همچنین دو skill نیز اضافه شده که یکی جهت راهنمایی و دیگری جهت بررسی متن ورودی ایجاد شده اند.\n",
    "\n",
    "با نوشتن کلمه ی \"رهنما\"، راهنمای استفاده از بات برای کاربر ارسال می شود و با ارسال هر متن دیگری فرایند استخراج اطلاعات از متن آغاز می شود و آن متن به تابع run از کلاس Run ارسال می شود. \n",
    "<br>\n",
    "به علت محدودیت تعداد کاراکترها برای نشان دادن پرونده های مشابه به مشکل برخورد کردیم زیرا پرونده ها طولانی بوده و نمیتوان تمامی آن ها را در یک پیام ارسال نمود. به همین دلیل پرونده های مشابه در یک فایل با نام cases.txt در مسیر پروژه نوشته میشوند.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}