Report.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3>\n",
    "<center> درس پردازش زبان‌های طبیعی </center>\n",
    "<center> تمرین سری سوم </center>\n",
    "<center> تشخیص احساس نظرات طاقچه </center>\n",
    "<center> ترم بهار 1403-1402 </center>\n",
    "</h3>\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h4 style='direction:rtl;'>\n",
    "    شماره گروه: 18\n",
    "</h4>\n",
    "<div style='direction:rtl;'>\n",
    "    <b>اعضای تیم:<br></b>\n",
    "    امیر شکوری (402206437)<br>   \n",
    "    زهرا ملکی (402206183)<br>\n",
    "    حامد جهانتیغ (401212324)\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "<h2 style='direction:rtl;'>\n",
    "    # معرفی\n",
    "</h2>\n",
    "<div style=\"direction: rtl;\">\n",
    "در این تمرین تحلیل احساس نظرات طاقچه مد نظر می باشد. تمرین در دو دسته اصلی طبقه بندی متن و طبقه بندی کلمه انجام شده است. به طور کلی سه بخش اصلی گزارش به شرح زیر می باشد:\n",
    "<ol>\n",
    "  <li>آماده سازی داده ها</li>\n",
    "  <li>طبقه بندی سند</li>\n",
    "  <li>طبقه بندی کلمه</li>\n",
    "</ol>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"direction: rtl;\">\n",
    "برای عدم وجود مشکل در اجرا، تمامی کتابخانه های استفاده شده در فایل <i>requirements.txt</i> قرار گرفته است که در اینجا فرآیند نصب انجام می شود. همچنین کتابخانه های مورد استفاده در فایل نوت بوک گزارش هر کدام در بخش مورد نیاز خود فراخوانی می شود.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "! pip install -r requirements.txt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "from config.path import *\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "<h2 style='direction:rtl;'>\n",
    "    # آماده سازی داده ها\n",
    "</h2>\n",
    "<div style=\"direction: rtl;\">\n",
    "در این بخش، تلاش شده تا داده ها متناسب با تسک های تعریف شده آماده شوند و عملیات پیش پردازش و تکمیل داده ها انجام شود. برای تحقق این امر روند زیر طی شده است:\n",
    "<ol>\n",
    "<li>تکمیل داده ها با استخراج اطلاعات تکمیلی نویسندگان، مترجمان و انتشارات</li>\n",
    "<li>تحلیل داده ها برای متناسب سازی 5 سطح از رتبه بندی(تعیین هایپرپارامتر)</li>\n",
    "<li>تمیزسازی اولیه داده های نظرات متناسب با تسک های تعریف شده</li>\n",
    "</ol>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## تکمیل داده ها با استخراج اطلاعات تکمیلی نویسندگان، مترجمان و انتشارات\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "برای تکمیل داده ها، از یک کرالر پایتون استفاده شده است که پیاده سازی آن در پکیج های <i>data</i> فایل <i>data_processor.py, crawler.py</i> قرار دارد.\n",
    "\n",
    "در این کرالر سعی شد تا اسامی نویسندگان، مترجمان و انتشارات کتاب های موجود در دیتاست اصلی استخراج شوند. نتیجه ی این کرالر در فایل atp.csv قابل مشاهده است که اطلاعات حدود ۱۱۵۰۰ کتاب مختلف در آن جمع آوری شده است.\n",
    "\n",
    "\n",
    "جهت ایجاد یک دیتاست مناسب برای مدل پایه طبقه بندی کلمه، از دیتاست های persian_ner و arman استفاده شد که در این امر، اطلاعات مرتبط با حوزه ی کتاب از دیتاست arman استخراج و به دیتای مورد نیاز در دیتاست persian_ner اضافه شدند تا یک دیتاست یک دست و مرتبط با مسئله داشته باشیم.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## تکمیل داده ها با استخراج اطلاعات تکمیلی نویسندگان، مترجمان و انتشارات\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "برای تکمیل داده ها، از یک کرالر پایتون استفاده شده است که پیاده سازی آن در پکیج های <i>data</i> فایل <i>data_processor.py, crawler.py</i> قرار دارد.\n",
    "\n",
    "در این کرالر سعی شد تا اسامی نویسندگان، مترجمان و انتشارات کتاب های موجود در دیتاست اصلی استخراج شوند. نتیجه ی این کرالر در فایل atp.csv قابل مشاهده است که اطلاعات حدود ۱۱۵۰۰ کتاب مختلف در آن جمع آوری شده است.\n",
    "\n",
    "\n",
    "جهت ایجاد یک دیتاست مناسب برای مدل پایه طبقه بندی کلمه، از دیتاست های persian_ner و arman استفاده شد که در این امر، اطلاعات مرتبط با حوزه ی کتاب از دیتاست arman استخراج و به دیتای مورد نیاز در دیتاست persian_ner اضافه شدند تا یک دیتاست یک دست و مرتبط با مسئله داشته باشیم.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ##تحلیل داده ها برای متناسب سازی 5 سطح از رتبه بندی(تعیین هایپرپارامتر)\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "برای تعیین هایپر پارامتر حالت های مختلفی وجود دارد، باتوجه به توزیع داده ها و سیاق جملات در 4 حالت مرزها بررسی می شود. روند بررسی بدین صورت است که در هر حالت مدل ParsBert براساس داده های دسته بندی حالات مختلف آموزش داده می شود. تنطیمات برای انجام این فرآیند به شرح زیر است:\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "batch_size = 16\n",
    "epochs = 1\n",
    "logging_steps = 100\n",
    "save_steps_perc = 0.25\n",
    "learning_rate = 5e-5"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"direction: rtl;\">\n",
    "درنهایت نتایج برای حالات به شرح زیر اقدام می شود:\n",
    "<li>مثبت: 4-5، خنثی: 2-3، منفی: 0-1 -> 72.0% با داده بالانس 10074 </li>\n",
    "<li>مثبت: 5، خنثی: 2-4، منفی: 0-1 -> 72.6% با داده بالانس 10074 </li>\n",
    "<li>مثبت: 5، خنثی: 3-4، منفی: 0-2 -> 69.7% با داده بالانس 13868 </li>\n",
    "<li>مثبت: 5، خنثی: 4، منفی: 0-3 -> 68.7% با داده بالانس 9356 </li>\n",
    "در نتیجه دسته بندی حالت دوم عملکرد بهتری را ایجاد می کند.\n",
    "</div>"
   ]
  },
  {
   "attachments": {
    "image.png": {
     "image/png": "iVBORw0KGgoAAAANSUhEUgAAAaIAAABRCAYAAACQeqJsAAAABHNCSVQICAgIfAhkiAAAABl0RVh0U29mdHdhcmUAZ25vbWUtc2NyZWVuc2hvdO8Dvz4AAAAvdEVYdENyZWF0aW9uIFRpbWUAVGh1IDExIEp1bCAyMDI0IDA0OjAwOjQ3IEFNICswMzMwI6teUQAAIABJREFUeJzt3XdYVFfewPHvMHRGGCkjTRBEUEQUuxBjCdhLognWZNeajb6WjVFjisa8Go3rJmt5TeJqslmjbixRiW3VGBN7IUJiBwHpgvSOU94/eOaGcWgm4Kg5n+fheeTec+eeOffe8zvtoszb21uHIAiCIJiImakzIAiCIPyxiUAkCIIgmJQIRIIgCIJJiUAkCIIgmJQIRIIgCIJJiUAkCIIgmJQIRIIgCIJJmSuVSlPnQRAEQfgDEz0iQRAEwaREIBIEQRBMSgQiQRAEwaREIBIEQRBMSgQiQRAEwaREIBIEQRBMSgQiQRAEwaREIGpCU6ZM4e9//ztdu3Y1dVYEQRB+tylTprB+/Xq6devWqJ9r3pBEKpWKESNGEBgYiEKhoKysjISEBE6dOkV0dDQAXl5eBAYGkpeXx/nz5xs1k3UJCAhgwYIFACxbtozExMR6j3n77bfx9fXl+++/56uvvmqyvPn6+tKULwzPnj2bNm3aYGNjA0B5eTlZWVlcuXKF//73v5SUlNR43LRp0+jZsyfFxcW88cYb3L9/32C/vb09s2bNwtHREVtbW+RyOUVFRWRkZBATE8MPP/xgdExjmjJlCqGhoVy8eJHPPvsMne7X/7vR2dmZDz/8EIBFixaRlZVlsK0me/bsYf/+/Qb3yl/+8heD7/Dgvt69ezNhwoQ686nVapk2bRqBgYG89NJLODo6Ym1tDUB+fj7x8fEcO3asznuyvmsBsGrVKpycnNi6dSvHjx+vM0+NycXFhYiICDp06ICjoyNqtZq7d+9y5coVjh49SlFRkUH6wMBAwsPDad26NdbW1uTm5nLt2jWOHDnC3bt3azxHixYtGDRoEO3bt0epVFJUVERCQgLHjx/n+vXrBmnbt2/Piy++iKOjIzY2Nmg0GgoLC0lMTOTSpUtcunSpycriUVm2bBlubm6cPXuWTZs2Ge13cnLigw8+wNzcnH/84x/88ssvjzR/Xbt2xdLSkqCgIC5evNhon1tvIHJ2duadd97Bzs4OAJ1Oh0KhIDg4mLy8PCkQ9e3blz59+vDDDz880kCUnJyMTqdDJpPh4eFh8NBPmDCB5s2bs3//fpKSkgCQyWS4u7sDSNueVJ6entja2lJcXExxcTE2NjZ4e3vj7e1Nt27dWLp0KeXl5QbHKJVKqYemUCjo1asXP/74o0EaS0tLfH19garKVqvVolQqUSqVtGvXjoiICNatW0dqamqTfr9u3bpx9+5d9uzZ0+BjSktL0Wq1BtsqKysf+txqtZqysjLpd2tra2QyGffv30etVgOg0WgAaN68OV5eXtI2mUyGs7Mzzs7O9OjRg02bNnHu3DmjczTkWphKSEgIU6dOlQIrgLm5uXR/nT592iAQRUZGMnDgQIPPUKlUqFQqQkND2bx5s1Gg6Nq1K1OnTsXCwkLaplQq6dy5M507d+bw4cPs3LnTYJ++nNVqNebm5lI5d+vWjRs3brBu3Tqje/5J4ujoCECPHj2IiooiKyvLYP/gwYMxNzc3SPsobdq0ifbt23Po0KFG/dx6A9Gzzz6LnZ0d+fn5rF69mszMTBQKBW3btiU9Pb1RM/NblJWVkZ2djUqlwsPDQ9rerFkz+vXrh0wmIysrSwo6zs7O0sP1pAcivR07dnD69Gmgqme6YMECVCoV3bt3N6rYnnvuOczNzUlNTcXT05Pw8PA6K7+lS5eSmpqKnZ0dwcHBvPTSSzg7OzN79myWLFliUFk3haFDh3L79m1+/vnnBqX/8MMPGyVA/vjjjwblsmLFClQqFbt37+bo0aM1HlNcXMycOXOQy+W4ubkxYcIE/P39GTduHBcvXpQCl97DXotHxd3dnenTp2NpaUl8fDy7d+/mzp07WFhY4OHhQZs2bQx6OH369JGC0KlTpzh48CAFBQW0bNmSyMhIfH19mTJlCmlpaWRkZADg4eHB9OnTkcvlxMfHs2PHDtLS0mjevDlDhgwhNDSUQYMGkZaWxpkzZwzypy9nmUyGo6MjvXr1Yvjw4bRt25apU6eyfv36R1dYjcjOzg4rKysAzMzMGDBggMGITbNmzQgLC5N+b968+SPPY3R0tNT5aEz1BiL90FJOTo50ExUVFdXaLevTpw99+vQB4Oeff2bNmjVA1Y33wgsvEBAQgJmZGUlJSURFRXHz5k3p2A4dOjBw4EBcXV1RKBRoNBrS0tI4fvx4jS1KvYSEBFQqFS1btpS2BQUFIZPJpH/v2LEDqOpFQFUAS0tLA6ouekREBM8++yxOTk4UFhZy4cIFoqKiDFrTo0aNIiAgAGdnZxQKBcXFxXz11VdcvnwZW1tbXnzxRTp16oS1tTUpKSnY29vXV7yNLjk5mZSUFPz9/XFwcDDYZ2FhIV2bf/7zn8ybN0+qWOLi4ur83JKSEs6ePUtWVhaLFi3CycmJXr16NelQUXl5OdbW1kyZMoUlS5aQn5/fZOdqTBqNhtTUVHbv3s2iRYtQKBSoVCrp+YHfdy2a2uDBg7G0tCQrK4vVq1dLw4UVFRXcvHnT4JmVyWSMGDECqKqkvvjiC2lfXFwcf//731m+fDlKpZIBAwbw5ZdfAjB8+HDkcjk5OTl89NFHVFRUAJCRkcHmzZuxs7OjY8eODBs2zCgQ6el0OnJycti/fz9arZbRo0cTEhKCp6dnk/fWm4K+vtCPQoSFhbF3716Ki4uBqoaLpaUllZWVWFpaGtQvzs7OTJkyBZVKRbNmzSgpKeHatWvs3LlTem58fX0ZMGAAHh4eODo6YmZmRkJCAn/729+AqqHY6lMwpaWl5Ofnc+vWLbZv3w7AggULCAgIMBgmnjRpEl5eXjg4OEjH3bhxg//85z8NfmbrXaxw584dAFq3bs2MGTNo1apVnemLi4tJSUkhJSWF7OxsAHx8fHjnnXcICQnBwsICmUxG27ZteeONNwgJCZGO9fX1pV27diiVSkpLS9HpdLRu3Zpp06bxwgsv1HrO27dvA+Dt7S0Fn+DgYKBqqMbDwwMXFxcAqWufmJgozT28+uqrREZG4urqSmVlJY6OjgwePJj58+dL3WCoap37+flJw2HNmjWjuLgYuVzO/Pnz6dOnDw4ODpSXl9OqVStsbW3rK95GZWFhQceOHfHx8UGn0xmNsXfr1g07Oztu3bpFamoqZ8+eBZAqxIa4ffs2t27dAqoaDk0pJiaGy5cvo1AomDZtmnRtnxRmZr8+XvrhPL3GuBZNRf9Mnjp1qt65QC8vL6mxeuTIEaP95eXlUm+9Y8eOQFXwCgoKAqp6nvogVN2xY8eAqjkkNze3evN85MgRqcep/+wnjUKhAKrq0AsXLmBpaUnfvn2BqmHRPn36oNFoOHnypEF6qCpnPz8/dDod9+7dQ6FQ0LNnT2bOnCml6dChA926dcPd3Z2KigrUarVUB6pUKhYvXkxoaChWVlakpqZy//59vLy86NmzZ535fuaZZ/Dy8sLa2pqioiIUCgXdunXj9ddfN3gG6lJvj+jEiRO0a9eOkJAQunTpQpcuXbhz5w6HDh2qsVcUHR3Nv//9b4NtEyZMwNLSkpiYGD777DM0Gg0vv/wyvXv3ZuLEicTGxhqM60dHR/PJJ59gZmbGsGHDGDlyJEOHDuXkyZPcu3fP6Jzx8fEA2Nra4uLiQk5ODkFBQWRmZvLLL78QERFBp06dOHr0KN7e3gbHdOjQga5du6JWq/n444+5ceMG3t7ezJ8/H19fX5555hlOnDhhcL5ly5aRlpaGXC5Hp9PRvXt3vLy8qKysZOXKldy5cwcbGxvef//9RzKOO3nyZCZPnmywbe/evdJ31OvduzdQVcEAnDx5koEDB9K1a1e2bdtGaWlpg86XkZFBQEAATk5OjZD7um3evJklS5bQtm1bwsPDuXz5cp3ply5davB7fn4+8+bNa8osGrGwsMDd3Z3Ro0cDVaMJOTk5Bmka61o0Nmtra2nxS2ZmptF+FxcXrKysKCoqoqCgwOAe0I8wPEjfO7G3t8fc3BxLS0vpHLUdU327o6OjQW+yJmq1mqysLNzc3Ewyd9IYqgei77//ntDQUPr168fhw4fp1q0b9vb2nD17VpoSadasmXRscXExs2bNkubHWrVqxbvvvouvry/Ozs4G9WZ0dDQbNmwAquaDAZ5//nlsbW1JS0tj5cqVlJaWEhgY+FDPzgcffEBqaiotW7Zk8eLFeHh44Ovra1QP1aTecKXRaFi/fj2rV6/m8uXLaDQavL29+ctf/sKf//znek/g4OCAj48PAPv376eyshKNRsPevXuBqqG/6kNq1Wm1Wr799ltycnIMWlEPSklJkeYqfH198ff3x9bWltjYWGJiYgDo1KkTgBSI9MML+u3Xr1/nxo0bQFUv8MKFC8CvPavq9C1zjUaDVqslICAAgNjYWKkHWVZW9psmyX+Lu3fvEh8fT1JSktSNHz58uEFLxsXFhTZt2lBZWSmN8WZkZEhj/927d2/w+fTf68FFAU2hrKyMjRs3otFoGD16NC1atKgzfUFBAfn5+QY/j4pCoWDz5s18+umnLF68GD8/PyoqKvj8888Nyqoxr0Vjq6/XOXXqVJYuXUpERASAwYrGhqp+zG85vjaP8r5sCvoFYSUlJSQkJJCQkIBSqSQkJITnnnsOgO+++05aDatPr6dQKOjRowdDhgzBz89PqhMfHKKvXub6MvP39wfg+PHjv7sRlJKSIgVLV1fXBh3ToOXbUFVRX79+HaVSyfjx4+nSpQu9e/fm+PHjJCcn13pc9e5j9VZhfn4+9+/fx8LCos65FJ1OR3Z2Nk5OTgYtgAfTxMXFERwcjL+/v9RFj4mJ4fbt2xQXF+Pv70+rVq1QKpVoNBoSEhKAX1sVD7ZY9cOKtZ2zpu9YUFBQb9qmcODAAWn4w8zMjAkTJtC3b1/GjRvH+fPn0el09OzZE5lMhkwm46233pKO1U94hoWFGfX8aqOfZ8vNzW3cL1KLhIQEDh8+zNChQ+tdUv3RRx/VOj9QfbGApaWlwbCTfpJYp9MZLSpoKK1WS0ZGBtbW1lJP4aOPPjJqETbmtWhsZWVlVFRUYGVl1aAhser3gLu7uzRMXp3+fikqKkKtVqNWq6X5Pw8PD6mxWF31hUcNuc/kcrlU6T2q+7KxVX8NA6qCjq+vLy+99BJOTk7Ex8eTmJgo1UnVA9GAAQOIjIyssSHRkOExuVwO0GiLj/TfQd/jqs9Dv9Can59vsL5dvxRaPwZefSkmILXQAYNuvFKplNIWFhbWeU79GHRt78UAXLt2DYB27drRuXNnCgoKiIuLQ6PREBMTg5mZGWPHjgWqJlH1LQH9EtQHh5lUKpXB/rro09TXWn8UtFqt9GArFApphWCvXr0ApJVP+h/9PJavr2+DKh4vLy/atWsHUGMF0lSioqJIT0//XWVcvXf0YC9cP3dYWFj4m1vUpaWlLF68mHfffVdqEY4dO1Z6yPUa61o0Ff27KaGhoUZ5f1BKSopUruHh4Ub7ra2tpZVe1d950f/7mWeeMaozAKkHkJ2dXeMQ4YP69++PlZUVOp2O2NjYetM/jvSBRT9ndunSJfLz86W6Sb84QF/J6wOXXC5n9OjRyGQytm7dyowZM5gxY8ZDNYz192vPnj2lefHq8+NNrd5A5OfnR2hoqNS9k8vl0oMEv/YC9Dejn5+fVEB2dnYUFBRIy6RHjRqFhYUFcrlcWmmTn59v1KNSKBRSIXTt2lVq6VRfrfOgq1evAlUBRKlUEhMTI3VB9e8vtGnTBvg1aAHSsuD27dtLk+8eHh7Sm8MNWTZ85coVoGq+qfrySlNwcHCQHuLCwkJp4USLFi3QarXMmTOHKVOmGPzob8Lq1/VBVlZWdO/enblz5yKTycjMzKxzJWNjU6vVv/vl43v37kmV2rhx4/D09MTc3JwOHTowYMAAgEZ5QbCiooLNmzej1Wrx8fFh8ODB0r7GuBZN7ejRo+h0Olq0aMGcOXPw9PSUWtoPtri1Wi0HDx4EoHv37rzyyiu0aNECa2tr/Pz8mDdvHkqlErVabbCY4fDhw2g0GlQqFa+//jo+Pj5YW1vj6urK5MmTpSHzgwcP1jl8Z29vz7Bhw3jxxRcBOHfuXK0vzz7u9I1GfSNZrVZLPeOCggJpGFcfqKysrDAzM8PKykqqLxMSEqioqKCiouKhhj311yY4OJhVq1bx/vvvGyx0aGr1hrzw8HCpUlar1cjlculmTEpKkuZVLl++zKhRo1CpVKxZs4aysjJKS0tZtGgR27dvZ/78+QQGBrJmzRq0Wi02NjbodDq2bdtmVGBt27Zl3bp1VFRUSN3Qixcv1jqxCVURPTs7W1odV30hxfXr1ykuLpaG0Kq3mGJjY4mNjaVjx47MnTuXgoIC7O3tkclkJCYmSitU6nL58mV+/vlngoODmTx5MpGRkWg0mke2fHvs2LEMGzYMOzs7gxePd+3aJQ3LAdy6dcugh6oXGxuLu7s73bt355tvvjHY9+abb6LT6bCxsZGue3p6OuvWrXtkc2B6N2/e5Ny5c3Wu4lm4cKFRj6agoIDFixcDsH37dmbPno2np6fRwobCwkL27dvXKHlNSkri6NGjDBw4kKFDh3L+/Hmys7N/17UYO3YsY8aMMdh24cIFNm/e3Ch51ouPj2f79u2MHTuW9u3bs3TpUtRqNTKZrMYe0nfffYe7u7v0UvuDK//u37/PF198YTBkmpSUxL/+9S/+9Kc/4e/vzzvvvGP0uceOHavxvSo7OzvWrl2LXC43eOE2JiZGWh7+JNJ/l+pDxidOnKC8vJyMjAxp1Kn6c2dlZUVpaSnJycl4eXkxf/58kpOT0Wq1BtMi9YmNjWXDhg0MGTIEd3d35HI5ycnJ0ovtTa3eQHT69GnMzMxo3bo1CoWC+/fvk5OTQ0xMDAcOHJCCSEZGBp9++inDhw+XejB3795FJpMRHx/PihUrGDlyJH5+fpiZmXHz5k32799v0DvRu3fvHhUVFbRo0YL8/HzOnTvXoLfrY2JiiIiIoKCgwKD3pFariY6Opk+fPuTk5BjNIWzYsIFBgwYRFhaGo6Mjubm5REdHs2/fvgbNF+h0OtavX8+AAQPo1asXKpVKmttKT0+vd8XPb5WYmIiVlRV2dnbY2tqiVqvJzs4mMTGR48ePExcXh0wmkxoStQ2l/fTTTwwePBgXFxd8fHzIzc0lIyMDlUol/SmVgoICUlNTuXz5MidPnvzN8yi/165du+jcuXOtY881LZmvvnT6ypUrrFq1iiFDhuDr64utrS35+flcuXKFb7/9lry8vEbLa1RUFD169ECpVDJq1Cg2btz40Nei+l8KqSkI1DSs1Ri+++47EhISCA8Px9/fH3t7e7RaLfn5+aSmpho9t1u2bCEmJoZ+/frRqlUr6SX4a9eucfTo0Rpffj9z5gzJyclERETQrl07HBwcKCkpISkpie+//96od1pYWEhOTg6Ojo7Y2dlRWVlJdnY2t2/f5vz58w1+6flx9WCPCKqG/R98gbr6cncbGxvKyspYu3YtkZGRtG3bFj8/PzQaDfn5+WRkZDR4iO7Bl1V79uyJr69vjcvrG5usY8eOjbds5XcaOXIkI0aM4NKlS3zyySemzo4gCMIfgo2NDa6uriQlJaHT6bCysmLmzJm0b9+e2NhY1q5d26Tnf3SzUYIgCMJjyd/fn9mzZ6NWqyksLKRZs2ZYWFig1Wo5fPhwk59fBCJBEIQ/OP2fb3Jzc8PBwYGKigpu3LjBoUOHpL+k0pQeq6E5QRAE4Y9H/Md4giAIgkmJQCQIgiCYlAhEgiAIgkmJQCQIgiCYlAhEgiAIgkmZPyn/66UgCILwdBI9IkEQBMGkRCASBEEQTEoEIkEQBMGkRCASBEEQTEoEIkEQBMGkRCASBEEQTEoEIkEQBMGkRCASBEEQTEoEIkEQBMGkRCASBEEQTEoEIkEQBMGkRCASBEEQTEoEIkEQBMGkRCBqQmZmZvTv35/IyEhTZ0UQBOGxZW7qDDytOnbsyKRJk7CxsWHLli2mzo4gCMJjSwSiesjlctavX8/XX3/NiRMn6k2vUqmYPHkyQUFB7Nq1izNnzjBs2DCUSiX79+9v+gw/wNramiVLlnD16lW++uoro/2ffPIJKpXKYNvu3bvZtm2b9Hvfvn2ZNWuW0bGRkZFoNJrGz/RTpK7y37hxI05OTjUet2LFCi5duiT9/vzzzzN48GCaNWvGzZs32bhxIxkZGU2a98Zmb2/PmDFj6Ny5M/b29mRmZrJ3715OnjwppQkPD+e1116r8fjbt2+zYMEC4OHKrrHVdU19fHyIjIwkKCgIc3NzUlNT2b17N+fOnav189zc3Fi/fn2t+ydOnEhZWRlz5szh2WefrTFNVFQUX375JQAymYyhQ4cyaNAgXFxcyM3N5ciRI+zbtw+tVisdM3PmTPr372/wOTdu3ODtt982+K4TJ04kNDQUGxsbUlNT2bFjBxcvXjQ4zsPDg8mTJxMQEEBpaSkHDx5k7969tX6nB4lAVA+NRsPp06dJTk6uN+2wYcMYP348Z86c4e2336Z///6sWbOGsrIytm/f/ghya8jHx4eZM2fSqlUrrl69WmMaKysrli9fzp07d6RtpaWlRml+/vlno4dFBKG61Vf+ixcvRi6XG2zr1q0bI0aMIC4uTto2evRoRowYwcaNG7l79y7PP/88S5cu5a9//SslJSVN/j0ay6uvvgpUBZG8vDx69OjB3LlzKSkp4aeffgLgzJkzXL9+3eA4c3NzFi5caBBcGlp2ja2+a+rq6kpycjK7du1CJpPRt29f5s2bx1tvvVVrvrKyspg9e7bR9vHjx2NnZ0d5eTkA//73v9m1a5dBGhcXFxYuXEh0dLS0bfjw4URGRvKPf/yDuLg4/P39mTNnDjqdziA4WFlZsWvXLo4cOSJtu3//vsHn//Wvf0WlUvG///u/5OXl0a9fPxYsWMA777zDzZs3gaoGxtKlS7l69Srvvfcebm5uTJ8+Ha1WS1RUVH1FCohA1CA19SRqkp2dzdKlS2ndujXLly+noqKCrVu3cuTIESorK5s4l4bGjRvHyJEj2bNnT52VlY2NDRkZGeTk5NSZJj8/v840gqGGlH9mZqbB7wqFghEjRrBp0yYKCgqAqrJ/4YUX+Ne//sXp06cBWLNmDRs2bGDgwIF88803TftFGtG6deukShUgKSmJtm3bEhYWJgWi0tJSo4bQ6NGjKS8vZ/fu3dK2hpRdY2vINT179ixnz56Vfo+PjycwMJCePXvWGog0Gg1paWkG29q1a0enTp2YO3cuOp0OgLy8PPLy8gzSTZ06lePHj3PlyhVpW0REBFFRUVLgvnjxIt9++y39+vUzCES2trZkZ2fX+lw3b96crl27snjxYhITEwHYs2cPISEh9OnTRwpEgwcP5v79+6xduxaNRkN8fDz29vaMHTuWQ4cOGQW3mvzhFissX75capk1lLm5ORYWFvWmO3/+PEFBQbzyyit8++23zJgxg/379z/yIKTPy8yZM/n6668NuuPVWVpaYmlpWW+rulmzZkaVg1C3hpT/g0aMGEFmZiZnzpyRtrVv3x5ra2spCEFVq/XSpUt07dq10fPdlKoHIb3c3Fzs7e1rPUahUPDCCy/w5Zdf1tkDr6nsGttvuaYAarWaioqKhzrXxIkTOXjwINnZ2bWm6dixI23atOHrr7822G5tbW30TFdUVEgBTa++59ra2hqA4uLiOj+rS5cunDt3zuD6nD59GltbWwIDA2v9/Or+MIHIzc2NMWPG4Obmho2NjcG+N998k5dffpmBAwfy8ccfY2b2a7EMGjSILVu2sHXrVsaMGVPvedq0aUNhYSHnzp176JuvMSUkJNTbg3FwcECr1RrdaDWlKywsbMzsPfUaUv7VKRQKhgwZwo4dOwy2e3p6UlhYSFlZmcH2u3fv0rJly0bJq6lYWloSFBRU67AxVAWY1NRUYmNja01TW9k1toe9plZWVgwdOhRnZ2eOHz/e4OM6duyIj48P+/btqzPdmDFjOHz4sNGzGR0dTVhYmBRIzMzM6NWrF0ePHjVIZ29vX+dznZmZSXp6Os8995y0zdHREX9/f77//ntpW8uWLbl7967Bsfn5+VRWVjb4Hn3qh+bMzMyYOHEiw4cPJzc3F/g10utFR0eTl5dHYWEhZ86ckVo7gYGBTJkyha1bt2Jra0tkZCS//PIL165dq/V8//d//8frr7/O8uXLWbFiRZ0Pmak5ODggk8nYsGED+fn5XL9+nQMHDnDv3j2DdEqlkh49ehAWFkZaWhqnTp3izJkzRi0s4bfr168f9+7dIyYmxmC7QqGocagpLy8PW1tbzMzMHqp1/jiZOnUqRUVFHDhwoMb95ubmREREsGnTpjo/p7ayM6X333+fwMBAKisrWblypdEzVZfBgwdz4sSJOhuIvr6+tGnThtWrVxvt++KLL5g1axZr167l2LFj+Pr6EhcXx8GDBw3SKZVKXn/9dfLy8khMTOTIkSPcunVL2q/T6Vi2bBlvvvkmH374ISdPnqR///5s3ryZ+Ph4ACwsLLC0tCQ/P98oH3l5eSgUigZ956e+R/TSSy/Rv39/VqxYwauvvspPP/1kFIiOHj3KpUuXuHXrFjt37pS29+/fn/Pnz7N37162bdtGXFwcoaGh0n57e3tpibZeUVERy5Yt4/z587z11lsEBAQ0/Zf8jZKSkpgxYwarVq3iyJEjtGnTho8//hhvb2+DdGvXrmXBggV8/vnnpKWl8dprrzFz5kwT5frpFB4ebrB67Gk3adIkQkJC+Nvf/lbrHEKPHj2wsLDgwoULdX7W41h2a9asYcmSJezdu5dFixbRt2/fBh3n6OhIly5d+PHHH+tMFxERwZUrV6TGdXVubm74+/tz4MABKioqcHd3JygoCE9PT4N0s2bNYsmSJezcuRMzMzOWL19Ov379DNK0a9cOa2trDh48SPOs7iR3AAAHDElEQVTmzXF0dCQsLMxoVKkmOp2uwY3Vpz4QDRw4kP/85z/SZGh5eXmNhRgYGMiECRMMtikUCpydnWnRogVOTk7k5ubi6upqkCY8PNyg6wpVk4/r16/n/PnzLFy4sMGtgkdNrVaTlZVFQkICx48fZ/HixSQkJBiVQ2FhIRkZGcTExPDVV1+xcuVK+vXrh5+fn4ly/nTx8fHB09OzxvmN4uJiHBwcjLY3b96c0tLSJ7I3NGnSJJ555hmWLFliNKRTXe/evbl06VKdk911lZ0p5eTkcPXqVXbs2MHWrVuZNGmS0Sq/moSGhpKXlyctBKiJmZkZoaGhNX5nMzMz5s2bx6FDh9i3bx/79u1j7ty5JCQksHDhQoNph3v37pGSksK5c+dYu3Ytu3bt4s9//rOUT5VKxYwZM/j444/54Ycf2LJlC//zP/+DSqVi0qRJQNV8ZWVlJUql0igvzZs3b/Cqzqc+EOl0OsLCwggICMDJyQkLCwusrKyM0nXv3p1OnToZbIuKisLNzY0NGzawceNGevTogVqtlvYXFhby3XffMWjQoBrP++mnn3L//n3Cw8Mb/4s1Aa1Wy6VLl/Dy8qoz3ZUrVygrK3vi5ygeFyEhISQlJdX4XlBycjLNmjUz6sW3aNGClJSUR5XFRjNkyBD69u3Le++9R3p6eq3p5HI5QUFB9QaYusrucXHr1i0UCkWNlfWDQkJCOHv2bJ09iTZt2mBra8v58+eN9rm4uODu7m6wnFur1bJ3717c3Nxo0aJFrZ978eJFFAqF9H5WUFAQpaWlBsN1xcXFHDlyxKCuvHPnjtG7iA4ODlhZWTX4Hn3qA9E///lPfHx8+OCDD9i4cSPh4eGoVCqjVXDBwcFGK1SuXbvG9OnTWbBgAStWrKCiosJoCeZPP/2Em5tbjUNwlZWVxMXFGfWiHmeurq71TsgqlUqsrKzEcu5GEhwcXOtc4rVr16ioqCAsLEzaZmFhQZcuXQwqmyeBp6cnr7zyCmvWrKm3ggoICMDGxqbO+Viou+weF61ataKioqLeBT/m5uYEBgY26DunpKTU+HnFxcXodDqjl30dHR3R6XR19lBcXV1Rq9XS5xYVFWFra2vUCHJycjKYv7p8+TI9e/Y06PGFhoZSVlZm9E5YbZ76xQrnzp0jJiYGHx8f1Go1Go2GlStX8vbbb3PhwgXMzc1p27YtLVu2RKVSMWHCBLKysrC0tCQvLw8rKytUKhUDBgwgLy+Pw4cPG3y+fthg1qxZHDt2jMrKSsrKyrC2tsbHx4cePXrwySefmOKr1ysyMpLExETu3buHubk5nTt3JiIiwmACNDg4GDc3N1JSUigpKUGlUknHVX93QfjtvLy8+OGHH2rcV15ezp49e3j55ZcpKSkhMzOTUaNGIZPJjO7Fx91zzz1Heno6d+7cMaoo8/LyDIYZW7ZsSXZ2dr0rOusqO1MYOXIkWVlZpKenS3XL2LFjiYqKkuqKwMBA3nrrLT777DODuS1XV1csLS2ld3Zq07Jly1rTlJSUcOrUKaZPn87atWtJT0/H29ubKVOmcPLkSSnIhIeHU1lZSUZGBmq1mtatWzN+/HgOHz4sLbP/5ZdfyMrK4o033uDLL7+ktLSUDh06MGTIED7//HPpnAcPHiQiIoKZM2cSFRWFh4cH48aNY9euXQ1+deWpD0RQ9TBXj8yrV69m7NixvPzyy8jlcjIyMlizZg1ubm5ERERIXWi5XE5ZWRl5eXmcPn2aHTt2GLUogoODSU9PJy0tjRdffBEbGxu0Wi1lZWWkpqaycePGh1q6+aiYm5vj4uJCv379cHR0pLKyksTERFatWmXwBru5uTnPPvssXl5eWFpakpuby4ULF9i5c+cTOT/xuLG2tsbBwaHOVVXffPMNOp2OSZMmYW9vz40bN3jvvfeeqL+qAFUVrbe3Nxs3bjTa99prr5GVlSX97u7uXuc7NNCwsnvUFAoFERERODk5odFoSE9PZ8uWLUZLp6HqT/FU5+bmhlarrXekwd3dvc4/YbRhwwZGjRrFjBkzcHFxoaCggJMnTxq8b2RnZ8fQoUOlobrMzEy++eYbg5V15eXlLFmyhPHjx/Puu+9ib29Peno6mzZtMqjTioqKWLp0KZMnT2b58uWUlJSwZ8+eepefG5SFt7e3WIP7G3l5ebFixQq2bdtW6xJUQRAEoW5/iB5RUwgLC2PatGnExsZy6NAhU2dHEAThiSUC0UNq1aoVc+fOxdPTk6NHj/L555+LISpBEITfQQSih5Sbm0tCQgIbNmwwWNYoCIIg/DZijkgQBEEwqaf+PSJBEATh8SYCkSAIgmBSIhAJgiAIJiUCkSAIgmBSIhAJgiAIJiUCkSAIgmBSIhAJgiAIJiUCkSAIgmBSIhAJgiAIJiUCkSAIgmBS/w9HM5B7YxK3UwAAAABJRU5ErkJggg=="
    }
   },
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## تمیزسازی اولیه داده های نظرات متناسب با تسک های تعریف شده\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "برای بررسی کلمات زائد موجود در کامنت ها، ابتدا یک تحلیل فرکانس انجام شد. در این تحلیل که کد آن در ماژول frequency.ipynb و نتیجه ی نهایی آن در stop_words_frequency_with_margin.csv قرار دارد، با محاسبه ی اختلاف بیشترین میزان استفاده از هر کلمه ی زائد در کتگوری های مختلف، با میانگین میزان استفاده از آن کلمه در تمامی کامنت ها، اثرگذاری و ارزش آن کلمه بررسی شد. \n",
    "\n",
    " برای مثال در سطر زیر نرخ استفاده از کلمه ی گرفته در کتگوری خوب ۱۳.۷۷ درصد بیشتر از میانگین استفاده از این کلمه در تمام کامنت هاست و با در نظر داشتن یک margin حدودا بیست درصدی، این کلمه حاوی اطلاعات چندان زیادی نیست و میتوان از ارزش آن در کلمات چشم پوشی کرد.\n",
    "\n",
    "![image.png](attachment:image.png)\n",
    "\n",
    "\n",
    "</div>\n",
    "|"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "<h2 style='direction:rtl;'>\n",
    "    # طبقه بندی سند\n",
    "</h2>\n",
    "<div style=\"direction: rtl;\">\n",
    "همان طور که در این فعالیت مشخص شده است، هدف تعیین دسته نظر نرم افزار طاقچه در یکی از دسته های مثبت، منفی و خنثی می باشد. برای انجام این فعالیت از دو مدل پایه و اصلی استفاده شده است که هرکدام در این بخش شرح داده می شود. همچنین برای این فعالیت لازم است تا برخی موارد از جمله تعیین هایپرپارامتر مرزی نظر، انتخاب کلمات بی اثر در احساس نظرات انجام شود که در بخش آماده سازی داده ها انجام شده است.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## مدل پایه\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "در این بخش کلاس DocBaseModel پیاده سازی شده که در آن ابتدا دادگان بر اساس مرزبندی گفته شده روی ستون rate دسته بندی(categorize) می شوند. سپس بردار tf-idf ایجاد شده فرایند پیش پردازش انجام می شود.\n",
    "\n",
    "فرایند پیش پردازش دادگان شامل نرمالسازی کلمات، حذف برخی کلمات شامل اموجی ها، اعداد و stopwordها و در نهایت کلمه کلمه سازی است.\n",
    "\n",
    "پس از انجام پیش پردازش با استفاده از تکنیک oversampling دادگان را متعادل(balance) می کنیم.(به دلیل متعادل نبودن تعداد دادگان هر دسته)\n",
    "\n",
    "در نهایت با استفاده از مدل naive bayes و تکنیک cross_validation فرایند آموزش را انجام می دهیم.\n",
    "\n",
    "\n",
    "<h4> نتایج</h4>\n",
    "پس از اجرای مدل، بر اساس معیارهای ارزیابی نتایج زیر به دست آمدند:\n",
    "</div>\n",
    "Accuracy: 0.7341618882320847<br>\n",
    "Precision (Macro): 0.7327678622348551<br>\n",
    "Recall (Macro): 0.7341135534607575<br>\n",
    "F1 Score (Macro): 0.732412323288311<br>\n",
    "F1 Score (Micro): 0.7341618882320847<br>\n",
    "\n",
    "Naive Bayes Classifier - Confusion Matrix:<br>\n",
    "[[3624  142  162]<br>\n",
    " [ 828 2296  864]<br>\n",
    " [ 415  438 3079]]<br>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<h3 style='direction:rtl;'>\n",
    "    ## مدل اصلی\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "در این بخش برای تحلیل احساسات از یک مدل برپایه ترنسفورمر استفاده می شود. \n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"direction: rtl;\">\n",
    " <b>1- گام اول:</b>\n",
    "  </br>\n",
    " اولین قدمی که برای تعیین مدل برداشته شده است، انتخاب مدل است. در این مرحله از دو کاندید برای خانوادی BERT استفاده  و بر روی یک دیتای پایه ای ثابت آموزش انجام شد تا بتوان این دو مدل را مقایسه کرد. هر دو مدل بر اساس دفترچه transformer_classification.ipynb آموزش داده میشوند و از سری مدل های موجود در Huggingface هستند. \n",
    "</div>\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "bert_name = \"bert-base-multilingual-cased\"\n",
    "pars_name = \"HooshvareLab/bert-base-parsbert-uncased\""
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"direction: rtl;\">\n",
    "در نهایت مدل اول (مدل پایه ای BERT برای کاربردهای چندزبانه) دارای دقت کمتری از مدل توسعه پیدا کرده برای زبان فارسی برپایه BERT (با نام ParsBERT) می باشد. این دقت برای داده آموزشی مبنا به ترتیب برابر 64% و  81% می باشد. بنابراین مدل انتخابی ParsBERT خواهد بود.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"direction: rtl;\">\n",
    " <b>2- گام دوم:</b>\n",
    "</br>\n",
    "در گام دوم، استراتژی آموزش مشخص می شود. با توجه به حجم اطلاعات موجود، یکی از مواردی که باعث بهبود دقت مدل می شود، ثابت نگاه داشتن ضرایت لایه های پایین که دارای دانش کلی زبان هستند و فاین تیون کردن لایه های بالایی متناسب با داده های فعالیت می باشد. در همین راستا مدل برگزیده (ParsBERT) در چهار سناریو زیر مورد ارزیابی قرار میگیرد:\n",
    "<li>بدون انجماد لایه ها و فاین تیون کردن کل شبکه</li>\n",
    "<li> انجماد لایه های 1-3 و فاین تیون لایه های بالاتر</li>\n",
    "<li> انجماد لایه های 1-6 و فاین تیون لایه های بالاتر</li>\n",
    "<li> انجماد لایه های 1-9 و فاین تیون لایه های بالاتر</li>\n",
    "در نهایت دقت برای نمونه داده آموزش برای هر سناریو به ترتیب 81.1%، 80.7%، 80.4% و 80.9% می باشد. هممچنین زمان آموزش شبکه برای همه سناریوها در یک مرتبه قرار دارد.\n",
    "به همین علت در این بخش تفاوتی در انتخاب سناریو یافت نشد. لازم به ذکر است در پیاده سازی این سناریوها در مدل پایه ای BERT تفاوت ایجاد شده ملموس است؛ به عنوان مثال دقت در حالت بدون انجماد از 64% به 75% در حالت انجماد لایه های 1-6 می رسد. احتمالا در مدل ParsBERT براساس فاین تیون شدن اختصاصی برای زبان فارسی این تفاوت در سناریو دیگر وجود ندارد.\n",
    "</div>\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"direction: rtl;\">\n",
    " <b>3- گام سوم:</b>\n",
    "</br> \n",
    "در این مرحله متناسب با سناریو انتخابی و هایپر پارامتر تعیین شده، مدل آموزش داده می شود. تنظیمات کلی مدل به شرح زیر است:\n",
    "</div>\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "batch_size = 16\n",
    "epochs = 5\n",
    "logging_steps = 100\n",
    "save_steps_perc = 0.25\n",
    "learning_rate = 5e-5"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"direction: rtl;\">\n",
    " <b>نتایج و دقت مدل</b>\n",
    "</br> \n",
    "در نهایت دقت مدل بر روی تقریبا 30 هزار داده با نسبت 8،1،1 به  داده های آموزش، اعتبارسنجی و آزمون به شرح زیر است:\n",
    "<li>F1 Score: 0.799</li>\n",
    "<li>Accuracy: 0.800</li>\n",
    "<li>Precision: 0.801</li>\n",
    "<li>Recall: 0.800</li>\n",
    "<li>\n",
    "Confusion Matrix:\n",
    "[[831 128  90]\n",
    " [ 82 756 116]\n",
    " [ 57 131 832]]\n",
    "</li>\n",
    "در نهایت مدل در نشانی زیر در Huggingface بارگزاری گردید.\n",
    "\n",
    "https://huggingface.co/hamedjahantigh/TaaghcheFeelingCommentAnalysis\n",
    "</div>\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "<h2 style='direction:rtl;'>\n",
    "    # طبقه بندی کلمات\n",
    "</h2>\n",
    "<div style=\"direction: rtl;\">\n",
    "همان طور که در این فعالیت مشخص شده است، هدف ایجاد تگ BIO می باشد.\n",
    " برای انجام این فعالیت از دو مدل پایه و اصلی استفاده شده است که هرکدام در این بخش شرح داده می شود. همچنین برای این فعالیت لازم است تا داده های آن تکمیل و آماده شود که در بخش اول به آن پرداخته شده است.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "<h3 style='direction:rtl;'>\n",
    "# مدل پایه\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "Todo kahnom maleki\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "<h3 style='direction:rtl;'>\n",
    "# مدل اصلی\n",
    "</h3>\n",
    "<div style=\"direction: rtl;\">\n",
    "در این بخش برای ایجاد یک تگ BIO از یک مدل برپایه ترنسفورمر و مدل ParsBERT استفاده می شود. تگ های استفاده شده در این بخش \n",
    "['O' 'B-DAT' 'I-DAT' 'B-PER' 'I-PER' 'B-ORG' 'I-ORG' 'B-LOC' 'I-LOC'\n",
    " 'B-EVE' 'I-EVE' 'B-BOOK' 'I-BOOK']\n",
    " می باشد. همچنین تنظیمات اولیه مدل در پایین آورده شده است.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "MAX_LEN = 128\n",
    "BATCH_SIZE = 32\n",
    "EPOCHS = 2\n",
    "LEARNING_RATE = 3e-5\n",
    "logging_steps = 100\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div style=\"direction: rtl;\">\n",
    " <b>نتایج و دقت مدل</b>\n",
    "</br> \n",
    "در نهایت دقت مدل بر روی تقریبا 150 هزار کلمه با نسبت 8،1،1 به داده های آموزش، اعتبارسنجی و آزمون به شرح زیر است:\n",
    "</div>\n",
    "F1 Score: 0.3534761203704847<br/>\n",
    "Accuracy: 0.8980074083535573<br/>\n",
    "Precision: 0.48302243550652585<br/>\n",
    "Recall: 0.3239270904426163<br/>\n",
    "\n",
    "Confusion Matrix:<br/>\n",
    "[[  0  14   0   0   0   0   0   0   0   0   0   0  0   0]<br/>\n",
    " [  0 13309   3  80  53  53  20  27   183  16   4  10  0   4]<br/>\n",
    " [  0   191  25  72   0   0   0   0   0   0   0   0  0   0]<br/>\n",
    " [  0   144   9   386   0   0   0   0   0   0   0   1  0   0]<br/>\n",
    " [  0  51   0   0  93   8   0   0   0   1   0   0  0   0]<br/>\n",
    " [  0  68   0   3  11  56   0   0   2   1   0   0  0   0]<br/>\n",
    " [  0  46   0   0   0   0  18   1   0   0   0   0  0   0]<br/>\n",
    " [  0  43   0   1   0   1   1  14   6   2   0   1  0   1]<br/>\n",
    " [  0   166   0   0   0   1   2   0   124   2   0   0  0   0]<br/>\n",
    " [  0   131   0   0   1  17   2   2  34  18   0   0  0   0]<br/>\n",
    " [  0  10   0   0   0   0   1   0   0   0   6   0  0   0]<br/>\n",
    " [  0  14   0   0   0   0   0   1   1   0   0   4  0   0]<br/>\n",
    " [  0  24   0   0   0   0   0   0   0   0   0   0  5   0]<br/>\n",
    " [  0  49   0   1   0   2   0   0   1   0   0   1  2   3]]<br/>\n",
    "\n",
    "<div style=\"direction: rtl;\">\n",
    "در نهایت مدل در نشانی زیر در Huggingface بارگزاری گردید.\n",
    "\n",
    "https://huggingface.co/hamedjahantigh/TaaghcheBIOTag\n",
    "</div>\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## مدل HMM"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "### ۱. بارگذاری و آماده‌سازی داده‌ها:\n",
    "- دو فایل متنی شامل جملات آموزش و تست از دو منبع مختلف بارگذاری شدند.\n",
    "- داده‌ها به صورت جملات توکن‌بندی شده و برچسب‌گذاری شده استخراج شدند.\n",
    "- جملات آموزشی به صورت دستی متوقف شدند تا از طولانی شدن بیش از حد فرآیند جلوگیری شود.\n",
    "\n",
    "### ۲. پردازش داده‌ها:\n",
    "- جملات و برچسب‌ها به صورت جداگانه برای مجموعه‌های آموزش و تست ذخیره شدند.\n",
    "- توکن‌ها و برچسب‌ها از جملات استخراج و به لیست‌های جداگانه‌ای تبدیل شدند.\n",
    "\n",
    "### ۳. برچسب‌گذاری و کدگذاری:\n",
    "- توکن‌ها و برچسب‌ها با استفاده از LabelEncoder از کتابخانه sklearn کدگذاری شدند.\n",
    "- جملات توکن‌بندی شده به فرمت قابل استفاده برای HMM تبدیل شدند.\n",
    "\n",
    "### ۴. ساخت و آموزش مدل:\n",
    "- یک مدل HMM با استفاده از کتابخانه hmmlearn ساخته و با داده‌های آموزشی آموزش داده شد.\n",
    "- مدل نهایی ذخیره شد تا در آینده مورد استفاده قرار گیرد.\n",
    "\n",
    "### ۵. ارزیابی مدل:\n",
    "- داده‌های تست با استفاده از مدل پیش‌بینی شدند.\n",
    "- دقت، F1-score، Precision و Recall برای مدل محاسبه و گزارش شدند.\n",
    "- ماتریس درهم‌ریختگی (Confusion Matrix) برای تحلیل عملکرد مدل ترسیم شد.\n",
    "\n",
    "### نتایج:\n",
    "- مدل توانست دقت، F1-score، Precision و Recall مناسبی را برای شناسایی موجودیت‌های نام‌دار ارائه دهد.\n",
    "- ماتریس درهم‌ریختگی نشان‌دهنده‌ی عملکرد مدل در پیش‌بینی صحیح برچسب‌ها بود.\n",
    "\n",
    "### ارزیابی مدل\n",
    "- پس از آماده‌سازی داده‌ها و آموزش مدل، با استفاده از داده‌های تست، عملکرد مدل ارزیابی شد.\n",
    "- مقادیر مختلف از جمله دقت، F1-score، Precision و Recall محاسبه و گزارش شدند.\n",
    "- همچنین، ماتریس درهم‌ریختگی به صورت گرافیکی ترسیم شد تا عملکرد مدل به صورت بصری بررسی شود.\n",
    "\n",
    "### نتایج نهایی:\n",
    "- Accuracy: 58.74%\n",
    "- F1-macro score: 5.37%\n",
    "- F1-micro score: 58.73%\n",
    "- Precision-macro: 5.94%\n",
    "- Precision-micro: 58.73%\n",
    "- Recall-macro: 5.94%\n",
    "- Recall-micro: 58.73%\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}