aramaProjesiVeriIslemeMukerrerNoTespitModulu.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "aramaProjesiVeriIslemeMukerrerNoTespitModulu.ipynb",
      "provenance": [],
      "collapsed_sections": []
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "source": [
        "Veri işleme ve analizi için pandas kütüphanesi kullanılacaktır. Pandas kütüphanesi pd rumuzu ile kısaltılmıştır.\n",
        "\n",
        "Veri işleme ve temizliği için math kütüphanesi kullanılacaktır."
      ],
      "metadata": {
        "id": "ZeYX0GfXpSOZ"
      }
    },
    {
      "cell_type": "code",
      "execution_count": 3,
      "metadata": {
        "id": "TZWYXkwMdTiI"
      },
      "outputs": [],
      "source": [
        "import pandas as pd\n",
        "import math"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Verilerimiz Google Drive (bulut) üzerinde olduğu için Google Colab ile Google Drive arasında bağlantı kurulacaktır."
      ],
      "metadata": {
        "id": "FDEpVYrEpbu-"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from google.colab import drive\n",
        "drive.mount('/content/drive/')"
      ],
      "metadata": {
        "id": "MAd9LjiodVhO"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Google Drive içinde Colab Notebooks klasörünün içinde TDDI2022 isimli klasörde verilerimizi sakladığımız için bu klasöre erişilecektir.\n",
        "\n",
        "***NOT:*** Bu klasörü daha önce oluşturmadıysanız %md TDDI2022 komutu veya Google Drive Ara Yüzü ile klasörü oluşturunuz!"
      ],
      "metadata": {
        "id": "Vwg_Js4gpiTy"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "%cd drive/\n",
        "%cd MyDrive/\n",
        "%cd Colab Notebooks/\n",
        "%cd TDDI2022/\n",
        "\n",
        "%ls"
      ],
      "metadata": {
        "id": "UsEbJ1cwdXF9"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Veri İskeleti TDDI2022 klasöründe bulunan yarışma kapsamında yarışmacılara sağlanan **kanunum-nlp-doc-analysis-dataset.csv** dosyasının içindeki verileri pandas ile okuyarak oluşturulacaktır.\n",
        "\n",
        "Veri iskeleti oluşturulduktan sonra veri iskeleti ile ilgili bilgi ekrana yazdırılacaktır. Tam özetin yazdırılıp yazdırılmayacağı durumunu *verbose=True* (yazdırılsın) parametresi ile kontrol edilecektir. "
      ],
      "metadata": {
        "id": "aSE_hmN2pnOz"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "df = pd.read_csv('kanunum-nlp-doc-analysis-dataset.csv')\n",
        "df.info(verbose=True)"
      ],
      "metadata": {
        "id": "pvtBdNAudYrz"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Verilerde yapacağımız ön çalışmada tüm belgelerde mükerrer no'yu arayacak kodun çalışabilmesi için belgeler arasında ortak noktalar aramamız lazım. Bunun için belgelerden  birinde arama yapacağımız kısmı inceledik.\n",
        "\n",
        "# ***ÇIKARIM:***\n",
        "- Mükerrer No belgelerin genelikle **ilk 300 karakterinde** bulunmaktadır.\n",
        "- **(Önemli Bulgu)** Mükerrer No **kanunum-nlp-doc-analysis-dataset.csv** dosyasında **\"numpy.float64\"** türünde işlenmiştir. Bu yüzden bizim \n",
        "çıktılarımızla uyuşması için iki değerin de **float veri tipine** çevrilmesi gereklidir.\n",
        "- **(Önemli Bulgu)** **kanunum-nlp-doc-analysis-dataset.csv** dosyasında bazı satırlar için Mükerrer No işlenmemiştir ve bu satırlar çağrıldıklarına nan (Not a Number) döndürmektedir. Bunun önüne geçilmesi için math kütüphanesinde **isnan()** fonksiyounyla nan olan satırlara 0.0 ifadesi ilişkilendirilir.\n",
        "- Belgelerde **Maddeler içerisinde olmamak şartıyla** X. Mükerrer ifadesi geçiyorsa Mükerrer No X.0 'dır\n",
        "- Belgelerde **Maddeler içerisinde olmamak şartıyla** sadece Mükerrer ifadesi geçiyorsa Mükerrer No 1.0 'dır\n",
        "- Belgelerde Mükerrer ifadesi bulunmuyorsa **Maddeler içerisinde geçiyorsa bile ** Mükerrer No 0.0 'dır.\n",
        "\n",
        "Bu yönergelere göre kodu hazıladıktan sonra bütün belgeler arasında Mükerrer No araması yapılıp sonuçlarını yazdırdık."
      ],
      "metadata": {
        "id": "f55_VMu-8bK2"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "satir = 2594\n",
        "metin = df['data_text'][satir][:310].lower()\n",
        "baslik = df['baslik'][satir].lower()\n",
        "print(\"İçerik: \\n\",metin)\n",
        "print(\"Başlık: \\n\",baslik)\n",
        "print(metin.find(\"mükerrer\"))\n",
        "print(metin[266])"
      ],
      "metadata": {
        "id": "C2A0IXW_3fDy"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "# ***ÇIKARIM:***\n",
        "- **kanunum-nlp-doc-analysis-dataset.csv** dosyasındaki **4142** dosyanın arasında Mükerrer No Tespiti yapan kodumuz, **22** hata ile **0.99** oranında Doğruluk ile çalışmaktadır.\n",
        "- Mükerrer No Tespiti yapan kodumuz; görev dahilinde olmadığı için **Komisyon Raporu, Genelge ve Özelge** kategorilerinde arama yapmamıştır.\n",
        "- **(Önemli Bulgu)** Mükerrer No Tespiti yapan kodumuz; **Resmi Gazete, Kanun, Kanun Hükmünde Kararname ve Tüzük** kategorilerinde **Hatasız** çalışmaktadır.\n",
        "- Mükerrer No Tespiti yapan kodumuz, **Yönetmelik** kategorisinde **1** hata ile **İstisnai Hatalı** çalışmaktadır.\n",
        "- Mükerrer No Tespiti yapan kodumuz, **Tebliğ** kategorisinde **21** hata ile **İstisnai Hatalı/Hatalı** çalışmaktadır.\n"
      ],
      "metadata": {
        "id": "HyghlkJE_k5I"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Kategorilere göre sınıflandırılmış Hata ve Doğruluk verilerini hesaplamak için gerekli değişkenleri oluşturuyoruz.\n",
        "kategorilerimiz = df[\"kategori\"].value_counts().index.values.tolist()\n",
        "kategoridekiToplamBelgeSayisi = df[\"kategori\"].value_counts().tolist()\n",
        "kategoridekiHataliBelgeSayisi = [0] * len(kategorilerimiz)\n",
        "\n",
        "# Kodda kullanılacak değişkenlerin oluşturulması\n",
        "mukerrer = 0.0\n",
        "baslangic_mukerrer = 0\n",
        "\n",
        "for i in range(4142): # Sadece görev tanımında \"mukerrer_no\" değeri istenen kategorilerde arama yapıyoruz.\n",
        "  if df['kategori'][i] in [\"Komisyon Raporu\", \"Genelge\", \"Özelge\"]:\n",
        "    continue\n",
        "  # VERİ TEMİZLEME İŞLEMLERİ\n",
        "  baslik = df['baslik'][i]\n",
        "  metin = df['data_text'][i][:310].lower()\n",
        "\n",
        "  # Daha önceki çıkarımda belirtilen durumlara göre Mükerrer No araması yapıyoruz.\n",
        "  if metin.find(\". mükerrer\") != -1:\n",
        "      baslangic_mukerrer = metin.find(\". mükerrer\")\n",
        "      mukerrer = float(metin[baslangic_mukerrer - 1])\n",
        "\n",
        "  elif metin.find(\"mükerrer\") != -1:\n",
        "      baslangic_mukerrer = metin.find(\"mükerrer\")\n",
        "      if metin[baslangic_mukerrer+9] in '0123456789':\n",
        "        mukerrer = 0.0\n",
        "      else:\n",
        "        mukerrer = 1.0\n",
        "  else: \n",
        "    mukerrer = 0.0\n",
        "\n",
        "  # df dosyasından 'mukerrer_no' değişkenini çekip uygun formata getiriyoruz.\n",
        "  mukerrer_df = float(df['mukerrer_no'][i])\n",
        "\n",
        "  if math.isnan(mukerrer_df): # Eğer çekilen değer boş idiyse döndürülen nan için işlem.\n",
        "    mukerrer_df = 0.0\n",
        "\n",
        "  # Bizim elde ettiğimiz verilerin asıl verilerle karşılaştırılması ve hatalar ile doğruluk oranlarının kategorilerce sayılması.\n",
        "  if mukerrer != mukerrer_df:\n",
        "      kategoridekiHataliBelgeSayisi[kategorilerimiz.index(df[\"kategori\"][i])] += 1\n",
        "for i in range(len(kategorilerimiz)):\n",
        "  print(kategorilerimiz[i],':',kategoridekiHataliBelgeSayisi[i],'/',kategoridekiToplamBelgeSayisi[i],'=',round((kategoridekiToplamBelgeSayisi[i]-kategoridekiHataliBelgeSayisi[i])/kategoridekiToplamBelgeSayisi[i],3))\n",
        "print('Toplam Hata:',sum(kategoridekiHataliBelgeSayisi))\n",
        "print(\"Başarı oranı: \",(4142-sum(kategoridekiHataliBelgeSayisi))/4142)\n"
      ],
      "metadata": {
        "id": "nZ-ACbAC4pL2"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "# **Elde Edilen Bulguların Dokümantasyonu**\n",
        "\n",
        "|Kategori|Toplam Belge|Doğru|Yanlış|Doğruluk Oranı|\n",
        "|---|---|---|---|---|\n",
        "|Kanun|514|514|0|1.0|\n",
        "|Kanun Hükmünde Kararname|91|91|0|1.0|\n",
        "|Resmi Gazete|546|546|0|1.0|\n",
        "|Komisyon Raporu|500|500|0|1.0|\n",
        "|Genelge|385|385|0|1.0|\n",
        "|Cumhurbaşkanlığı Kararnamesi|54|54|0|1.0|\n",
        "|Tüzük|82|82|0|1.0|\n",
        "|Yönetmelik|597|596|1|0.998|\n",
        "|Tebliğ|623|602|21|0.966|\n",
        "|Özelge|750|750|0|1.0|\n"
      ],
      "metadata": {
        "id": "yabNzkhI9131"
      }
    }
  ]
}