1.2_parsing_civil_court_orders.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 149,
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n",
    "import gzip\n",
    "import json\n",
    "from collections import Counter\n",
    "\n",
    "import pandas as pd\n",
    "from pymystem3 import Mystem\n",
    "from many_stop_words import get_stop_words"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "data = []\n",
    "with gzip.GzipFile(\"./data/civil_code/raw_documents.json.gz\", 'r') as f:\n",
    "    for line in f:\n",
    "        data.append(json.loads(line))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 132,
   "metadata": {},
   "outputs": [],
   "source": [
    "target_names = [\n",
    "    \"case_doc_kind\",\n",
    "    \"case_id\",\n",
    "    \"case_user_doc_number_rewrite\",\n",
    "    \"case_doc_instance\",\n",
    "    \"case_doc_vnkod\",\n",
    "    \"case_common_doc_court\",\n",
    "    \"case_doc_subject_number\",\n",
    "    \"case_doc_subject_rf\",\n",
    "    \"case_court_type_cat\",\n",
    "    \"case_document_text\"\n",
    "]\n",
    "\n",
    "res = []\n",
    "for doc in data:\n",
    "    tmp = {\n",
    "        field[\"comment\"]: field[\"value\"]\n",
    "        for field in doc[\"fields\"]\n",
    "        if field[\"name\"] in target_names\n",
    "    }\n",
    "    res.append(tmp)\n",
    "res = pd.DataFrame(res)\n",
    "\n",
    "res = res[\n",
    "    (res[\"Вид судопроизводства\"] == \"Гражданское дело\")\n",
    "    & (res[\"Инстанция\"] == \"Первая инстанция\")\n",
    "    & (res[\"Уровень суда\"] == \"Районный, городской, межрайонный суд\")\n",
    "    & (res['Код субъекта РФ'] == '64')\n",
    "    & (~pd.isnull(res[\"Текст документа\"]))\n",
    "]\n",
    "\n",
    "res['Текст документа'] = res['Текст документа'].map(lambda text: \" \".join(text.split()))\n",
    "res = res[[col for col in res.columns if len(res[col].unique()) > 1]]\n",
    "res = res.reset_index(drop=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 133,
   "metadata": {},
   "outputs": [],
   "source": [
    "parts_pattern = re.compile(\n",
    "    \"(?:суд[ья]*[\\s|,]*)?\"\n",
    "    \"(?:\\s?у\\s?с\\s?т\\s?а\\s?н\\s?о\\s?в\\s?и\\s?л|\"\n",
    "    \"\\s?п\\s?р\\s?и\\s?г\\s?о\\s?в\\s?о\\s?р\\s?и\\s?л|\"\n",
    "    \"\\s?п\\s?о\\s?с\\s?т\\s?а\\s?н\\s?о\\s?в\\s?и\\s?л|\"\n",
    "    \"\\s?р\\s?е\\s?ш\\s?и\\s?л|\"\n",
    "    \"о\\s?п\\s?р\\s?е\\s?д\\s?е\\s?л\\s?и\\s?л)\"\n",
    "    \"(?:\\s*:)+\",\n",
    "    flags=re.UNICODE | re.IGNORECASE,\n",
    ")\n",
    "\n",
    "\n",
    "def split_parts(text):\n",
    "    parts = re.split(parts_pattern, text)\n",
    "    return tuple(map(str.strip, parts))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 150,
   "metadata": {},
   "outputs": [],
   "source": [
    "most_common_words = Counter([word for row in res['Текст документа'] for word in row.split()]).most_common()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 134,
   "metadata": {},
   "outputs": [],
   "source": [
    "res['parts'] = res['Текст документа'].map(split_parts)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 138,
   "metadata": {},
   "outputs": [],
   "source": [
    "res = res[res['parts'].map(lambda x: len(x) == 3)].reset_index(drop=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 142,
   "metadata": {},
   "outputs": [],
   "source": [
    "res['intro'], res['case'], res['result'] = res['parts'].str"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 144,
   "metadata": {},
   "outputs": [],
   "source": [
    "res = res.drop(columns=['parts'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 157,
   "metadata": {},
   "outputs": [],
   "source": [
    "def lemm_and_filter(text, min_len=3, stopwords=get_stop_words(\"ru\"), stem=Mystem(entire_input=False)):\n",
    "    return ' '.join(list(filter(lambda word: word not in stopwords and len(word) > min_len, stem.lemmatize(text))))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 162,
   "metadata": {},
   "outputs": [],
   "source": [
    "pattern = re.compile(r'(статьей|ст\\.|статьи)\\s*(\\d+\\.?\\d*)', flags=re.UNICODE | re.IGNORECASE)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 163,
   "metadata": {},
   "outputs": [],
   "source": [
    "res['labels'] = res['result'].map(lambda text: list(map(lambda x: float(x[1]), re.findall(pattern, text))))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 175,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Иск Сескутовой И.В. удовлетворить. Отменить решение Государственного учреждения – Управление Пенсионного Фонда Российской Федерации в Балаковском районе Саратовской области № * от *г. об отказе Сескутовой И.В. в назначении досрочной трудовой пенсии по старости, протокол заседания комиссии по рассмотрению пенсионных прав граждан № * от *г. в части исключения из специального стажа, дающего право на досрочное назначение трудовой пенсии в связи с лечебной деятельностью периодов работы. Обязать Государственное учреждение - Управление Пенсионного фонда Российской Федерации в Балаковском районе Саратовской области включить Сескутовой И.В. в специальный стаж за выслугу лет, дающий право на досрочное назначение трудовой пенсии по старости периоды работы в Родовом объединении с * г. по *г., с * г. по *г., с *г. по *г. в должности медицинской сестры отделения новорожденных, с *г. по *г. в должности медицинской сестры послеродового отделения, а также периоды нахождения на курсах повышения квалификации с *г. по *г, назначить досрочную трудовую пенсию по старости с * года. В течение месяца со дня принятия решения на него может быть подана апелляционная жалоба в Судебную коллегию по гражданским делам Саратовского областного суда через Балаковский районный суд. Судья И.Е. Комаров'"
      ]
     },
     "execution_count": 175,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "res['result'].sample().iloc[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "res['lemmas'] = res['case'].map(lemm_and_filter)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "res.to_csv('tmp/civil_code_court_orders.csv.gz', compression='gzip')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3.6 (testing)",
   "language": "python",
   "name": "testing"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}