6. Data Modeling.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import json\n",
    "import pandas as pd\n",
    "from datetime import datetime\n",
    "\n",
    "import pymongo\n",
    "from pymongo import MongoClient"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "client = MongoClient('localhost', 27017)\n",
    "db = client.DataManagement\n",
    "treni_regionali = db.TreniRegionali\n",
    "altri_treni = db.AltriTreni"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "percorso= 'H:/.shortcut-targets-by-id/1ZqofLGs2bjcl1THsk3r-ac-YPkGL5QH8/Progetto Data Man/File'\n",
    "staz = pd.read_csv('H:/.shortcut-targets-by-id/1ZqofLGs2bjcl1THsk3r-ac-YPkGL5QH8/Progetto Data Man/Lista stazioni/stazioni_finale.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "for directory in os.listdir(percorso):\n",
    "    print(directory)\n",
    "    regionali = list()\n",
    "    nonregionali = list()\n",
    "    if(directory[0] != \".\" and directory != \"desktop.ini\"):\n",
    "        for file in os.listdir(percorso +  \"/\"  + directory + \"/\"):\n",
    "            if file[0] != \".\" and file != \"desktop.ini\":\n",
    "                print(file) # per individuare eventuale errori\n",
    "                _json = json.loads(open(percorso + \"/\" + directory + \"/\" + file).read()) \n",
    "                treno = _json[0]\n",
    "                numero = str(treno[\"numeroTreno\"])\n",
    "                categoria = treno[\"categoria\"]\n",
    "                ritardo_finale = treno[\"ritardo\"]\n",
    "                fermate = treno[\"fermate\"]\n",
    "                idDestinazione = treno[\"idDestinazione\"] \n",
    "                idOrigine = treno[\"idOrigine\"] \n",
    "                origine = treno[\"origine\"]\n",
    "                destinazione = treno[\"destinazione\"]\n",
    "\n",
    "                if treno[\"tipoTreno\"] == \"ST\":\n",
    "                    if treno[\"categoria\"] == \"REG\":\n",
    "                        regionali.append({\"numero_treno\": numero, \n",
    "                                        \"categoria\": categoria,\n",
    "                                        \"stato\": \"cancellato\",\n",
    "                                        \"origine\":origine,\n",
    "                                        \"id_origine\": idOrigine,\n",
    "                                        \"destinazione\":destinazione,\n",
    "                                        \"id_destinazione\": idDestinazione, \n",
    "                                        \"data\": datetime.strptime(directory,\"%d-%m-%Y\").strftime('%d-%m-%Y')\n",
    "                        })\n",
    "                    else:\n",
    "                        nonregionali.append({\"numero_treno\": numero, \n",
    "                                        \"categoria\": categoria,\n",
    "                                        \"stato\": \"cancellato\",\n",
    "                                        \"origine\":origine,\n",
    "                                        \"id_origine\": idOrigine,\n",
    "                                        \"destinazione\":destinazione,\n",
    "                                        \"id_destinazione\": idDestinazione, \n",
    "                                        \"data\": datetime.strptime(directory,\"%d-%m-%Y\").strftime('%d-%m-%Y')\n",
    "                        })\n",
    "\n",
    "                else:\n",
    "                    if fermate != None:\n",
    "                        if len(fermate) != 0:\n",
    "                            fer = []\n",
    "                            for s in fermate:\n",
    "                                dati_staz = staz[staz[\"id\"] == s[\"id\"]][[\"nome_stazione\",\"binari_finale\"]]\n",
    "\n",
    "                                if s[\"tipoFermata\"] == \"P\":\n",
    "                                    if s[\"partenzaReale\"] == None or s[\"ritardoPartenza\"] < -5:\n",
    "                                        _ritardo_partenza = None\n",
    "                                    else:\n",
    "                                        _ritardo_partenza = s[\"ritardoPartenza\"]\n",
    "\n",
    "                                    if s[\"partenza_teorica\"] and s[\"partenza_teorica\"] > 1640991600000 and s[\"partenza_teorica\"] < 1672527599000:\n",
    "                                        _partenza_teorica = datetime.fromtimestamp(s[\"partenza_teorica\"]/1000).strftime('%H:%M')\n",
    "                                    else:\n",
    "                                        _partenza_teorica = s[\"partenza_teorica\"]\n",
    "                                    \n",
    "                                    if s[\"partenzaReale\"] and s[\"partenzaReale\"] > 1640991600000 and s[\"partenzaReale\"] < 1672527599000:\n",
    "                                        _partenza_reale = datetime.fromtimestamp(s[\"partenzaReale\"]/1000).strftime('%H:%M')\n",
    "                                    else:\n",
    "                                        _partenza_reale = s[\"partenzaReale\"]\n",
    "                                    \n",
    "                                    fer.append({\"tipo_fermata\": s[\"tipoFermata\"],\n",
    "                                                \"nome_stazione\": s[\"stazione\"],\n",
    "                                                \"id_stazione\": s[\"id\"], \n",
    "                                                \"binari_tot_stazione\": dati_staz[\"binari_finale\"].to_string(index=False),\n",
    "                                                \"partenza_teorica\": _partenza_teorica,\n",
    "                                                \"partenza_reale\": _partenza_reale, \n",
    "                                                \"ritardo_partenza\": _ritardo_partenza                                                \n",
    "                                    })\n",
    "                                \n",
    "                                elif s[\"tipoFermata\"] == \"F\":\n",
    "                                    if s[\"partenzaReale\"] == None or s[\"ritardoPartenza\"] < -5:\n",
    "                                        _ritardo_partenza = None\n",
    "                                    else:\n",
    "                                        _ritardo_partenza = s[\"ritardoPartenza\"]\n",
    "                                    \n",
    "                                    if s[\"arrivoReale\"] == None or s[\"ritardoArrivo\"] < -5:\n",
    "                                        _ritardo_arrivo = None\n",
    "                                    else:\n",
    "                                        _ritardo_arrivo = s[\"ritardoArrivo\"]\n",
    "\n",
    "                                    if s[\"partenza_teorica\"] and s[\"partenza_teorica\"] > 1640991600000 and s[\"partenza_teorica\"] < 1672527599000:\n",
    "                                        _partenza_teorica = datetime.fromtimestamp(s[\"partenza_teorica\"]/1000).strftime('%H:%M')\n",
    "                                    else:\n",
    "                                        _partenza_teorica = s[\"partenza_teorica\"]\n",
    "                                    \n",
    "                                    if s[\"partenzaReale\"] and s[\"partenzaReale\"] > 1640991600000 and s[\"partenzaReale\"] < 1672527599000:\n",
    "                                        _partenza_reale = datetime.fromtimestamp(s[\"partenzaReale\"]/1000).strftime('%H:%M')\n",
    "                                    else:\n",
    "                                        _partenza_reale = s[\"partenzaReale\"]\n",
    "\n",
    "                                    if s[\"arrivo_teorico\"] and s[\"arrivo_teorico\"] > 1640991600000 and s[\"arrivo_teorico\"] < 1672527599000:\n",
    "                                        _arrivo_teorico = datetime.fromtimestamp(s[\"arrivo_teorico\"]/1000).strftime('%H:%M')\n",
    "                                    else:\n",
    "                                        _arrivo_teorico = s[\"arrivo_teorico\"]\n",
    "                                    \n",
    "                                    if s[\"arrivoReale\"] and s[\"arrivoReale\"] > 1640991600000 and s[\"arrivoReale\"] < 1672527599000:\n",
    "                                        _arrivo_reale = datetime.fromtimestamp(s[\"arrivoReale\"]/1000).strftime('%H:%M')\n",
    "                                    else:\n",
    "                                        _arrivo_reale = s[\"arrivoReale\"]\n",
    "                                        \n",
    "                                    fer.append({\"tipo_fermata\": s[\"tipoFermata\"],\n",
    "                                                \"nome_stazione\": s[\"stazione\"],\n",
    "                                                \"id_stazione\": s[\"id\"], \n",
    "                                                \"binari_tot_stazione\": dati_staz[\"binari_finale\"].to_string(index=False),\n",
    "                                                \"arrivo_teorico\": _arrivo_teorico, \n",
    "                                                \"arrivo_reale\": _arrivo_reale, \n",
    "                                                \"ritardo_arrivo\": _ritardo_arrivo,\n",
    "                                                \"partenza_teorica\": _partenza_teorica, \n",
    "                                                \"partenza_reale\": _partenza_reale, \n",
    "                                                \"ritardo_partenza\": _ritardo_partenza\n",
    "                                    })\n",
    "                                elif s[\"tipoFermata\"] == \"A\":\n",
    "                                    if s[\"arrivoReale\"] == None or s[\"ritardoArrivo\"] < -5:\n",
    "                                        _ritardo_arrivo = None\n",
    "                                    else:\n",
    "                                        _ritardo_arrivo = s[\"ritardoArrivo\"]\n",
    "                                    \n",
    "                                    if s[\"arrivo_teorico\"] and s[\"arrivo_teorico\"] > 1640991600000 and s[\"arrivo_teorico\"] < 1672527599000:\n",
    "                                        _arrivo_teorico = datetime.fromtimestamp(s[\"arrivo_teorico\"]/1000).strftime('%H:%M')\n",
    "                                    else:\n",
    "                                        _arrivo_teorico = s[\"arrivo_teorico\"]\n",
    "                                    \n",
    "                                    if s[\"arrivoReale\"] and s[\"arrivoReale\"] > 1640991600000 and s[\"arrivoReale\"] < 1672527599000:\n",
    "                                        _arrivo_reale = datetime.fromtimestamp(s[\"arrivoReale\"]/1000).strftime('%H:%M')\n",
    "                                    else:\n",
    "                                        _arrivo_reale = s[\"arrivoReale\"]\n",
    "\n",
    "                                        \n",
    "                                    fer.append({\"tipo_fermata\": s[\"tipoFermata\"],\n",
    "                                                \"nome_stazione\": s[\"stazione\"],\n",
    "                                                \"id_stazione\": s[\"id\"], \n",
    "                                                \"binari_tot_stazione\": dati_staz[\"binari_finale\"].to_string(index=False),\n",
    "                                                \"arrivo_teorico\": _arrivo_teorico, \n",
    "                                                \"arrivo_reale\": _arrivo_reale,\n",
    "                                                \"ritardo_arrivo\": _ritardo_arrivo,\n",
    "                                    })\n",
    "                            new_fermate = fer                     \n",
    "                    else:\n",
    "                        new_fermate = \"non rilevate\"\n",
    "                    \n",
    "                    if treno[\"tipoTreno\"] != \"PG\":\n",
    "                        if treno[\"categoria\"] == \"REG\":\n",
    "                            regionali.append({\"numero_treno\": numero,\n",
    "                                        \"categoria\": categoria,\n",
    "                                        \"stato\": \"parzialmente soppresso\",\n",
    "                                        \"origine_teorica\": treno[\"origineZero\"],\n",
    "                                        \"origine\": origine,\n",
    "                                        \"id_origine\": idOrigine, \n",
    "                                        \"destinazione_teorica\": treno[\"destinazioneZero\"],\n",
    "                                        \"destinazione\": destinazione,\n",
    "                                        \"id_destinazione\": idDestinazione, \n",
    "                                        \"data\": datetime.strptime(directory,\"%d-%m-%Y\").strftime('%d-%m-%Y'),\n",
    "                                        \"ritardo_finale\": ritardo_finale,\n",
    "                                        \"fermate\": new_fermate\n",
    "                            })\n",
    "                        else:\n",
    "                            nonregionali.append({\"numero_treno\": numero,\n",
    "                                        \"categoria\": categoria,\n",
    "                                        \"stato\": \"parzialmente soppresso\",\n",
    "                                        \"origine_teorica\": treno[\"origineZero\"],\n",
    "                                        \"origine\": origine,\n",
    "                                        \"id_origine\": idOrigine, \n",
    "                                        \"destinazione_teorica\": treno[\"destinazioneZero\"],\n",
    "                                        \"destinazione\": destinazione,\n",
    "                                        \"id_destinazione\": idDestinazione, \n",
    "                                        \"data\": datetime.strptime(directory,\"%d-%m-%Y\").strftime('%d-%m-%Y'),\n",
    "                                        \"ritardo_finale\": ritardo_finale,\n",
    "                                        \"fermate\": new_fermate\n",
    "                            })\n",
    "\n",
    "                    else:\n",
    "                        if treno[\"categoria\"] == \"REG\":\n",
    "                            regionali.append({\"numero_treno\": numero,\n",
    "                                        \"categoria\": categoria,\n",
    "                                        \"stato\": \"regolare\",\n",
    "                                        \"origine\":origine,\n",
    "                                        \"id_origine\": idOrigine, \n",
    "                                        \"destinazione\": destinazione,\n",
    "                                        \"id_destinazione\": idDestinazione,\n",
    "                                        \"data\": datetime.strptime(directory,\"%d-%m-%Y\").strftime('%d-%m-%Y'),\n",
    "                                        \"ritardo_finale\": ritardo_finale,\n",
    "                                        \"fermate\": new_fermate\n",
    "                            })\n",
    "                        else:\n",
    "                            nonregionali.append({\"numero_treno\": numero,\n",
    "                                        \"categoria\": categoria,\n",
    "                                        \"stato\": \"regolare\",\n",
    "                                        \"origine\":origine,\n",
    "                                        \"id_origine\": idOrigine, \n",
    "                                        \"destinazione\": destinazione,\n",
    "                                        \"id_destinazione\": idDestinazione,\n",
    "                                        \"data\": datetime.strptime(directory,\"%d-%m-%Y\").strftime('%d-%m-%Y'),\n",
    "                                        \"ritardo_finale\": ritardo_finale,\n",
    "                                        \"fermate\": new_fermate\n",
    "                            })\n",
    "        x = treni_regionali.insert_many(regionali)\n",
    "        y = altri_treni.insert_many(nonregionali)\n",
    "        print(x)\n",
    "        print(y)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3.10.7 64-bit",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "name": "python",
   "version": "3.10.7"
  },
  "orig_nbformat": 4,
  "vscode": {
   "interpreter": {
    "hash": "e7370f93d1d0cde622a1f8e1c04877d8463912d04d973331ad4851f04de6915a"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}