06_merge_and_group.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Datensätze miteinander verbinden"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Schauen wir uns einen Ausschnitt aus einer Umfrage bei allen Schulleiter*innen in NRW an, die gerade im WDR durchgeführt wird. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.read_csv('./data/umfrage_schulleiter.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Wo vergeben Schulleiter*innen in NRW die besten Noten für die technische Ausstattung an ihrer Schule?\n",
    "Unter f1_ausstattung haben die Schulleiter*innen Schulnoten für die Ausstattung ihrer Schule vergeben.\n",
    "Im Datensatz gibt es nur die Spalte 'Ort', die einen Gemeindenamen enthält. \n",
    "Um die Daten nach Region analysieren und auch später visualisieren zu können, wäre es hilfreich, weitere Angaben wie den AGS, Regierungsbezirk etc. zu haben."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Allgemeine NRW-Daten einladen"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Laden der generellen Daten zu den NRW-Gemeinden \n",
    "city_data = pd.read_json('./data/nrw_data.json', orient='columns', dtype={'keyCity': 'str'})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "city_data.sample()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "KeyCity enthält in diesem Fall den AGS ohne führende Null."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wir wollen aus dem AGS die Regierungsbezirke-Namen ablesen, dafür erzeigen wir eine neue Spalte 'regierungsbezirk', die die erste Stelle aus dem AGS enthält."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "city_data['regierungsbezirk'] = city_data.keyCity.str[1:2]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "city_data.sample()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "city_data['regierungsbezirk'] = city_data.regierungsbezirk.str.replace('1', 'Düsseldorf')\n",
    "city_data['regierungsbezirk'] = city_data.regierungsbezirk.str.replace('3', 'Köln')\n",
    "city_data['regierungsbezirk'] = city_data.regierungsbezirk.str.replace('5', 'Münster')\n",
    "city_data['regierungsbezirk'] = city_data.regierungsbezirk.str.replace('7', 'Detmold')\n",
    "city_data['regierungsbezirk'] = city_data.regierungsbezirk.str.replace('9', 'Arnsberg')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "city_data.regierungsbezirk.value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Datensätze verbinden"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Um die Datensätze zu verbinden, setzen wir in beiden Fällen den Index auf die Ort-Spalte\n",
    "df = df.set_index('Ort')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.sample()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "city_data = city_data.set_index('city')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "city_data.sample()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Um zu kontrollieren, dass keine Spalten verloren gehen, überprüfen wir die Länge der beiden Datensätze\n",
    "len(df), len(city_data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Join verbindet beide Datensätze anhand des index\n",
    "df = df.join(city_data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "len(df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.sample(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Tipp: \n",
    "\n",
    "Es gibt noch weitere Arten, Datensätze miteinander zu verknüpfen, einen ersten Überblick findest du hier:\n",
    "        [Chris Albon: Join And Merge Pandas Dataframe](https://chrisalbon.com/python/data_wrangling/pandas_join_merge_dataframe/)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Wie bewerten Sie die digitale Ausstattung Ihrer Schule zurzeit?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Gibt es Schulen, die diese Frage nicht beantwortet haben\n",
    "df.F1_ausstattung.value_counts(dropna=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df[df.F1_ausstattung.isna()]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Durchschnitt aller Schulen"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Pandas hat eine eigene Funktion, um Durchschnoittswerte zu bilden\n",
    "df.F1_ausstattung.mean()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Zufriedenheit nach Regierungsbezirken "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Um zu ermitteln, in welchem Regierungsbezirk die Schulleiter*innen am zufriedensten sind, nutzen wir group_by: \n",
    "df.groupby('regierungsbezirk').mean()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Übung"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Schreibe die jeweilige group_by - Funktion"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Zufriedenheit nach Stadt / Land (type)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Zufriedenheit nach Regionen\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "Du kannst die Daten auch sortieren"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Zufriedenheit nach Landkreisen, sortiert nach Ausstattung\n",
    "df.groupby('district').mean().sort_values(by='F1_ausstattung', ascending=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Übung"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Nach Schulform, sortiert nach Ausstattung\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wo gibt es aus deiner Sicht die spannendsten Ergebnisse?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Übung"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wie findest Du heraus, wie viele Schulen eine 1 bzw. eine 6 vergeben haben?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Wieviele Schulen sind super zufrieden (1.0)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Wieviele Schulen sind super unzufrieden (6.0)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Auf zur nächsten Datenquelle: \n",
    "    \n",
    "**[ >> Excel-Dokumente Notebook](06b_excel.ipynb)**"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}