Income regression .ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### This notebook is here to regress over our incomes. We namely want that our average houshold incomes for each district spans from 2008 - 2016 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Smart Cities "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Hamburg"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  32971.5          30735.66666667   26493.           26264.\n",
      "    24028.16666667   21792.33333333   19556.5          17320.66666666\n",
      "    15084.83333333]\n",
      " [  89972.5          87138.33333333   81470.           81470.\n",
      "    78635.83333333   75801.66666666   72967.5          70133.33333333\n",
      "    67299.16666666]\n",
      " [  30157.5          30498.33333333   31180.           31180.\n",
      "    31520.83333333   31861.66666667   32202.5          32543.33333333\n",
      "    32884.16666667]\n",
      " [  24017.           24868.           25615.           26570.           27421.\n",
      "    28272.           29123.           29974.           30825.        ]\n",
      " [  37219.33333333   38704.           39261.           41673.33333333\n",
      "    43158.           44642.66666667   46127.33333333   47612.\n",
      "    49096.66666667]\n",
      " [  23083.5          22956.66666667   22664.           22703.\n",
      "    22576.16666667   22449.33333333   22322.5          22195.66666667\n",
      "    22068.83333333]\n",
      " [  22558.5          22777.           23026.           23214.           23432.5\n",
      "    23651.           23869.5          24088.           24306.5       ]\n",
      " [  22782.66666667   23196.66666667   23447.           24024.66666667\n",
      "    24438.66666667   24852.66666667   25266.66666667   25680.66666667\n",
      "    26094.66666667]\n",
      " [  19921.33333333   19997.           20043.           20148.33333333\n",
      "    20224.           20299.66666667   20375.33333333   20451.\n",
      "    20526.66666667]\n",
      " [  21922.66666667   21829.           21705.           21641.66666667\n",
      "    21548.           21454.33333333   21360.66666667   21267.\n",
      "    21173.33333333]\n",
      " [  26967.           26240.66666667   25240.           24788.\n",
      "    24061.66666667   23335.33333333   22609.           21882.66666667\n",
      "    21156.33333333]\n",
      " [  18800.           18934.           18976.           19202.           19336.\n",
      "    19470.           19604.           19738.           19872.        ]\n",
      " [  15319.5          14919.           14633.           14118.           13717.5\n",
      "    13317.           12916.5          12516.           12115.5       ]\n",
      " [  20114.66666667   20072.           20098.           19986.66666667\n",
      "    19944.           19901.33333333   19858.66666667   19816.\n",
      "    19773.33333333]\n",
      " [  12724.33333333   11694.           11663.            9633.33333333\n",
      "     8603.            7572.66666667    6542.33333333    5512.\n",
      "     4481.66666667]\n",
      " [  28946.33333333   29573.66666667   29837.           30828.33333333\n",
      "    31455.66666667   32083.           32710.33333333   33337.66666667\n",
      "    33965.        ]\n",
      " [  25934.5          26565.66666667   27287.           27828.\n",
      "    28459.16666667   29090.33333333   29721.5          30352.66666667\n",
      "    30983.83333333]\n",
      " [  27483.           27741.           28257.           28257.           28515.\n",
      "    28773.           29031.           29289.           29547.        ]\n",
      " [  26241.16666667   26789.33333333   27257.           27885.66666667\n",
      "    28433.83333333   28982.           29530.16666667   30078.33333333\n",
      "    30626.5       ]\n",
      " [  34677.66666667   35917.33333333   36708.           38396.66666667\n",
      "    39636.33333333   40876.           42115.66666667   43355.33333333\n",
      "    44595.        ]\n",
      " [  30089.66666667   30697.33333333   31146.           31912.66666667\n",
      "    32520.33333333   33128.           33735.66666667   34343.33333333\n",
      "    34951.        ]\n",
      " [  80548.5          83731.66666667   81320.           90098.\n",
      "    93281.16666667   96464.33333333   99647.5         102830.66666667\n",
      "   106013.83333333]\n",
      " [ 115299.66666666  117927.66666666  104692.          123183.66666666\n",
      "   125811.66666666  128439.66666666  131067.66666666  133695.66666666\n",
      "   136323.66666666]\n",
      " [  24542.16666667   24718.66666667   24990.           25071.66666667\n",
      "    25248.16666667   25424.66666667   25601.16666667   25777.66666667\n",
      "    25954.16666667]\n",
      " [  42060.16666667   43075.           42846.           45104.66666667\n",
      "    46119.5          47134.33333333   48149.16666667   49164.\n",
      "    50178.83333333]\n",
      " [ 151274.5         149430.          138941.          145741.          143896.5\n",
      "   142052.          140207.5         138363.          136518.5       ]\n",
      " [ 103154.66666667  104306.66666667  101406.          106610.66666667\n",
      "   107762.66666667  108914.66666667  110066.66666667  111218.66666667\n",
      "   112370.66666667]\n",
      " [  35175.83333333   35930.           35790.           37438.33333333\n",
      "    38192.5          38946.66666667   39700.83333333   40455.\n",
      "    41209.16666667]\n",
      " [  40540.           41634.66666667   42532.           43824.\n",
      "    44918.66666667   46013.33333333   47108.           48202.66666667\n",
      "    49297.33333333]\n",
      " [  61768.66666667   63669.66666667   61866.           67471.66666667\n",
      "    69372.66666667   71273.66666667   73174.66666667   75075.66666667\n",
      "    76976.66666667]\n",
      " [  32798.66666667   33737.           34493.           35613.66666667\n",
      "    36552.           37490.33333333   38428.66666667   39367.\n",
      "    40305.33333333]\n",
      " [  65385.83333333   67433.66666667   63460.           71529.33333333\n",
      "    73577.16666667   75625.           77672.83333333   79720.66666667\n",
      "    81768.5       ]\n",
      " [  86021.33333333   88430.66666667   88273.           93249.33333333\n",
      "    95658.66666667   98068.          100477.33333333  102886.66666667\n",
      "   105296.        ]\n",
      " [  36341.33333333   37290.33333333   37785.           39188.33333333\n",
      "    40137.33333333   41086.33333333   42035.33333333   42984.33333333\n",
      "    43933.33333333]\n",
      " [  36186.5          37075.33333333   37901.           38853.\n",
      "    39741.83333333   40630.66666667   41519.5          42408.33333333\n",
      "    43297.16666667]\n",
      " [  37369.5          38015.           38497.           39306.           39951.5\n",
      "    40597.           41242.5          41888.           42533.5       ]\n",
      " [  34470.5          34874.           35223.           35681.           36084.5\n",
      "    36488.           36891.5          37295.           37698.5       ]\n",
      " [  27504.16666667   27717.66666667   27988.           28144.66666667\n",
      "    28358.16666667   28571.66666667   28785.16666667   28998.66666667\n",
      "    29212.16666667]\n",
      " [  29147.83333333   29637.           30114.           30615.33333333\n",
      "    31104.5          31593.66666667   32082.83333333   32572.\n",
      "    33061.16666667]\n",
      " [  50381.33333333   51273.66666667   48162.           53058.33333333\n",
      "    53950.66666667   54843.           55735.33333333   56627.66666667\n",
      "    57520.        ]\n",
      " [  56693.           59316.66666667   61052.           64564.\n",
      "    67187.66666667   69811.33333333   72435.           75058.66666667\n",
      "    77682.33333333]\n",
      " [  38844.83333333   39808.33333333   39426.           41735.33333333\n",
      "    42698.83333333   43662.33333333   44625.83333333   45589.33333333\n",
      "    46552.83333333]\n",
      " [  49950.           51651.           51489.           55053.           56754.\n",
      "    58455.           60156.           61857.           63558.        ]\n",
      " [  48449.5          49155.33333333   48915.           50567.\n",
      "    51272.83333333   51978.66666667   52684.5          53390.33333333\n",
      "    54096.16666667]\n",
      " [  55563.           57133.66666667   57277.           60275.\n",
      "    61845.66666667   63416.33333333   64987.           66557.66666667\n",
      "    68128.33333333]\n",
      " [  34521.5          35645.           36850.           37892.           39015.5\n",
      "    40139.           41262.5          42386.           43509.5       ]\n",
      " [  27566.           27980.66666667   28731.           28810.\n",
      "    29224.66666667   29639.33333333   30054.           30468.66666667\n",
      "    30883.33333333]\n",
      " [  19118.           19277.66666667   19453.           19597.\n",
      "    19756.66666667   19916.33333333   20076.           20235.66666667\n",
      "    20395.33333333]\n",
      " [  24574.16666667   25034.33333333   25545.           25954.66666667\n",
      "    26414.83333333   26875.           27335.16666667   27795.33333333\n",
      "    28255.5       ]\n",
      " [  33985.66666667   34928.66666667   35324.           36814.66666667\n",
      "    37757.66666667   38700.66666667   39643.66666667   40586.66666667\n",
      "    41529.66666667]\n",
      " [  34957.83333333   35565.33333333   35699.           36780.33333333\n",
      "    37387.83333333   37995.33333333   38602.83333333   39210.33333333\n",
      "    39817.83333333]\n",
      " [  27984.           28254.33333333   28562.           28795.\n",
      "    29065.33333333   29335.66666667   29606.           29876.33333333\n",
      "    30146.66666667]\n",
      " [  28152.5          28632.66666667   28782.           29593.\n",
      "    30073.16666667   30553.33333333   31033.5          31513.66666667\n",
      "    31993.83333333]\n",
      " [  26565.66666667   26775.33333333   26844.           27194.66666667\n",
      "    27404.33333333   27614.           27823.66666667   28033.33333333\n",
      "    28243.        ]\n",
      " [  49364.33333333   50845.           51563.           53806.33333333\n",
      "    55287.           56767.66666667   58248.33333333   59729.\n",
      "    61209.66666667]\n",
      " [  22052.16666667   21988.66666667   22025.           21861.66666667\n",
      "    21798.16666667   21734.66666667   21671.16666667   21607.66666667\n",
      "    21544.16666667]\n",
      " [  29851.66666667   30144.33333333   30509.           30729.66666667\n",
      "    31022.33333333   31315.           31607.66666667   31900.33333333\n",
      "    32193.        ]\n",
      " [  28877.83333333   29179.           29526.           29781.33333333\n",
      "    30082.5          30383.66666667   30684.83333333   30986.\n",
      "    31287.16666667]\n",
      " [  28342.33333333   28578.33333333   28716.           29050.33333333\n",
      "    29286.33333333   29522.33333333   29758.33333333   29994.33333333\n",
      "    30230.33333333]\n",
      " [  22000.83333333   21764.33333333   21593.           21291.33333333\n",
      "    21054.83333333   20818.33333333   20581.83333333   20345.33333333\n",
      "    20108.83333333]\n",
      " [  87111.5          88908.66666667   82817.           92503.\n",
      "    94300.16666667   96097.33333333   97894.5          99691.66666667\n",
      "   101488.83333333]\n",
      " [  54594.66666667   56177.33333333   57224.           59342.66666667\n",
      "    60925.33333333   62508.           64090.66666667   65673.33333333\n",
      "    67256.        ]\n",
      " [  47106.33333333   47797.           46719.           49178.33333333\n",
      "    49869.           50559.66666667   51250.33333333   51941.\n",
      "    52631.66666667]\n",
      " [  35810.16666667   35999.           35924.           36376.66666667\n",
      "    36565.5          36754.33333333   36943.16666667   37132.\n",
      "    37320.83333333]\n",
      " [  65293.5          66858.33333333   68524.           69988.\n",
      "    71552.83333333   73117.66666667   74682.5          76247.33333333\n",
      "    77812.16666667]\n",
      " [  61111.16666667   62505.66666667   61306.           65294.66666667\n",
      "    66689.16666667   68083.66666667   69478.16666667   70872.66666667\n",
      "    72267.16666667]\n",
      " [  93753.5          92844.33333333   86614.           91026.\n",
      "    90116.83333333   89207.66666667   88298.5          87389.33333333\n",
      "    86480.16666666]\n",
      " [  45025.           45795.           46426.           47335.           48105.\n",
      "    48875.           49645.           50415.           51185.        ]\n",
      " [  56318.83333333   57541.           57685.           59985.33333333\n",
      "    61207.5          62429.66666667   63651.83333333   64874.\n",
      "    66096.16666667]\n",
      " [  30699.66666667   30971.           31196.           31513.66666667\n",
      "    31785.           32056.33333333   32327.66666667   32599.\n",
      "    32870.33333333]\n",
      " [  26645.83333333   27044.           27477.           27840.33333333\n",
      "    28238.5          28636.66666667   29034.83333333   29433.\n",
      "    29831.16666667]\n",
      " [  32134.16666667   32607.33333333   32742.           33553.66666667\n",
      "    34026.83333333   34500.           34973.16666667   35446.33333333\n",
      "    35919.5       ]\n",
      " [  37559.5          37927.66666667   38200.           38664.\n",
      "    39032.16666667   39400.33333333   39768.5          40136.66666667\n",
      "    40504.83333333]\n",
      " [  41083.5          43141.33333333   44570.           47257.\n",
      "    49314.83333333   51372.66666667   53430.5          55488.33333334\n",
      "    57546.16666667]\n",
      " [  34671.16666667   35180.66666667   35802.           36199.66666667\n",
      "    36709.16666667   37218.66666667   37728.16666667   38237.66666667\n",
      "    38747.16666667]\n",
      " [  35337.83333333   35976.           36752.           37252.33333333\n",
      "    37890.5          38528.66666667   39166.83333333   39805.\n",
      "    40443.16666667]\n",
      " [  33105.66666667   33807.66666667   33972.           35211.66666667\n",
      "    35913.66666667   36615.66666667   37317.66666667   38019.66666667\n",
      "    38721.66666667]\n",
      " [  33529.5          34195.           34580.           35526.           36191.5\n",
      "    36857.           37522.5          38188.           38853.5       ]\n",
      " [  33790.83333333   35258.           35822.           38192.33333333\n",
      "    39659.5          41126.66666667   42593.83333333   44061.\n",
      "    45528.16666667]\n",
      " [  29620.16666667   29569.           29391.           29466.66666667\n",
      "    29415.5          29364.33333333   29313.16666667   29262.\n",
      "    29210.83333333]\n",
      " [  31484.83333333   32150.66666667   32536.           33482.33333333\n",
      "    34148.16666667   34814.           35479.83333333   36145.66666667\n",
      "    36811.5       ]\n",
      " [  36252.33333333   37213.66666667   38768.           39136.33333333\n",
      "    40097.66666667   41059.           42020.33333333   42981.66666667\n",
      "    43943.        ]\n",
      " [  30299.           30156.33333333   30006.           29871.\n",
      "    29728.33333333   29585.66666667   29443.           29300.33333333\n",
      "    29157.66666667]\n",
      " [  26305.5          26462.66666667   26777.           26777.\n",
      "    26934.16666667   27091.33333333   27248.5          27405.66666667\n",
      "    27562.83333333]\n",
      " [  19205.33333333   19216.33333333   19246.           19238.33333333\n",
      "    19249.33333333   19260.33333333   19271.33333333   19282.33333333\n",
      "    19293.33333333]\n",
      " [  30511.16666667   30999.           31010.           31974.66666667\n",
      "    32462.5          32950.33333333   33438.16666667   33926.\n",
      "    34413.83333333]\n",
      " [  23680.16666667   23881.66666667   23985.           24284.66666667\n",
      "    24486.16666667   24687.66666667   24889.16666667   25090.66666667\n",
      "    25292.16666667]\n",
      " [  44974.           48874.66666667   56002.           56676.\n",
      "    60576.66666667   64477.33333334   68378.           72278.66666667\n",
      "    76179.33333334]\n",
      " [  31034.16666667   31280.           31482.           31771.66666667\n",
      "    32017.5          32263.33333333   32509.16666667   32755.\n",
      "    33000.83333333]\n",
      " [  31458.83333333   31550.33333333   31736.           31733.33333333\n",
      "    31824.83333333   31916.33333333   32007.83333333   32099.33333333\n",
      "    32190.83333333]\n",
      " [  33856.33333333   34347.66666667   34488.           35330.33333333\n",
      "    35821.66666667   36313.           36804.33333333   37295.66666667\n",
      "    37787.        ]\n",
      " [  29895.16666667   30483.66666667   30756.           31660.66666667\n",
      "    32249.16666667   32837.66666667   33426.16666667   34014.66666667\n",
      "    34603.16666667]\n",
      " [  27689.33333333   28179.33333333   28235.           29159.33333333\n",
      "    29649.33333333   30139.33333333   30629.33333333   31119.33333333\n",
      "    31609.33333333]\n",
      " [  34923.33333333   36252.33333333   36862.           38910.33333333\n",
      "    40239.33333333   41568.33333333   42897.33333333   44226.33333333\n",
      "    45555.33333334]\n",
      " [  28386.83333333   28562.           28667.           28912.33333333\n",
      "    29087.5          29262.66666667   29437.83333333   29613.\n",
      "    29788.16666667]\n",
      " [  28249.66666667   28573.33333333   28670.           29220.66666667\n",
      "    29544.33333333   29868.           30191.66666667   30515.33333333\n",
      "    30839.        ]\n",
      " [  34510.16666667   35237.66666667   34280.           36692.66666667\n",
      "    37420.16666667   38147.66666667   38875.16666667   39602.66666667\n",
      "    40330.16666667]\n",
      " [  32577.16666667   32351.66666667   33272.           31900.66666667\n",
      "    31675.16666667   31449.66666667   31224.16666667   30998.66666667\n",
      "    30773.16666667]\n",
      " [  32727.33333333   32138.66666667   31326.           30961.33333333\n",
      "    30372.66666667   29784.           29195.33333333   28606.66666667\n",
      "    28018.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Smart-Cities houshold income per district.xlsx\",\"Hamburg\")\n",
    "hamburg = sheet.as_matrix()\n",
    "regressed_income = np.zeros((hamburg.shape[0],9))\n",
    "dates = [2004, 2007, 2010]\n",
    "\n",
    "# Fill in what we already know \n",
    "#2010\n",
    "regressed_income[:,2] = hamburg[:,2]\n",
    "\n",
    "# Calculate not known years(2008,2009,2011-2016)\n",
    "for pc in range(hamburg.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, hamburg[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    #2009\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    #...\n",
    "    regressed_income[pc,3] = poly_fit(2011)\n",
    "    regressed_income[pc,4] = poly_fit(2012)\n",
    "    regressed_income[pc,5] = poly_fit(2013)\n",
    "    regressed_income[pc,6] = poly_fit(2014)\n",
    "    regressed_income[pc,7] = poly_fit(2015)\n",
    "    regressed_income[pc,8] = poly_fit(2016)\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "writer = pd.ExcelWriter('Cities Household Income per district/Regressed_smart_city_household_income.xlsx', engine='xlsxwriter')\n",
    "df_hamburg = pd.DataFrame(regressed_income)\n",
    "df_hamburg.to_excel(writer, sheet_name='Hamburg')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Sydney"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  88049.86666667   91627.46666666   95205.06666667 ...,  109515.46666667\n",
      "   113093.06666667  117000.        ]\n",
      " [  82217.2          85404.8          88592.4        ...,  101342.8\n",
      "   104530.4         107432.        ]\n",
      " [  74269.86666667   78107.46666667   81945.06666667 ...,   97295.46666667\n",
      "   101133.06666667  104052.        ]\n",
      " ..., \n",
      " [ 103578.8         107047.2         110515.6        ...,  124389.2\n",
      "   127857.6         128856.        ]\n",
      " [  90653.33333333   93981.33333333   97309.33333333 ...,  110621.33333333\n",
      "   113949.33333333  118040.        ]\n",
      " [ 113386.          117520.          121654.         ...,  138190.          142324.\n",
      "   146380.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Smart-Cities houshold income per district.xlsx\",\"Sydney\")\n",
    "sydney = sheet.as_matrix()\n",
    "regressed_income = np.zeros((sydney.shape[0],9))\n",
    "dates = [2006, 2011, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "#2011\n",
    "regressed_income[:,3] = sydney[:,1]\n",
    "#2016\n",
    "regressed_income[:,8] = sydney[:,2]\n",
    "\n",
    "# Calculate not known years(2008-2010,2012-2015)\n",
    "for pc in range(sydney.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, sydney[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    #2009\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    #...\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "    regressed_income[pc,4] = poly_fit(2012)\n",
    "    regressed_income[pc,5] = poly_fit(2013)\n",
    "    regressed_income[pc,6] = poly_fit(2014)\n",
    "    regressed_income[pc,7] = poly_fit(2015)\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_sydney = pd.DataFrame(regressed_income)\n",
    "df_sydney.to_excel(writer, sheet_name='Sydney')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Melbourne"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  78525.2          81452.8          84380.4        ...,   96090.8\n",
      "    99018.4          96876.        ]\n",
      " [  43118.4          44969.6          46820.8        ...,   54225.6\n",
      "    56076.8          59072.        ]\n",
      " [  40350.26666667   42217.06666667   44083.86666667 ...,   51551.06666667\n",
      "    53417.86666667   55120.        ]\n",
      " ..., \n",
      " [  69823.86666667   71971.46666667   74119.06666667 ...,   82709.46666667\n",
      "    84857.06666667   86008.        ]\n",
      " [  70940.13333333   73420.53333333   75900.93333333 ...,   85822.53333333\n",
      "    88302.93333333   94224.        ]\n",
      " [  80698.8          83491.2          86283.6        ...,   97453.2\n",
      "   100245.6         107692.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Smart-Cities houshold income per district.xlsx\",\"Melbourne\")\n",
    "melbourne = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((melbourne.shape[0],9))\n",
    "dates = [2006, 2011, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "#2011\n",
    "regressed_income[:,3] = melbourne[:,1]\n",
    "#2016\n",
    "regressed_income[:,8] = melbourne[:,2]\n",
    "\n",
    "# Calculate not known years(2008-2010,2012-2015)\n",
    "for pc in range(melbourne.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, melbourne[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    #2009\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    #...\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "    regressed_income[pc,4] = poly_fit(2012)\n",
    "    regressed_income[pc,5] = poly_fit(2013)\n",
    "    regressed_income[pc,6] = poly_fit(2014)\n",
    "    regressed_income[pc,7] = poly_fit(2015)\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_melbourne = pd.DataFrame(regressed_income)\n",
    "df_melbourne.to_excel(writer, sheet_name='Melbourne')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# New York "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  85438.39285714   86147.           86604.           88221.           89078.\n",
      "    89552.           90681.           90236.           92152.        ]\n",
      " [  55801.10714286   54903.           55289.           57206.           56765.\n",
      "    56548.           56950.           56131.           55355.        ]\n",
      " [  67370.21428571   65808.           68321.           71001.           71896.\n",
      "    70866.           70258.           70141.           72125.        ]\n",
      " [  47707.42857143   46829.           47328.           48319.           46953.\n",
      "    46561.           46226.           45925.           46417.        ]\n",
      " [  73414.53571429   73933.           76591.           80702.           81453.\n",
      "    82617.           83238.           84412.           88455.        ]\n",
      " [  70431.85714286   70613.           70613.           73412.           75689.\n",
      "    75293.           75999.           75763.           75787.        ]\n",
      " [  86518.82142857   87469.           85142.           87203.           93617.\n",
      "    86234.           84670.           84570.           93404.        ]\n",
      " [  83455.92857143   83574.           83400.           88673.           86122.\n",
      "    86920.           86441.           87021.           89997.        ]\n",
      " [ 105096.17857143  107288.          105531.          105456.          107532.\n",
      "   109159.          104237.          107845.          112027.        ]\n",
      " [  67585.85714286   73709.           72450.           74589.           77222.\n",
      "    84793.           87183.           93248.           89815.        ]\n",
      " [  75343.14285714   78097.           77720.           86087.           91518.\n",
      "    89008.           94476.           92733.           99652.        ]\n",
      " [  92303.14285714   95375.           98496.          100758.          103461.\n",
      "   105975.          104601.          108880.          118488.        ]\n",
      " [  67495.42857143   66331.           68554.           70116.           70809.\n",
      "    70256.           69685.           70022.           71224.        ]\n",
      " [ 133667.71428572  138534.          137166.          142609.          143228.\n",
      "   145377.          143819.          151023.          157923.        ]\n",
      " [  49942.78571429   51729.           51251.           51598.           53868.\n",
      "    55061.           55416.           55511.           57765.        ]\n",
      " [  88653.10714286   95138.           96300.          100588.          106163.\n",
      "   109652.          118766.          117049.          125258.        ]\n",
      " [  60438.03571429   60205.           63818.           63430.           65206.\n",
      "    67047.           67477.           66341.           69618.        ]\n",
      " [  57480.42857143   56934.           60653.           61894.           64313.\n",
      "    64892.           65208.           67097.           66816.        ]\n",
      " [  73386.46428572   76400.           76128.           78718.           80959.\n",
      "    82073.           84867.           84479.           89727.        ]\n",
      " [  80772.03571429   82755.           82919.           81745.           82157.\n",
      "    84251.           82458.           86493.           87697.        ]\n",
      " [  95558.17857143   97030.           96097.           96135.           97102.\n",
      "    96952.           90577.           96943.          101429.        ]\n",
      " [ 173634.35714286  178833.          168543.          186010.          186616.\n",
      "   184389.          195479.          198910.          184956.        ]\n",
      " [ 105323.10714286  107783.          110818.          116467.          122411.\n",
      "   132042.          131797.          132004.          132425.        ]\n",
      " [  46330.39285714   46803.           47325.           48609.           48852.\n",
      "    49421.           49661.           50191.           51445.        ]\n",
      " [ 120531.82142857  124930.          122620.          127411.          128721.\n",
      "   130490.          132838.          135687.          138748.        ]\n",
      " [  58788.53571429   61578.           62656.           64845.           65770.\n",
      "    67629.           69599.           71957.           75810.        ]\n",
      " [  68349.42857143   69200.           70208.           72324.           72891.\n",
      "    73521.           74140.           75162.           77515.        ]\n",
      " [  58146.25         59082.           61197.           64714.           67230.\n",
      "    66436.           67108.           71279.           72390.        ]\n",
      " [  61775.85714286   60089.           66896.           68267.           71258.\n",
      "    66959.           71038.           65670.           78572.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Smart-Cities houshold income per district.xlsx\",\"New York\")\n",
    "nyc = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((nyc.shape[0],9))\n",
    "dates = [2009, 2010, 2011, 2012, 2013, 2014, 2015, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,1:] = nyc\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(nyc.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, nyc[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_nyc = pd.DataFrame(regressed_income)\n",
    "df_nyc.to_excel(writer, sheet_name='New York')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Berlin"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[ 21985.71428572  23100.          23100.          23400.          24000.\n",
      "   24900.          25200.          24600.          27900.        ]\n",
      " [ 17978.57142857  18600.          18900.          18600.          19200.\n",
      "   18900.          19200.          19800.          21300.        ]\n",
      " [ 17689.28571429  18600.          20100.          20100.          20100.\n",
      "   21900.          21600.          22800.          25500.        ]\n",
      " [ 19596.42857143  20400.          20100.          21600.          21900.\n",
      "   21600.          22200.          22800.          24300.        ]\n",
      " [ 16225.71428571  17100.          17700.          17700.          18600.\n",
      "   18300.          19200.          19620.          21900.        ]\n",
      " [ 18825.          19200.          20100.          20700.          21600.\n",
      "   22500.          23100.          23100.          23700.        ]\n",
      " [ 14839.28571429  15600.          16800.          16800.          18000.\n",
      "   18600.          20100.          19500.          21600.        ]\n",
      " [ 17400.          18900.          19200.          20100.          20400.\n",
      "   20700.          22200.          22500.          25800.        ]\n",
      " [ 15471.42857143  16500.          17100.          16200.          17100.\n",
      "   17400.          18600.          18600.          20400.        ]\n",
      " [ 17410.71428571  17700.          18600.          18900.          19200.\n",
      "   19200.          19200.          19500.          21900.        ]\n",
      " [ 17721.42857143  19200.          18300.          19500.          19500.\n",
      "   19800.          20400.          20700.          23400.        ]\n",
      " [ 17775.          19500.          19800.          19200.          19800.\n",
      "   20400.          21900.          23100.          24600.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Smart-Cities houshold income per district.xlsx\",\"Berlin\")\n",
    "berlin = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((berlin.shape[0],9))\n",
    "dates = [2009, 2010, 2011, 2012, 2013, 2014, 2015, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,1:] = berlin\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(berlin.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, berlin[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_berlin = pd.DataFrame(regressed_income)\n",
    "df_berlin.to_excel(writer, sheet_name='Berlin')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Vienna"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[ 48595.          49453.          51760.          53601.          51396.\n",
      "   51516.          51340.          54251.2         55109.85454546]\n",
      " [ 27036.          27309.          27351.          27249.          28090.\n",
      "   28528.          29179.          29550.6         29999.10909091]\n",
      " [ 32096.          32449.          32674.          32673.          33555.\n",
      "   33746.          34624.          35183.2         35722.45454546]\n",
      " [ 35918.          36373.          36040.          35683.          36967.\n",
      "   36700.          36904.          37835.06666667  38237.20606061]\n",
      " [ 26620.          26978.          26766.          26726.          27134.\n",
      "   27369.          27674.          28228.6         28555.41818182]\n",
      " [ 32307.          32353.          32715.          32679.          33123.\n",
      "   33232.          33874.          34536.73333333  34975.43030303]\n",
      " [ 33008.          33766.          33848.          33953.          34606.\n",
      "   34964.          35702.          36517.26666667  37109.55151515]\n",
      " [ 35118.          35419.          34853.          35059.          35208.\n",
      "   35411.          35989.          36238.53333333  36496.63030303]\n",
      " [ 32849.          33230.          33231.          33275.          34079.\n",
      "   33953.          34386.          35149.6         35570.10909091]\n",
      " [ 25767.          25863.          25664.          25504.          25863.\n",
      "   26038.          26267.          26503.06666667  26685.02424242]\n",
      " [ 26514.          26628.          26564.          26935.          27422.\n",
      "   27783.          28016.          28448.4         28790.76363636]\n",
      " [ 26615.          26854.          26623.          26406.          26877.\n",
      "   27007.          27421.          27701.33333333  27942.3030303 ]\n",
      " [ 41843.          42200.          41761.          42165.          42515.\n",
      "   42251.          42396.          43379.2         43717.45454545]\n",
      " [ 31825.          32133.          31643.          31744.          32503.\n",
      "   32822.          33210.          33580.8         33928.09090909]\n",
      " [ 23056.          23323.          23190.          23053.          23542.\n",
      "   23761.          23908.          24264.13333333  24495.81212121]\n",
      " [ 26092.          26405.          26374.          26061.          26658.\n",
      "   26909.          27073.          27542.8         27823.25454545]\n",
      " [ 28714.          29298.          28709.          28367.          28417.\n",
      "   28746.          28780.          29385.33333333  29597.19393939]\n",
      " [ 35944.          35718.          36235.          35742.          36424.\n",
      "   36732.          36788.          37737.06666667  38146.93333333]\n",
      " [ 38865.          38852.          38628.          38490.          39308.\n",
      "   39081.          39462.          40392.8         40799.58181818]\n",
      " [ 24456.          24848.          24587.          24500.          24942.\n",
      "   25192.          25575.          25886.          26159.12727273]\n",
      " [ 28601.          29014.          29010.          29271.          29792.\n",
      "   30383.          30829.          31206.26666667  31627.38787879]\n",
      " [ 31280.          31484.          31782.          32065.          32840.\n",
      "   33132.          33719.          34303.13333333  34812.33939394]\n",
      " [ 34252.          34267.          34101.          34310.          34974.\n",
      "   35620.          35928.          36386.6         36806.47272727]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Smart-Cities houshold income per district.xlsx\",\"Vienna\")\n",
    "vienna = sheet.as_matrix()\n",
    "vienna = np.multiply(vienna,1000)\n",
    "\n",
    "regressed_income = np.zeros((vienna.shape[0],9))\n",
    "dates = [2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012, 2013, 2014]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,:7] = vienna[:,3:]\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(vienna.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, vienna[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,7] = poly_fit(2015)\n",
    "    regressed_income[pc,8] = poly_fit(2016)\n",
    "\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_vienna = pd.DataFrame(regressed_income)\n",
    "df_vienna.to_excel(writer, sheet_name='Vienna')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Chicago "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  81348.92380952   81660.6952381    81972.46666667   84241.           82847.\n",
      "    80940.           81256.           82574.           86524.        ]\n",
      " [  65267.15238095   65908.60952381   66550.06666667   66601.           68526.\n",
      "    69102.           68186.           69915.           70441.        ]\n",
      " [ 104224.77142857  106890.08571429  109555.4         115640.          113035.\n",
      "   115306.          118532.          123295.          127496.        ]\n",
      " [  56930.03809524   58866.15238095   60802.26666667   62104.           65457.\n",
      "    66401.           68872.           70503.           72135.        ]\n",
      " [  59059.23809524   60434.95238095   61810.66666667   62443.           65272.\n",
      "    66459.           67395.           67840.           70345.        ]\n",
      " [  56174.17142857   56782.68571429   57391.2          61469.           56056.\n",
      "    57173.           59339.           60400.           62689.        ]\n",
      " [ 109795.92380952  115018.6952381   120241.46666667  125072.          130536.\n",
      "   135239.          143400.          146398.          150482.        ]\n",
      " [ 204923.36190476  189489.44761904  174055.53333333  164915.          143656.\n",
      "   132736.           96194.           80851.          101869.        ]\n",
      " [  49984.04761905   73010.19047619   96036.33333334  114175.          137939.\n",
      "   176789.          187240.          218982.          224642.        ]\n",
      " [ 107630.31428572  125050.25714286  142470.2         160446.          143243.\n",
      "   214918.          232790.          261215.          208028.        ]\n",
      " [  74139.17142857   81580.68571429   89022.2         105262.           98172.\n",
      "   107930.          115185.          122628.          141228.        ]\n",
      " [ 128898.77142857  130372.08571429  131845.4         145974.          125756.\n",
      "   135559.          129166.          131344.          154213.        ]\n",
      " [  99480.87619048  101678.5047619   103876.13333333  108014.          109089.\n",
      "   107194.          109985.          117081.          118044.        ]\n",
      " [  45730.83809524   46510.35238095   47289.86666667   49412.           48495.\n",
      "    48667.           49408.           50774.           53353.        ]\n",
      " [  46190.53333333   46107.13333333   46023.73333333   46260.           46087.\n",
      "    45455.           44931.           45562.           46096.        ]\n",
      " [ 104800.1047619   107192.41904762  109584.73333333  113601.          113241.\n",
      "   118431.          115573.          120094.          126807.        ]\n",
      " [ 170164.96190476  168974.84761905  167784.73333333  169005.          166752.\n",
      "   161454.          157174.          164374.          162957.        ]\n",
      " [  55721.62857143   55523.51428571   55325.4          54997.           55836.\n",
      "    54544.           53817.           53352.           55246.        ]\n",
      " [  83782.54285714   86573.17142857   89363.8          92147.           93849.\n",
      "    99357.          100211.          103505.          105717.        ]\n",
      " [ 135289.13333333  135977.53333333  136665.93333333  140799.          138686.\n",
      "   134437.          135572.          140889.          144069.        ]\n",
      " [  67591.42857143   67213.71428571   66836.           66606.           67447.\n",
      "    65334.           62779.           64942.           65976.        ]\n",
      " [  61106.41904762   61382.67619048   61658.93333333   62131.           62895.\n",
      "    62579.           60917.           62747.           64486.        ]\n",
      " [  54774.76190476   54072.04761905   53369.33333333   52682.           51975.\n",
      "    50824.           51014.           50135.           48829.        ]\n",
      " [  76867.19047619   78235.76190476   79604.33333333   81965.           82741.\n",
      "    83289.           83448.           84413.           90510.        ]\n",
      " [  49494.78095238   48889.12380952   48283.46666667   47716.           46558.\n",
      "    47014.           46399.           44402.           44893.        ]\n",
      " [  44167.02857143   44192.11428571   44217.2          45808.           43048.\n",
      "    43334.           44269.           44364.           45007.        ]\n",
      " [  34740.           34248.           33756.           33599.           33049.\n",
      "    31965.           31288.           30458.           31845.        ]\n",
      " [  76789.15238095   80917.60952381   85046.06666667   89580.           94628.\n",
      "    96652.           99320.          105179.          111615.        ]\n",
      " [  40895.7047619    40520.81904762   40145.93333333   41019.           39271.\n",
      "    37923.           37996.           37128.           39666.        ]\n",
      " [  32382.22857143   32711.91428571   33041.6          33534.           33396.\n",
      "    35306.           32885.           34221.           35831.        ]\n",
      " [  64394.05714286   66423.22857143   68452.4          69476.           72338.\n",
      "    76589.           77447.           76414.           81063.        ]\n",
      " [  54687.07619048   54526.3047619    54365.53333333   54593.           54182.\n",
      "    53042.           54007.           53023.           53970.        ]\n",
      " [  48144.5047619    48187.01904762   48229.53333333   49363.           48732.\n",
      "    47111.           46308.           49239.           49517.        ]\n",
      " [  48682.75238095   49034.00952381   49385.26666667   50614.           49779.\n",
      "    50293.           49797.           50414.           52791.        ]\n",
      " [  61093.12380952   63374.4952381    65655.86666667   68770.           69954.\n",
      "    71848.           74542.           76392.           80338.        ]\n",
      " [  80504.36190476   82176.44761905   83848.53333333   87288.           88673.\n",
      "    85673.           87747.           92606.           96218.        ]\n",
      " [  48766.65714286   48916.62857143   49066.6          50705.           49570.\n",
      "    48551.           47633.           48524.           52566.        ]\n",
      " [  47514.06666667   49205.26666667   50896.46666667   53882.           54263.\n",
      "    55511.           55582.           58480.           63176.        ]\n",
      " [  64074.17142857   64868.68571429   65663.2          68161.           67186.\n",
      "    66516.           67070.           69519.           72212.        ]\n",
      " [  34003.28571429   34649.14285714   35295.           36591.           36090.\n",
      "    37001.           37638.           38436.           39577.        ]\n",
      " [  45782.99047619   46593.96190476   47404.93333333   49612.           48981.\n",
      "    48252.           49852.           51014.           53749.        ]\n",
      " [  66084.37142857   67183.48571429   68282.6          70267.           69878.\n",
      "    70951.           72966.           73076.           75639.        ]\n",
      " [  46196.84761905   46684.39047619   47171.93333333   48395.           47983.\n",
      "    48251.           48379.           49225.           51037.        ]\n",
      " [  58569.36190476   60303.44761905   62037.53333333   65062.           65380.\n",
      "    65414.           68197.           71790.           72798.        ]\n",
      " [  59543.26666667   60602.06666667   61660.86666667   63904.           63759.\n",
      "    64095.           64329.           66472.           69641.        ]\n",
      " [  70824.97142857   75170.88571429   79516.8          85622.           89103.\n",
      "    89573.           95198.          101222.          107647.        ]\n",
      " [  73206.33333333   74017.33333333   74828.33333333   75832.           76258.\n",
      "    78222.           77730.           76492.           81467.        ]\n",
      " [  37706.25714286   37864.02857143   38021.8          40185.           37481.\n",
      "    36795.           37701.           39213.           40069.        ]\n",
      " [  76758.4          76137.6          75516.8          75744.           73536.\n",
      "    73629.           72428.           72417.           72310.        ]\n",
      " [  93505.78095238   95000.12380952   96494.46666667   97186.           99821.\n",
      "   103350.          100940.          102575.          106476.        ]\n",
      " [  60842.29523809   63721.18095238   66600.06666667   70333.           72976.\n",
      "    74212.           76815.           79927.           85794.        ]\n",
      " [  40649.4          40813.6          40977.8          41377.           41374.\n",
      "    41553.           40932.           41510.           42569.        ]\n",
      " [  40107.13333333   40939.53333333   41771.93333333   42848.           43501.\n",
      "    43561.           45329.           46128.           46745.        ]\n",
      " [  69547.3047619    70072.21904762   70597.13333333   69627.           72950.\n",
      "    73557.           72660.           71403.           74409.        ]\n",
      " [  52860.53333333   52058.13333333   51255.73333333   50232.           50865.\n",
      "    48008.           47453.           47202.           46924.        ]\n",
      " [ 151360.38095238  149600.52380952  147840.66666667  140983.          147560.\n",
      "   149346.          138233.          136356.          137609.        ]\n",
      " [  92208.54285714   93335.17142857   94461.8          95729.           96762.\n",
      "    98328.           98551.           98580.          102480.        ]\n",
      " [  61272.71428572   62967.85714286   64663.           68265.           66818.\n",
      "    68564.           70514.           73958.           75457.        ]\n",
      " [ 102902.0952381   105363.38095238  107824.66666667  111252.          113197.\n",
      "   114522.          116146.          118609.          124909.        ]\n",
      " [  61271.66666667   61996.66666667   62721.66666667   63554.           64391.\n",
      "    65262.           65033.           65014.           68301.        ]\n",
      " [  49942.68571429   51619.74285714   53296.8          55698.           55632.\n",
      "    58185.           60578.           61420.           63486.        ]\n",
      " [  98871.54285714  101866.17142857  104860.8         107301.          115476.\n",
      "   114300.          111232.          113951.          129792.        ]\n",
      " [  53122.88571429   55057.54285714   56992.2          61025.           60270.\n",
      "    60594.           64141.           66327.           70224.        ]\n",
      " [  68657.23809524   68825.95238095   68994.66666667   69043.           71083.\n",
      "    69398.           67548.           67988.           72451.        ]\n",
      " [  60497.81904762   61779.27619048   63060.73333333   66815.           64347.\n",
      "    65457.           66730.           69468.           72458.        ]\n",
      " [  54374.82857143   54196.31428571   54017.8          53474.           54480.\n",
      "    53803.           52530.           52260.           53811.        ]\n",
      " [  47054.64761905   46522.59047619   45990.53333333   45651.           44843.\n",
      "    44093.           43986.           43358.           42839.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Smart-Cities houshold income per district.xlsx\",\"Chicago\")\n",
    "Chicago = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((Chicago.shape[0],9))\n",
    "dates = [2011, 2012, 2013, 2014, 2015, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,3:] = Chicago\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(Chicago.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, Chicago[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_chicago = pd.DataFrame(regressed_income)\n",
    "df_chicago.to_excel(writer, sheet_name='Chicago')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Los Angeles"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  46887.84761905   46369.39047619   45850.93333333   46024.           44512.\n",
      "    44205.           43105.           42625.           43747.        ]\n",
      " [  44371.           43895.           43419.           43420.           43221.\n",
      "    41355.           40149.           40278.           42095.        ]\n",
      " [  35411.4952381    35996.98095238   36582.46666667   37919.           37726.\n",
      "    37762.           37946.           39552.           40885.        ]\n",
      " [  64343.22857143   65667.91428571   66992.6          70735.           69113.\n",
      "    69122.           70614.           72532.           77658.        ]\n",
      " [  44418.4          44618.6          44818.8          45455.           45772.\n",
      "    44070.           45746.           45224.           46850.        ]\n",
      " [  36233.43809524   36710.75238095   37188.06666667   38117.           38258.\n",
      "    38215.           38571.           39123.           40868.        ]\n",
      " [  37292.08571429   36849.34285714   36406.6          34709.           36715.\n",
      "    35748.           34786.           33382.           33802.        ]\n",
      " [  49899.19047619   50916.76190476   51934.33333333   52349.           55480.\n",
      "    55179.           54676.           56076.           59215.        ]\n",
      " [  99358.48571428   94800.94285714   90243.4          81750.           83639.\n",
      "    81075.           71900.           63806.           63582.        ]\n",
      " [  39445.61904762   39424.47619048   39403.33333333   39687.           39877.\n",
      "    39043.           38184.           38870.           40315.        ]\n",
      " [  40195.51428571   42040.05714286   43884.6          46493.           46991.\n",
      "    49558.           50578.           52569.           55854.        ]\n",
      " [  23400.16190476   27372.64761905   31345.13333333   37553.           38138.\n",
      "    40940.           46275.           53527.           55060.        ]\n",
      " [  11550.10476191   17106.41904762   22662.73333333   28711.           32938.\n",
      "    39080.           45048.           51769.           55113.        ]\n",
      " [  33293.76190476   37141.04761905   40988.33333333   46125.           46574.\n",
      "    53634.           57542.           56573.           66275.        ]\n",
      " [  43262.46666667   44666.86666667   46071.26666667   48059.           48572.\n",
      "    49476.           52565.           52082.           55166.        ]\n",
      " [  30598.24761905   32653.99047619   34709.73333333   36133.           40535.\n",
      "    41067.           41525.           43541.           48628.        ]\n",
      " [  41479.83809524   42498.35238095   43516.86666667   45933.           45259.\n",
      "    46738.           45033.           47420.           52107.        ]\n",
      " [  50717.56190476   53793.24761905   56868.93333333   60664.           62301.\n",
      "    66176.           68070.           73491.           75101.        ]\n",
      " [  60361.03809524   60591.15238095   60821.26666667   60983.           63030.\n",
      "    60923.           58386.           63797.           62641.        ]\n",
      " [  34255.95238095   34702.80952381   35149.66666667   35722.           33070.\n",
      "    42101.           34130.           37432.           37827.        ]\n",
      " [  37257.82857143   38495.31428571   39732.8          41270.           42571.\n",
      "    42838.           44611.           44934.           48160.        ]\n",
      " [ 127137.99047619  125698.96190476  124259.93333333  127457.          120325.\n",
      "   112092.          120091.          118490.          116885.        ]\n",
      " [  90446.97142857   91533.88571429   92620.8          92961.           95203.\n",
      "    97319.           96182.           97416.           99469.        ]\n",
      " [  52601.22857143   55348.91428572   58096.6          63548.           63920.\n",
      "    62919.           66991.           71459.           77444.        ]\n",
      " [  71645.73333333   72849.93333333   74054.13333333   77190.           77229.\n",
      "    74861.           76505.           80500.           83328.        ]\n",
      " [  41039.99047619   42061.96190476   43083.93333333   45082.           45307.\n",
      "    44834.           46269.           48350.           50123.        ]\n",
      " [  44450.52380952   44810.0952381    45169.66666667   46338.           44958.\n",
      "    46545.           46402.           46169.           48157.        ]\n",
      " [  43051.65714286   44145.62857143   45239.6          47002.           47247.\n",
      "    47710.           49579.           50597.           52276.        ]\n",
      " [  55022.77142857   55565.08571429   56107.4          56511.           57845.\n",
      "    57779.           57413.           58494.           59991.        ]\n",
      " [  39436.04761905   39395.19047619   39354.33333333   39859.           39479.\n",
      "    38838.           38191.           38778.           40123.        ]\n",
      " [  70007.91428571   71319.65714286   72631.4          75395.           75993.\n",
      "    74845.           75959.           77982.           83161.        ]\n",
      " [ 101935.11428571  103173.45714286  104411.8         106868.          107495.\n",
      "   106473.          107746.          110288.          113606.        ]\n",
      " [  97523.14285714   97890.57142857   98258.           99470.          101316.\n",
      "    97124.           96905.           98934.          103515.        ]\n",
      " [  37561.12380952   37466.4952381    37371.86666667   37827.           37166.\n",
      "    36570.           36300.           37157.           37224.        ]\n",
      " [  44983.02857143   46149.11428571   47315.2          48231.           50372.\n",
      "    50236.           52194.           52802.           54544.        ]\n",
      " [  72549.52380952   76254.0952381    79958.66666667   87415.           86982.\n",
      "    87247.           92533.           97230.          106141.        ]\n",
      " [  67850.02857143   71022.11428571   74194.2          78983.           80058.\n",
      "    82483.           86376.           88588.           95291.        ]\n",
      " [  65309.46666667   65486.86666667   65664.26666667   66928.           65812.\n",
      "    65484.           65518.           65797.           68172.        ]\n",
      " [  60452.61904762   60980.47619048   61508.33333333   62236.           63139.\n",
      "    63413.           61891.           63343.           66113.        ]\n",
      " [  43155.67619048   42812.7047619    42469.73333333   42409.           42619.\n",
      "    40930.           39651.           40429.           41578.        ]\n",
      " [ 105655.93333333  106032.73333333  106409.53333333  108421.          109533.\n",
      "   104424.          105127.          105568.          113297.        ]\n",
      " [  80052.73333333   83008.93333333   85965.13333333   90107.           91859.\n",
      "    93308.           97400.          100249.          104948.        ]\n",
      " [  55775.20952381   55461.83809524   55148.46666667   55352.           55095.\n",
      "    53826.           52939.           51763.           55335.        ]\n",
      " [ 100047.27619048  102684.10476191  105320.93333333  112462.          108019.\n",
      "   111199.          113377.          117366.          124876.        ]\n",
      " [ 211634.47619048  210537.9047619   209441.33333333  210566.          210791.\n",
      "   197396.          205686.          203686.          205495.        ]\n",
      " [ 119254.76190476  119192.04761905  119129.33333333  117569.          115514.\n",
      "   121326.          124785.          121296.          112969.        ]\n",
      " [  32944.85714286   33553.42857143   34162.           34683.           35933.\n",
      "    36247.           35464.           36914.           38511.        ]\n",
      " [  24362.62857143   24735.51428571   25108.4          24757.           25878.\n",
      "    27258.           25663.           29280.           25645.        ]\n",
      " [  39713.61904762   40569.47619048   41425.33333333   44121.           43147.\n",
      "    42851.           42231.           45127.           49048.        ]\n",
      " [  45204.23809524   45940.95238095   46677.66666667   49456.           48223.\n",
      "    46863.           47620.           49949.           53426.        ]\n",
      " [ 119695.52380952  122277.0952381   124858.66666667  128623.          131751.\n",
      "   130133.          132820.          137077.          142961.        ]\n",
      " [  72923.45714286   73734.82857143   74546.2          76449.           75830.\n",
      "    77137.           75491.           78633.           80776.        ]\n",
      " [  89335.94285714   90310.77142857   91285.6          92836.           93449.\n",
      "    93398.           94927.           95379.           98196.        ]\n",
      " [ 131799.14285714  143810.57142857  155822.          191325.          171503.\n",
      "   169190.          197433.          212657.          245064.        ]\n",
      " [ 111645.20952381  114245.83809524  116846.46666667  122969.          118545.\n",
      "   124382.          126162.          129224.          134410.        ]\n",
      " [ 128547.46666667  128559.86666667  128572.26666667  128218.          128134.\n",
      "   126963.          132782.          128939.          126658.        ]\n",
      " [ 339648.91428571  328892.65714286  318136.39999999  312827.          292794.\n",
      "   284834.          277066.          251632.          263784.        ]\n",
      " [   9474.0952381     9666.38095238    9858.66666667    8829.           10742.\n",
      "    11939.           10560.           10560.           10560.        ]\n",
      " [ 130688.09523809  132529.38095238  134370.66666667  136183.          140654.\n",
      "   144437.          135984.          131195.          156438.        ]\n",
      " [ 306796.78095238  303261.12380952  299725.46666667  290547.          293380.\n",
      "   286634.          296809.          292359.          264375.        ]\n",
      " [  75943.28571429   82369.14285715   88795.          100568.          101683.\n",
      "   100179.          111936.          122849.          130498.        ]\n",
      " [ 104458.1047619   110864.41904762  117270.73333333  127112.          129025.\n",
      "   134782.          139654.          147968.          159616.        ]\n",
      " [  86303.45714286   87752.82857143   89202.2          90023.           89800.\n",
      "    95806.           97441.           97146.           95434.        ]\n",
      " [  93026.77142857   94739.08571429   96451.4          98408.          102435.\n",
      "    99086.          100937.          105790.          108011.        ]\n",
      " [ 234968.92380952  243827.6952381   252686.46666667  267716.          261745.\n",
      "   278435.          289114.          301261.          303882.        ]\n",
      " [ 187031.17142857  180841.68571429  174652.2         166478.          169712.\n",
      "   150860.          149419.          140495.          140970.        ]\n",
      " [ 100546.77142857  103628.08571428  106709.4         110806.          111882.\n",
      "   113225.          124459.          118336.          126256.        ]\n",
      " [ 131127.22857143  131405.91428571  131684.6         132392.          131243.\n",
      "   131251.          135833.          132672.          132569.        ]\n",
      " [ 100985.38095238  104311.52380952  107637.66666667  116721.          113208.\n",
      "   112339.          118181.          121164.          134062.        ]\n",
      " [  48593.96190476   48620.84761905   48647.73333333   48764.           50050.\n",
      "    48415.           47170.           47052.           51000.        ]\n",
      " [  56406.21904762   56491.87619048   56577.53333333   56726.           56334.\n",
      "    57723.           56911.           55704.           57866.        ]\n",
      " [  54727.26666667   54741.06666667   54754.86666667   54577.           55448.\n",
      "    54980.           54446.           53297.           56071.        ]\n",
      " [  44583.5047619    45122.01904762   45660.53333333   46700.           46795.\n",
      "    47036.           46978.           48012.           49751.        ]\n",
      " [  77202.15238095   77988.60952381   78775.06666667   78730.           81852.\n",
      "    81767.           80812.           81169.           84836.        ]\n",
      " [  66098.43809524   70190.75238095   74283.06666667   82358.           79034.\n",
      "    86342.           88564.           93397.          101942.        ]\n",
      " [ 219770.6952381   223806.78095238  227842.86666667  234341.          239791.\n",
      "   235272.          238528.          245165.          258718.        ]\n",
      " [  99136.19047619  101134.76190476  103133.33333333  108067.          109996.\n",
      "   103762.          106866.          111613.          120466.        ]\n",
      " [  61374.69523809   64752.78095238   68130.86666667   71173.           76544.\n",
      "    76783.           81474.           84858.           88893.        ]\n",
      " [  97785.66666667   99931.66666667  102077.66666667  107026.          105013.\n",
      "   106180.          110496.          111561.          117256.        ]\n",
      " [ 116750.98095238  116793.92380952  116836.86666667  121968.          114151.\n",
      "   115518.          113568.          113922.          122796.        ]\n",
      " [ 171426.8         170169.2         168911.6         166573.          168851.\n",
      "   164252.          161564.          165505.          160315.        ]\n",
      " [  45059.61904762   46310.47619048   47561.33333333   49124.           51132.\n",
      "    49928.           51886.           53496.           56070.        ]\n",
      " [  45642.56190476   46735.24761905   47827.93333333   49395.           49869.\n",
      "    51625.           51194.           51949.           55882.        ]\n",
      " [ 125502.85714286  127419.42857143  129336.          131582.          133205.\n",
      "   136336.          135627.          136128.          143386.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Smart-Cities houshold income per district.xlsx\",\"Los Angeles\")\n",
    "la = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((la.shape[0],9))\n",
    "dates = [2011, 2012, 2013, 2014, 2015, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,3:] = la\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(la.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, la[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_la = pd.DataFrame(regressed_income)\n",
    "df_la.to_excel(writer, sheet_name='Los Angeles')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Boston "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  95537.67619047  106623.7047619   117709.73333333  132855.          137309.\n",
      "   147001.          161404.          176335.          184161.        ]\n",
      " [ 184510.80952381  182025.23809524  179539.66666667  182023.          172048.\n",
      "   172402.          161980.          166627.          169961.        ]\n",
      " [ 187015.00952381  193692.03809524  200369.06666666  209314.          229872.\n",
      "   210201.          200902.          240767.          251376.        ]\n",
      " [ 114015.6952381   114708.78095238  115401.86666667  106767.          125095.\n",
      "   116941.          124212.          121824.          112127.        ]\n",
      " [  60624.66666667   66098.66666667   71572.66666667   75503.           85875.\n",
      "    86877.           94160.           95214.          106761.        ]\n",
      " [  98706.81904762  102761.27619048  106815.73333333  114871.          112411.\n",
      "   114567.          125328.          125786.          133075.        ]\n",
      " [  52884.67619048   54520.70476191   56156.73333333   61114.           56707.\n",
      "    58990.           63150.           63944.           67392.        ]\n",
      " [ 143059.28571428  145998.14285714  148937.          152887.          156021.\n",
      "   155577.          161052.          159561.          170240.        ]\n",
      " [  67079.15238095   73454.60952381   79830.06666667   89501.           89977.\n",
      "    95692.          106399.          113305.          117991.        ]\n",
      " [  42515.96190476   42974.84761905   43433.73333333   44720.           44289.\n",
      "    44032.           44767.           45181.           47250.        ]\n",
      " [  40587.62857143   42019.51428571   43451.4          43322.           45944.\n",
      "    48712.           52297.           50771.           49732.        ]\n",
      " [  49157.2          48236.8          47316.4          45847.           46829.\n",
      "    44382.           42615.           42605.           42292.        ]\n",
      " [  62682.2          63727.8          64773.4          66821.           67105.\n",
      "    65261.           70083.           69723.           71605.        ]\n",
      " [  54033.10476191   55725.41904762   57417.73333333   59067.           62633.\n",
      "    61785.           61015.           67245.           68300.        ]\n",
      " [  50928.06666667   52944.26666667   54960.46666667   58634.           57907.\n",
      "    61127.           61428.           63939.           69068.        ]\n",
      " [  54500.34285714   54940.37142857   55380.4          58283.           55513.\n",
      "    55896.           54785.           55382.           61664.        ]\n",
      " [  71066.05714286   75352.22857143   79638.4          83688.           88643.\n",
      "    92451.           97012.          100203.          105843.        ]\n",
      " [  52549.93333333   54403.73333333   56257.53333333   58291.           60581.\n",
      "    60847.           63425.           65576.           67755.        ]\n",
      " [ 112318.29523809  114191.18095238  116064.06666667  121125.          116627.\n",
      "   118807.          126187.          125584.          127385.        ]\n",
      " [  98491.67619048   98666.7047619    98841.73333333   98620.           98895.\n",
      "   101404.           98434.           98992.          100381.        ]\n",
      " [  62783.87619048   65929.5047619    69075.13333333   71835.           75690.\n",
      "    79283.           80972.           84496.           88233.        ]\n",
      " [  95984.52380952   97823.09523809   99661.66666667   99519.          105497.\n",
      "   106175.          107431.          106305.          111653.        ]\n",
      " [  42372.19047619   45003.76190476   47635.33333333   53114.           53581.\n",
      "    51925.           55095.           60776.           66584.        ]\n",
      " [  56892.26666667   58300.06666667   59707.86666667   64656.           62748.\n",
      "    60903.           60951.           66008.           72545.        ]\n",
      " [  68523.7047619    69341.81904762   70159.93333333   71192.           72391.\n",
      "    71567.           73379.           74050.           75561.        ]\n",
      " [ 124637.0952381   126022.38095238  127407.66666667  128202.          133053.\n",
      "   129935.          131534.          133505.          137308.        ]\n",
      " [  79161.93333333   83319.73333334   87477.53333334   90515.           98910.\n",
      "    98410.          102994.          108253.          113097.        ]\n",
      " [  71333.64761905   73802.59047619   76271.53333333   80575.           81616.\n",
      "    81031.           83994.           90066.           92195.        ]\n",
      " [  91167.09523809   99726.38095238  108285.66666667  119473.          126218.\n",
      "   134008.          136141.          147317.          166302.        ]\n",
      " [  69135.94285714   71725.77142857   74315.6          78697.           78979.\n",
      "    82236.           82010.           85249.           93109.        ]\n",
      " [  59027.77142857   61610.08571429   64192.4          66590.           69152.\n",
      "    72649.           74192.           77378.           79422.        ]\n",
      " [  51152.55238095   52664.20952381   54175.86666667   55540.           56264.\n",
      "    59319.           61809.           61215.           62653.        ]\n",
      " [  60475.53333333   61256.13333333   62036.73333333   62587.           63345.\n",
      "    65324.           65034.           65517.           66806.        ]\n",
      " [  84137.00952381   84155.03809524   84173.06666667   84036.           85255.\n",
      "    85205.           81853.           82706.           86362.        ]\n",
      " [  58237.55238095   58435.20952381   58632.86666667   57080.           61048.\n",
      "    60281.           59015.           57946.           60578.        ]\n",
      " [ 282043.61904762  269099.47619047  256155.33333333  235818.          233434.\n",
      "   215066.          217815.          195631.          167341.        ]\n",
      " [ 153571.75238095  156150.00952381  158728.26666667  169323.          158674.\n",
      "   164372.          165016.          166704.          182424.        ]\n",
      " [  43784.95238095   46484.80952381   49184.66666667   55014.           50660.\n",
      "    56006.           61631.           63275.           65219.        ]\n",
      " [ 197077.16190476  194781.64761905  192486.13333333  190619.          184495.\n",
      "   187585.          187076.          178967.          177969.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Smart-Cities houshold income per district.xlsx\",\"Boston\")\n",
    "boston = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((boston.shape[0],9))\n",
    "dates = [2011, 2012, 2013, 2014, 2015, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,3:] = boston\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(boston.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, boston[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_boston = pd.DataFrame(regressed_income)\n",
    "df_boston.to_excel(writer, sheet_name='Boston')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Washingotn DC"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  79308.53333334   83242.13333333   87175.73333334   92184.           96239.\n",
      "    97154.          100652.          106670.          112761.        ]\n",
      " [  70409.01904762   74365.07619048   78321.13333334   84492.           85236.\n",
      "    89223.           91707.           98792.          103554.        ]\n",
      " [ 125454.37142857  127600.48571428  129746.6         129909.          136227.\n",
      "   136596.          138368.          140336.          142112.        ]\n",
      " [ 193706.38095238  191557.52380952  189408.66666667  186006.          179696.\n",
      "   192705.          182809.          173373.          176737.        ]\n",
      " [  97244.87619048   99440.5047619   101636.13333333  104239.          103839.\n",
      "   111755.          108313.          112947.          114832.        ]\n",
      " [  37013.26666667   38407.06666667   39800.86666667   40570.           44237.\n",
      "    43698.           45690.           43524.           50356.        ]\n",
      " [ 154283.07619048  157666.30476191  161049.53333333  163878.          165709.\n",
      "   171318.          178639.          180698.          177103.        ]\n",
      " [ 124723.93333334  130394.73333333  136065.53333334  141667.          148239.\n",
      "   152431.          158131.          164615.          170397.        ]\n",
      " [  91187.6          95605.4         100023.2         104463.          107917.\n",
      "   113699.          119369.          121153.          126312.        ]\n",
      " [  72330.41904762   75370.67619048   78410.93333333   82059.           84026.\n",
      "    87963.           89674.           92937.           97652.        ]\n",
      " [  56135.63809524   60849.55238095   65563.46666667   72179.           74702.\n",
      "    77338.           83590.           89542.           95022.        ]\n",
      " [  93833.88571429   97781.54285714  101729.2         104565.          111404.\n",
      "   113190.          117155.          121785.          125177.        ]\n",
      " [ 175485.08571428  181159.34285714  186833.6         195409.          197381.\n",
      "   203167.          206671.          211691.          225842.        ]\n",
      " [ 170301.52380952  174637.0952381   178972.66666667  183591.          192855.\n",
      "   185768.          194015.          201626.          207028.        ]\n",
      " [  60088.11428571   63211.45714286   66334.8          72796.           72172.\n",
      "    72432.           76674.           81027.           88498.        ]\n",
      " [  60858.04761905   62938.19047619   65018.33333333   69028.           68768.\n",
      "    68877.           72309.           76619.           78192.        ]\n",
      " [  44757.26666667   45313.06666667   45868.86666667   45832.           48207.\n",
      "    46873.           48150.           48579.           49244.        ]\n",
      " [  45435.75238095   46132.00952381   46828.26666667   47497.           49218.\n",
      "    48190.           49224.           49418.           52044.        ]\n",
      " [  79306.72380952   81070.89523809   82835.06666667   82672.           87654.\n",
      "    88366.           92243.           90712.           92411.        ]\n",
      " [  38504.40952381   39756.63809524   41008.86666667   42595.           44134.\n",
      "    43962.           45444.           46676.           49539.        ]\n",
      " [  94124.03809524   96115.15238095   98106.26666667   98670.          109139.\n",
      "    97947.          104558.          108420.          111717.        ]\n",
      " [ 130872.17142857  130734.68571429  130597.2         122866.          131716.\n",
      "   134002.          136628.          137690.          117794.        ]\n",
      " [  34782.74285714   34085.97142857   33389.2          32147.           31981.\n",
      "    32691.           31647.           26425.           30812.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Smart-Cities houshold income per district.xlsx\",\"Washington D.C.\")\n",
    "washington = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((washington.shape[0],9))\n",
    "dates = [2011, 2012, 2013, 2014, 2015, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,3:] = washington\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(washington.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, washington[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_washington = pd.DataFrame(regressed_income)\n",
    "df_washington.to_excel(writer, sheet_name='Washington D.C.')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# San Francisco "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  33718.93333333   37182.73333333   40646.53333333   45260.           48334.\n",
      "    48910.           54084.           56397.           63634.        ]\n",
      " [  51127.77142857   56540.08571429   61952.4          69089.           73372.\n",
      "    77913.           77778.           90489.           96732.        ]\n",
      " [  28051.57142856   44975.28571428   61898.99999999   55996.           96572.\n",
      "   114709.          183221.          143978.          132316.        ]\n",
      " [ 138260.11428571  154606.45714286  170952.8         169743.          211655.\n",
      "   238101.          239576.          247624.          262291.        ]\n",
      " [ 137571.03809524  140160.15238095  142749.26666667  147923.          150750.\n",
      "   145343.          150643.          151928.          164280.        ]\n",
      " [  81377.41904762   81779.67619048   82181.93333333   80797.           84788.\n",
      "    85731.           79920.           86638.           83665.        ]\n",
      " [  77617.34285714   81592.37142857   85567.4          92963.           93415.\n",
      "    93651.           98555.          106099.          112197.        ]\n",
      " [  83756.03809524   90011.15238095   96266.26666667  104044.          106657.\n",
      "   116075.          120535.          126780.          134864.        ]\n",
      " [ 110774.82857143  116357.31428571  121939.8         123222.          137929.\n",
      "   140092.          144931.          146520.          156177.        ]\n",
      " [  79000.51428571   81222.05714286   83443.6          87805.           88251.\n",
      "    87852.           89891.           94041.           99474.        ]\n",
      " [ 123793.47619048  130708.9047619   137624.33333333  150471.          151865.\n",
      "   149989.          162941.          170741.          184963.        ]\n",
      " [ 100942.97142857  106401.88571429  111860.8         119445.          123781.\n",
      "   125156.          130880.          139397.          147143.        ]\n",
      " [  90897.16190476   96171.64761905  101446.13333333  107232.          111568.\n",
      "   116706.          122711.          128327.          132897.        ]\n",
      " [  87943.63809524   96291.55238095  104639.46666667  117486.          122381.\n",
      "   125203.          132201.          144804.          161068.        ]\n",
      " [ 112046.82857143  115099.31428571  118151.8         119769.          127332.\n",
      "   127530.          129860.          128631.          139891.        ]\n",
      " [  94977.47619048   96798.9047619    98620.33333333  103909.          100179.\n",
      "   103621.          103075.          105781.          113407.        ]\n",
      " [  81610.58095238   86528.32380952   91446.06666667  101669.           99387.\n",
      "   102840.          107270.          114859.          125924.        ]\n",
      " [ 137597.43809524  142048.75238095  146500.06666667  152747.          153773.\n",
      "   161865.          162400.          164075.          177618.        ]\n",
      " [  58810.79047619   60823.16190476   62835.53333333   65130.           66734.\n",
      "    69562.           69757.           72180.           75910.        ]\n",
      " [ 149142.88571428  152943.54285714  156744.2         167893.          162704.\n",
      "   162946.          165186.          174695.          186855.        ]\n",
      " [ 125252.53333333  138654.13333333  152055.73333333  176556.          178646.\n",
      "   183601.          199685.          202355.          252925.        ]\n",
      " [  59909.96190476   59908.84761905   59907.73333333   58494.           66509.\n",
      "    56934.           55520.           58229.           63737.        ]\n",
      " [ 104046.48571428  109365.94285714  114685.4         124357.          123938.\n",
      "   127710.          133206.          139383.          151227.        ]\n",
      " [  86832.65714286   87531.62857143   88230.6          90029.           89203.\n",
      "    88605.           90581.           93989.           91655.        ]\n",
      " [  75025.60952381   78249.43809524   81473.26666667   89116.           83652.\n",
      "    90242.           93326.           97367.          102837.        ]\n",
      " [  69914.67619048   71728.70476191   73542.73333333   76452.           77257.\n",
      "    77770.           78844.           84346.           84682.        ]\n",
      " [  81865.9047619    87307.61904762   92749.33333333   96700.           99614.\n",
      "   120081.          112612.          114277.          127488.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Smart-Cities houshold income per district.xlsx\",\"San Francisco\")\n",
    "sf = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((sf.shape[0],9))\n",
    "dates = [2011, 2012, 2013, 2014, 2015, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,3:] = sf\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(sf.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, sf[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_sf = pd.DataFrame(regressed_income)\n",
    "df_sf.to_excel(writer, sheet_name='San Francisco')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# London "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  30650.           30750.           32010.           33260.           34080.\n",
      "    35261.06060606   36331.86480186   37402.66899767   38473.47319347]\n",
      " [  50240.           50100.           51830.           53540.           54530.\n",
      "    56368.48484848   57853.37995338   59338.27505827   60823.17016317]\n",
      " [  40020.           40130.           41760.           43380.           44430.\n",
      "    45952.72727273   47331.60839161   48710.48951049   50089.37062937]\n",
      " [  36820.           36620.           37810.           38970.           39630.\n",
      "    40849.84848485   41844.56876457   42839.28904429   43834.00932401]\n",
      " [  49770.           49900.           51900.           53870.           55140.\n",
      "    57156.06060606   58884.17249417   60612.28438228   62340.3962704 ]\n",
      " [  62450.           62330.           64550.           66710.           67990.\n",
      "    70453.18181818   72388.28671329   74323.39160839   76258.4965035 ]\n",
      " [  89340.           89680.           93380.           97030.           99390.\n",
      "   103342.42424242  106610.36130536  109878.2983683   113146.23543123]\n",
      " [  41330.           41280.           42770.           44240.           45120.\n",
      "    46710.3030303    48001.63170163   49292.96037296   50584.28904429]\n",
      " [  42610.           42360.           43690.           44990.           45690.\n",
      "    47180.60606061   48320.95571096   49461.3053613    50601.65501165]\n",
      " [  38430.           38210.           39420.           40600.           41250.\n",
      "    42555.           43580.38461538   44605.76923077   45631.15384615]\n",
      " [  39290.           39580.           41370.           43150.           44370.\n",
      "    46018.18181818   47550.59440559   49083.00699301   50615.41958042]\n",
      " [  37380.           37770.           39580.           41400.           42690.\n",
      "    44297.57575758   45853.1002331    47408.62470862   48964.14918415]\n",
      " [  57220.           57250.           59430.           61580.           62910.\n",
      "    65234.39393939   67136.73659674   69039.07925408   70941.42191142]\n",
      " [  41600.           41640.           43250.           44850.           45860.\n",
      "    47453.18181818   48831.74825175   50210.31468531   51588.88111888]\n",
      " [  45330.           45160.           46680.           48190.           49060.\n",
      "    50640.90909091   51935.27972028   53229.65034965   54524.02097902]\n",
      " [  40230.           40290.           41860.           43430.           44430.\n",
      "    45906.96969697   47236.37529137   48565.78088578   49895.18648019]\n",
      " [  41300.           41200.           42660.           44090.           44950.\n",
      "    46440.45454545   47679.75524476   48919.05594406   50158.35664336]\n",
      " [  41420.           41190.           42500.           43790.           44490.\n",
      "    45930.90909091   47051.04895105   48171.18881119   49291.32867133]\n",
      " [  49920.           49970.           51890.           53780.           54950.\n",
      "    56979.39393939   58651.35198135   60323.31002331   61995.26806527]\n",
      " [ 104170.          104690.          109110.          113490.          116350.\n",
      "   121053.18181818  124974.82517483  128896.46853147  132818.11188811]\n",
      " [  52180.           52100.           53970.           55820.           56920.\n",
      "    58925.           60546.92307692   62168.84615385   63790.76923077]\n",
      " [  44160.           44200.           45890.           47570.           48610.\n",
      "    50383.33333333   51856.79487179   53330.25641026   54803.71794872]\n",
      " [  38990.           39130.           40730.           42320.           43360.\n",
      "    44934.39393939   46316.73659674   47699.07925408   49081.42191142]\n",
      " [  51990.           52020.           54000.           55950.           57160.\n",
      "    59239.6969697    60958.36829837   62677.03962704   64395.71095571]\n",
      " [  30000.           30310.           31760.           33220.           34260.\n",
      "    35505.45454545   36740.52447552   37975.59440559   39210.66433566]\n",
      " [  41580.           41520.           43010.           44490.           45380.\n",
      "    46882.57575758   48152.33100233   49422.08624709   50691.84149184]\n",
      " [  68890.           69140.           71990.           74800.           76610.\n",
      "    79596.81818182   82095.17482517   84593.53146853   87091.88811189]\n",
      " [  43090.           43260.           45060.           46840.           48000.\n",
      "    49780.90909091   51334.51048951   52888.11188811   54441.71328671]\n",
      " [  44360.           44470.           46250.           48020.           49170.\n",
      "    50905.75757576   52434.46386946   53963.17016317   55491.87645688]\n",
      " [  40730.           40970.           42760.           44530.           45720.\n",
      "    47405.60606061   48937.87878788   50470.15151515   52002.42424242]\n",
      " [  35710.           35770.           37180.           38570.           39460.\n",
      "    40839.6969697    42042.98368298   43246.27039627   44449.55710956]\n",
      " [  59950.           60060.           62410.           64740.           66220.\n",
      "    68640.45454545   70683.98601399   72727.51748252   74771.04895105]\n",
      " [  73710.           73710.           76450.           79140.           80760.\n",
      "    83866.51515151   86297.004662     88727.49417249   91157.98368298]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Smart-Cities houshold income per district.xlsx\",\"London\")\n",
    "london = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((london.shape[0],9))\n",
    "dates = [2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,:5] = london[:,7:]\n",
    "\n",
    "for pc in range(london.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, london[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,5] = poly_fit(2013)\n",
    "    regressed_income[pc,6] = poly_fit(2014)\n",
    "    regressed_income[pc,7] = poly_fit(2015)\n",
    "    regressed_income[pc,8] = poly_fit(2016)\n",
    "\n",
    "\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_london = pd.DataFrame(regressed_income)\n",
    "df_london.to_excel(writer, sheet_name='London')\n",
    "writer.save()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Non Smart Cities "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# San Antonio"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[ 108155.34285714  110243.37142857  112331.4         114004.          117583.\n",
      "   117654.          122393.          119952.          126251.        ]\n",
      " [ 104579.57142857  106129.28571429  107679.          105130.          111243.\n",
      "   117244.          115541.          115989.          113471.        ]\n",
      " [  66018.27619048   67754.1047619    69489.93333333   64451.           79430.\n",
      "    79880.           69978.           83532.           76121.        ]\n",
      " [  48307.15238095   48714.60952381   49122.06666667   51023.           49578.\n",
      "    48107.           50445.           52454.           51682.        ]\n",
      " [  66747.03809524   67613.15238095   68479.26666667   68239.           70987.\n",
      "    71266.           72491.           73580.           72501.        ]\n",
      " [  55317.32380952   55527.2952381    55737.26666667   56623.           58655.\n",
      "    52869.           54682.           57702.           58302.        ]\n",
      " [  63460.57142857   64239.28571429   65018.           65326.           67189.\n",
      "    66897.           69427.           67594.           70028.        ]\n",
      " [  79301.73333333   80262.93333333   81224.13333333   82208.           84895.\n",
      "    82827.           84006.           84891.           88703.        ]\n",
      " [  39656.27619048   40598.1047619    41539.93333333   41873.           44238.\n",
      "    44650.           44775.           46246.           47236.        ]\n",
      " [  31074.59047619   31945.36190476   32816.13333333   32654.           33362.\n",
      "    37807.           38538.           35504.           37318.        ]\n",
      " [  18451.93333333   21136.73333333   23821.53333333   27675.           28292.\n",
      "    31634.           32301.           40244.           39164.        ]\n",
      " [  34787.51428571   37835.05714286   40882.6          43595.           48749.\n",
      "    51861.           47809.           55731.           61549.        ]\n",
      " [  18230.2952381    21773.18095238   25316.06666667   27510.           27750.\n",
      "    42952.           42292.           41752.           44041.        ]\n",
      " [  29032.11428571   29529.45714286   30026.8          30919.           31104.\n",
      "    31040.           31743.           32192.           33607.        ]\n",
      " [  23174.33333333   24374.33333333   25574.33333333   27622.           26404.\n",
      "    28591.           32389.           31338.           32302.        ]\n",
      " [ 100772.67619048  102140.7047619   103508.73333333  106515.          107915.\n",
      "   104785.          106219.          109484.          114863.        ]\n",
      " [  40413.32380952   41053.2952381    41693.26666667   43149.           42907.\n",
      "    42514.           43787.           45309.           45933.        ]\n",
      " [  39760.58095238   39963.32380952   40166.06666667   39611.           40713.\n",
      "    41522.           41668.           40778.           40962.        ]\n",
      " [  58113.02857143   59952.11428571   61791.2          64202.           65447.\n",
      "    66481.           69452.           70091.           73695.        ]\n",
      " [  46927.52380952   48215.09523809   49502.66666667   50294.           51922.\n",
      "    54216.           55097.           55605.           56921.        ]\n",
      " [  35602.64761905   36330.59047619   37058.53333333   38206.           38500.\n",
      "    39047.           39397.           40391.           42097.        ]\n",
      " [  65554.97142857   66086.88571428   66618.8          73411.           65736.\n",
      "    57959.           73259.           67505.           73013.        ]\n",
      " [  54678.23809524   55971.95238095   57265.66666667   58939.           59343.\n",
      "    61168.           62447.           63800.           65065.        ]\n",
      " [  58392.58095238   58166.32380952   57940.06666667   58301.           58319.\n",
      "    56156.           55818.           56297.           57998.        ]\n",
      " [  50098.6          50319.4          50540.2          49767.           50977.\n",
      "    54019.           50279.           50473.           52363.        ]\n",
      " [  47737.02857143   47377.11428571   47017.2          46709.           45406.\n",
      "    46049.           46933.           45479.           43969.        ]\n",
      " [  35597.6952381    36141.78095238   36685.86666667   36642.           39010.\n",
      "    38671.           38763.           36542.           41913.        ]\n",
      " [  45638.68571429   45592.74285714   45546.8          45851.           45215.\n",
      "    44762.           46105.           44983.           45400.        ]\n",
      " [  47889.32380952   49370.2952381    50851.26666667   52535.           52744.\n",
      "    57863.           55985.           55393.           61688.        ]\n",
      " [  41433.56190476   42222.24761905   43010.93333333   43379.           45241.\n",
      "    45801.           45404.           46698.           48105.        ]\n",
      " [  44875.24761905   45910.99047619   46946.73333333   47646.           50447.\n",
      "    49063.           51023.           51199.           54053.        ]\n",
      " [  41730.78095238   41407.12380952   41083.46666667   39495.           41594.\n",
      "    41059.           39405.           39086.           39065.        ]\n",
      " [  32871.82857143   33316.31428571   33760.8          34954.           33703.\n",
      "    35377.           35644.           34968.           37253.        ]\n",
      " [  44612.82857143   44711.31428571   44809.8          46371.           44959.\n",
      "    43643.           44109.           44756.           47089.        ]\n",
      " [  37665.63809524   39000.55238095   40335.46666667   42378.           43355.\n",
      "    43721.           43975.           47331.           49286.        ]\n",
      " [  44812.71428571   45012.85714286   45213.           45986.           45028.\n",
      "    46209.           45441.           45649.           47168.        ]\n",
      " [  79354.58095238   79489.32380952   79624.06666667   82195.           79275.\n",
      "    78170.           78630.           79232.           83072.        ]\n",
      " [ 110514.32380952  109437.2952381   108360.26666667  104960.          110184.\n",
      "   105767.          100169.          104533.          101931.        ]\n",
      " [  83836.79047619   84586.16190476   85335.53333333   86349.           87172.\n",
      "    87987.           87120.           87627.           91495.        ]\n",
      " [  53321.04761905   54823.19047619   56325.33333333   59029.           58469.\n",
      "    59885.           62383.           64013.           65718.        ]\n",
      " [  73039.11428571   72233.45714286   71427.8          69182.           71342.\n",
      "    69212.           68135.           68035.           65742.        ]\n",
      " [  43875.45714286   48227.82857143   52580.2          64994.           57931.\n",
      "    59488.           68781.           68316.           87371.        ]\n",
      " [  41913.98095238   45091.92380952   48269.86666667   55249.           53244.\n",
      "    54265.           58914.           65432.           69252.        ]\n",
      " [  33110.46666667   33598.86666667   34087.26666667   33438.           35947.\n",
      "    36215.           36556.           35668.           36956.        ]\n",
      " [  42592.01904762   44835.07619048   47078.13333333   48437.           52484.\n",
      "    54110.           55577.           59074.           59891.        ]\n",
      " [  57072.78095238   58485.12380952   59897.46666667   61675.           62359.\n",
      "    63927.           66509.           65284.           69290.        ]\n",
      " [  54273.88571429   55301.54285714   56329.2          58117.           58029.\n",
      "    59216.           59569.           61419.           63206.        ]\n",
      " [  37462.75238095   38277.00952381   39091.26666667   39631.           41233.\n",
      "    41716.           41643.           43347.           44077.        ]\n",
      " [  53234.8          55229.2          57223.6          60379.           61381.\n",
      "    62598.           63691.           65563.           71612.        ]\n",
      " [  56426.78095238   57823.12380952   59219.46666667   59991.           63017.\n",
      "    63368.           64516.           66005.           67743.        ]\n",
      " [  72480.0952381    73527.38095238   74574.66666667   76551.           76810.\n",
      "    75937.           78738.           79993.           81412.        ]\n",
      " [ 147576.95238095  145418.80952381  143260.66666667  141648.          139572.\n",
      "   134862.          135807.          130647.          131707.        ]\n",
      " [  75532.04761905   75802.19047619   76072.33333333   74843.           76101.\n",
      "    79131.           79170.           76188.           76674.        ]\n",
      " [  63284.55238095   65020.20952381   66755.86666667   68293.           69438.\n",
      "    72503.           75389.           74582.           76779.        ]\n",
      " [  63435.00952381   65240.03809524   67045.06666667   68515.           71436.\n",
      "    71374.           75286.           75839.           77726.        ]\n",
      " [  47556.3047619    49006.21904762   50456.13333333   51527.           53922.\n",
      "    53751.           58074.           56865.           59046.        ]\n",
      " [  84417.73333333   86391.93333333   88366.13333333   90760.           90957.\n",
      "    94249.           98153.           97908.           99628.        ]\n",
      " [  74900.39047619   76514.56190476   78128.73333333   78776.           81729.\n",
      "    84238.           84955.           85007.           87965.        ]\n",
      " [ 140841.93333333  140854.73333333  140867.53333333  140586.          141745.\n",
      "   140383.          138298.          145806.          138656.        ]\n",
      " [  98559.63809524  100418.55238095  102277.46666667  105116.          105181.\n",
      "   108286.          109864.          108334.          115921.        ]\n",
      " [ 250095.46666666  239655.86666667  229216.26666667  222452.          212697.\n",
      "   198978.          173362.          166152.          182425.        ]\n",
      " [ 148022.08571429  145725.34285714  143428.6         140660.          141283.\n",
      "   134761.          132439.          133450.          129747.        ]\n",
      " [ 114974.18095238  113899.72380952  112825.26666667  112804.          111389.\n",
      "   107051.          108497.          107050.          107597.        ]\n",
      " [ 106718.45714286  109996.82857143  113275.2         120019.          117177.\n",
      "   122518.          123400.          130714.          134669.        ]\n",
      " [  93652.20952381   91731.83809524   89811.46666667   85681.           88464.\n",
      "    85548.           80325.           80404.           78119.        ]\n",
      " [  45071.6          46289.4          47507.2          50366.           50584.\n",
      "    48835.           50907.           52746.           57179.        ]\n",
      " [ 136750.89523809  135594.58095238  134438.26666667  131591.          136371.\n",
      "   129232.          127285.          130398.          127470.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Non-smart-cities household income per district.xlsx\",\"San Antonio\")\n",
    "sa = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((sa.shape[0],9))\n",
    "dates = [2011, 2012, 2013, 2014, 2015, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,3:] = sa\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(sa.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, sa[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "writer_ = pd.ExcelWriter('Cities Household Income per district/Regressed_NON_smart_city_household_income.xlsx', engine='xlsxwriter')\n",
    "df_sa = pd.DataFrame(regressed_income)\n",
    "df_sa.to_excel(writer_, sheet_name='San Antonio')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# San Diego "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  92568.15238095   95089.60952381   97611.06666667   97397.          104360.\n",
      "   107699.          109004.          106887.          113270.        ]\n",
      " [  68361.82857143   68571.31428571   68780.8          69106.           69127.\n",
      "    69945.           69240.           68691.           70975.        ]\n",
      " [  62519.27619048   62479.1047619    62438.93333333   62329.           63229.\n",
      "    61645.           62027.           61628.           62932.        ]\n",
      " [  98189.01904762   97117.07619048   96045.13333333   95461.           95348.\n",
      "    90535.           91474.           89909.           91033.        ]\n",
      " [ 108360.58095238  112042.32380952  115724.06666667  124175.          116769.\n",
      "   124499.          134696.          133882.          137640.        ]\n",
      " [  98841.34285714  100077.37142857  101313.4         104815.          103353.\n",
      "   103140.          105444.          105167.          111918.        ]\n",
      " [  54567.40952381   55163.63809524   55759.86666667   56052.           57072.\n",
      "    58025.           58582.           57479.           59870.        ]\n",
      " [  67833.36190476   68174.44761905   68515.53333333   68397.           70304.\n",
      "    68773.           70046.           70059.           70677.        ]\n",
      " [  58656.51428571   59506.05714286   60355.6          61733.           62909.\n",
      "    62150.           62071.           64175.           66936.        ]\n",
      " [  45681.84761905   46728.39047619   47774.93333333   48746.           50766.\n",
      "    49878.           51890.           53045.           54302.        ]\n",
      " [ 185780.32380952  185261.2952381   184742.26666667  189700.          178869.\n",
      "   186059.          175562.          179691.          187673.        ]\n",
      " [  61853.11428571   63374.45714286   64895.8          67665.           66214.\n",
      "    69826.           70850.           72325.           74443.        ]\n",
      " [  69897.59047619   69943.36190476   69989.13333333   73050.           69634.\n",
      "    67339.           68090.           69456.           73327.        ]\n",
      " [ 103009.80952381  102744.23809524  102478.66666667  104697.          104372.\n",
      "    99273.           94440.          100213.          106300.        ]\n",
      " [ 137286.48571429  140143.94285714  143001.4         147788.          148041.\n",
      "   151265.          153120.          153893.          163908.        ]\n",
      " [ 114505.27619048  115738.1047619   116970.93333333  120467.          118145.\n",
      "   118978.          121582.          122700.          125843.        ]\n",
      " [  90846.76190476   91439.04761905   92031.33333333   93151.           94395.\n",
      "    92537.           92982.           94290.           97271.        ]\n",
      " [ 250250.66666666  241425.66666666  232600.66666666  238524.          217291.\n",
      "   188011.          180604.          193110.          192739.        ]\n",
      " [  72882.43809524   74820.75238095   76759.06666667   78854.           80173.\n",
      "    82695.           85127.           85926.           88484.        ]\n",
      " [ 112771.36190476  116524.44761905  120277.53333334  124175.          126634.\n",
      "   128852.          140076.          141402.          139341.        ]\n",
      " [  79063.97142857   79826.88571429   80589.8          82597.           83711.\n",
      "    80033.           82901.           81819.           88499.        ]\n",
      " [  48517.17142857   49838.68571429   51160.2          52060.           53948.\n",
      "    55327.           57357.           56869.           59152.        ]\n",
      " [  75747.34285714   78444.37142857   81141.4          84678.           86944.\n",
      "    87516.           91871.           94061.           98416.        ]\n",
      " [  56274.21904762   58056.87619048   59839.53333333   63137.           63029.\n",
      "    64115.           66390.           67060.           72742.        ]\n",
      " [  42353.03809524   43187.15238095   44021.26666667   46013.           44846.\n",
      "    46026.           47349.           47288.           50122.        ]\n",
      " [ 112107.37142857  113760.48571429  115413.6         117124.          116984.\n",
      "   121459.          124368.          122394.          124868.        ]\n",
      " [  72088.58095238   74716.32380952   77344.06666667   80669.           82589.\n",
      "    83079.           89277.           90640.           92993.        ]\n",
      " [  68549.73333333   69655.93333333   70762.13333333   74449.           70925.\n",
      "    72768.           74443.           77014.           78204.        ]\n",
      " [  77703.66666667   79314.66666667   80925.66666667   81907.           84003.\n",
      "    85078.           91344.           86801.           90252.        ]\n",
      " [  74104.08571429   74611.34285714   75118.6          75662.           76150.\n",
      "    75938.           77981.           77847.           77786.        ]\n",
      " [  67360.13333333   68519.53333333   69678.93333333   72254.           70473.\n",
      "    73029.           73545.           76424.           76696.        ]\n",
      " [  36766.52380952   37374.0952381    37981.66666667   39509.           38620.\n",
      "    39087.           40649.           40406.           42378.        ]\n",
      " [  61371.52380952   62367.09523809   63362.66666667   64854.           65168.\n",
      "    66160.           67323.           67217.           70361.        ]\n",
      " [  53854.45714286   55100.82857143   56347.2          59116.           59163.\n",
      "    58359.           60008.           61506.           66105.        ]\n",
      " [  62163.93333333   64057.73333333   65951.53333333   70057.           67976.\n",
      "    70622.           73642.           74217.           78965.        ]\n",
      " [  73643.39047619   74976.56190476   76309.73333333   77903.           78898.\n",
      "    79836.           81762.           83168.           84288.        ]\n",
      " [ 108787.69523809  111270.78095238  113753.86666667  117549.          118691.\n",
      "   121335.          120886.          124930.          131277.        ]\n",
      " [  76120.83809524   77577.35238095   79033.86666667   81769.           83161.\n",
      "    81347.           83236.           84484.           90793.        ]\n",
      " [  92296.45714286   94249.82857143   96203.2         100536.          100383.\n",
      "    96966.          104153.          108000.          108202.        ]\n",
      " [ 111571.39047619  113210.56190476  114849.73333333  116142.          113244.\n",
      "   126930.          123536.          118569.          125100.        ]\n",
      " [  91701.92380952   91758.6952381    91815.46666667   94304.           90771.\n",
      "    89038.           91777.           93947.           92248.        ]\n",
      " [  77340.47619048   78515.90476191   79691.33333333   80273.           82249.\n",
      "    84182.           84960.           83683.           87485.        ]\n",
      " [  84970.85714286   87183.42857143   89396.           91012.           94152.\n",
      "    96866.           98875.           98364.          103571.        ]\n",
      " [  82763.94285714   85004.77142857   87245.6          90995.           90801.\n",
      "    92782.           96782.           97024.          102147.        ]\n",
      " [ 134909.67619048  137695.7047619   140481.73333333  142086.          146316.\n",
      "   149774.          152720.          154281.          156220.        ]\n",
      " [ 104458.64761905  104832.59047619  105206.53333333  106059.          106343.\n",
      "   106501.          105088.          105840.          109261.        ]\n",
      " [ 111726.77142857  113807.08571429  115887.4         119879.          119122.\n",
      "   120843.          123461.          125788.          129918.        ]\n",
      " [ 146347.83809524  149962.35238095  153576.86666667  157171.          160383.\n",
      "   164395.          171029.          167531.          176857.        ]\n",
      " [ 147474.40952381  147415.63809524  147356.86666667  146886.          148574.\n",
      "   147291.          144951.          147795.          147410.        ]\n",
      " [  73777.68571429   72969.74285714   72161.8          71075.           72102.\n",
      "    68926.           68146.           67296.           68459.        ]\n",
      " [ 237678.83809524  240692.35238095  243705.86666667  242052.          231289.\n",
      "   267694.          283786.          254991.          245707.        ]\n",
      " [  61345.9047619    62736.61904762   64127.33333333   65175.           67233.\n",
      "    68087.           70459.           70599.           72416.        ]\n",
      " [  47141.32380952   46947.2952381    46753.26666667   46789.           46731.\n",
      "    46345.           44968.           44668.           46944.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Non-smart-cities household income per district.xlsx\",\"San Diego\")\n",
    "sd = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((sd.shape[0],9))\n",
    "dates = [2011, 2012, 2013, 2014, 2015, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,3:] = sd\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(sd.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, sd[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_sd = pd.DataFrame(regressed_income)\n",
    "df_sd.to_excel(writer_, sheet_name='San Diego')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Austin"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  97674.08571429   96289.34285714   94904.6          92244.           93893.\n",
      "    91859.           88259.           86216.           87877.        ]\n",
      " [  87422.22857143   89743.91428571   92065.6          94727.           96870.\n",
      "    98380.          101651.          102686.          106835.        ]\n",
      " [  45084.16190476   46890.64761905   48697.13333333   52277.           52604.\n",
      "    52448.           53886.           56767.           62137.        ]\n",
      " [  69197.59047619   73116.36190476   77035.13333334   82530.           82987.\n",
      "    89275.           91976.           96309.          101428.        ]\n",
      " [ 107701.11428571  104625.45714286  101549.8          99362.           92762.\n",
      "    94319.           89718.           85348.           83201.        ]\n",
      " [  69969.27619048   69843.1047619    69716.93333333   70421.           68174.\n",
      "    68925.           70087.           69588.           68457.        ]\n",
      " [  78169.6952381    79637.78095238   81105.86666667   83578.           83398.\n",
      "    85606.           85772.           88127.           90984.        ]\n",
      " [  72964.5047619    73746.01904762   74527.53333333   76290.           75309.\n",
      "    76098.           78174.           77938.           79768.        ]\n",
      " [  91942.48571429   94327.94285714   96713.4         101085.          100025.\n",
      "   101567.          107304.          109358.          111036.        ]\n",
      " [  78763.63809524   89602.55238096  100441.46666667  108868.          121259.\n",
      "   140149.          142866.          150429.          166695.        ]\n",
      " [  33217.78095238   36899.12380952   40580.46666666   47403.           47409.\n",
      "    48717.           53125.           58502.           65635.        ]\n",
      " [ 125244.07619047  128952.3047619   132660.53333333  140888.          142284.\n",
      "   135751.          143822.          151223.          159868.        ]\n",
      " [  57778.72380952   60996.8952381    64215.06666667   69433.           70752.\n",
      "    71767.           74676.           81036.           85208.        ]\n",
      " [  23684.58095238   25320.32380952   26956.06666667   30280.           31019.\n",
      "    29022.           32104.           34842.           38820.        ]\n",
      " [  95078.92380952   97882.6952381   100686.46666667  106745.          104590.\n",
      "   105579.          112618.          114371.          119095.        ]\n",
      " [  93591.99047619   88609.96190476   83627.93333334   69720.           81198.\n",
      "    73530.           66821.           52424.           53452.        ]\n",
      " [  33125.19047619   35023.76190476   36922.33333333   38267.           40489.\n",
      "    42270.           46627.           46930.           46821.        ]\n",
      " [  49175.87619048   53731.5047619    58287.13333333   62434.           65158.\n",
      "    73344.           77582.           85756.           81117.        ]\n",
      " [  49052.11428571   50742.45714286   52432.8          54228.           55981.\n",
      "    58218.           58131.           59674.           63862.        ]\n",
      " [  41974.44761905   42964.79047619   43955.13333333   46423.           44863.\n",
      "    47727.           45832.           47577.           52106.        ]\n",
      " [  54479.75238095   55715.00952381   56950.26666667   58367.           58338.\n",
      "    59921.           64312.           63914.           62790.        ]\n",
      " [  82438.14285714   86066.57142857   89695.           99851.           93114.\n",
      "    98354.          100985.          103677.          118386.        ]\n",
      " [  70545.12380952   72437.4952381    74329.86666667   76390.           78820.\n",
      "    78990.           81643.           83695.           86181.        ]\n",
      " [  53817.07619048   55643.30476191   57469.53333333   60041.           60632.\n",
      "    62231.           64490.           67555.           68219.        ]\n",
      " [  67541.11428571   68992.45714286   70443.8          72701.           73727.\n",
      "    74745.           73790.           77226.           80952.        ]\n",
      " [ 163875.1047619   165458.41904762  167041.73333333  169666.          167186.\n",
      "   179900.          167461.          169346.          181941.        ]\n",
      " [ 105786.2         108676.8         111567.4         117235.          116918.\n",
      "   116969.          121517.          126894.          130574.        ]\n",
      " [ 133249.26666667  139126.06666667  145002.86666667  150972.          156396.\n",
      "   166154.          163291.          175243.          181374.        ]\n",
      " [ 151817.8952381   157972.58095238  164127.26666667  165397.          174608.\n",
      "   189847.          195884.          190597.          197679.        ]\n",
      " [  93336.85714286   98608.42857143  103880.          111719.          114576.\n",
      "   116993.          122500.          129827.          138368.        ]\n",
      " [ 118957.79047619  121104.16190476  123250.53333333  128727.          131420.\n",
      "   121770.          125232.          138792.          138636.        ]\n",
      " [  66658.0952381    74169.38095238   81680.66666667   94692.           92998.\n",
      "    97440.          114543.          121247.          126901.        ]\n",
      " [ 122950.40952381  126524.63809524  130098.86666667  133418.          134886.\n",
      "   143910.          143352.          151513.          148573.        ]\n",
      " [ 155900.42857143  155332.71428571  154765.          153139.          160155.\n",
      "   145416.          152199.          154644.          151115.        ]\n",
      " [ 138442.02857143  141152.11428571  143862.2         148166.          149595.\n",
      "   151090.          150796.          158714.          161724.        ]\n",
      " [  35002.6          36231.4          37460.2          38654.           39889.\n",
      "    41269.           42345.           43588.           44821.        ]\n",
      " [  29562.03809524   32208.15238095   34854.26666667   35635.           43011.\n",
      "    39175.           46777.           54130.           45966.        ]\n",
      " [  45978.2          47061.8          48145.4          47959.           50310.\n",
      "    52610.           53555.           54132.           53062.        ]\n",
      " [  53382.25714286   55151.02857143   56919.8          58638.           61171.\n",
      "    61734.           63577.           65474.           68069.        ]\n",
      " [ 174808.01904762  179083.07619048  183358.13333333  189499.          191587.\n",
      "   194211.          199178.          205167.          210283.        ]\n",
      " [  71959.00952381   72999.03809524   74039.06666667   77876.           73914.\n",
      "    76344.           77804.           77311.           82826.        ]\n",
      " [  76435.53333333   77280.13333333   78124.73333333   80262.           79036.\n",
      "    80018.           81337.           81250.           84582.        ]\n",
      " [  88404.34285714   90042.37142857   91680.4          94193.           93748.\n",
      "    96652.           97657.          101310.          100921.        ]\n",
      " [ 101900.82857143  102695.31428571  103489.8         107668.          104983.\n",
      "   104173.          101544.          106275.          112980.        ]\n",
      " [  42248.34285714   46144.37142857   50040.4          56529.           56088.\n",
      "    60199.           64973.           69427.           74843.        ]\n",
      " [  35930.62857143   37992.51428571   40054.4          43231.           43062.\n",
      "    45529.           48898.           50196.           52710.        ]\n",
      " [  43803.04761905   45348.19047619   46893.33333333   49441.           50322.\n",
      "    50374.           51346.           55173.           57152.        ]\n",
      " [  53157.85714286   55977.42857143   58797.           62874.           64988.\n",
      "    67120.           66422.           72114.           78475.        ]\n",
      " [  65862.32380952   70001.29523809   74140.26666667   81149.           81936.\n",
      "    82401.           91315.           93646.          101313.        ]\n",
      " [  56051.82857143   59810.31428572   63568.8          68469.           71894.\n",
      "    72972.           77171.           81900.           87935.        ]\n",
      " [  51226.30476191   52361.21904762   53496.13333333   53925.           55531.\n",
      "    58593.           58301.           58034.           60426.        ]\n",
      " [  84705.91428571   86676.65714286   88647.4          91008.           92629.\n",
      "    94056.           96585.           97793.          101199.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Non-smart-cities household income per district.xlsx\",\"Austin\")\n",
    "austin = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((austin.shape[0],9))\n",
    "dates = [2011, 2012, 2013, 2014, 2015, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,3:] = austin\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(austin.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, austin[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_austin = pd.DataFrame(regressed_income)\n",
    "df_austin.to_excel(writer_, sheet_name='Austin')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  72068.35238095   71685.40952381   71302.46666667   69177.           72608.\n",
      "    70403.           69884.           68840.           68861.        ]\n",
      " [  26634.35238095   27570.40952381   28506.46666667   32201.           32602.\n",
      "    26839.           28006.           32417.           38631.        ]\n",
      " [  51836.42857143   52407.71428571   52979.           59235.           50293.\n",
      "    51483.           52153.           58578.           58129.        ]\n",
      " [  54567.09523809   55352.38095238   56137.66666667   56708.           58065.\n",
      "    58066.           59509.           60534.           60435.        ]\n",
      " [  34056.67619048   34472.7047619    34888.73333333   35438.           36784.\n",
      "    35231.           35706.           36461.           38449.        ]\n",
      " [  68539.01904762   68096.07619048   67653.13333333   65701.           66215.\n",
      "    69575.           67265.           62674.           65187.        ]\n",
      " [  44553.16190476   44282.64761905   44012.13333333   44571.           43339.\n",
      "    42772.           41986.           42215.           43509.        ]\n",
      " [  33674.26666667   33300.06666667   32925.86666667   33513.           32175.\n",
      "    30771.           31014.           30185.           32039.        ]\n",
      " [  59340.21904762   59211.87619048   59083.53333333   60108.           58208.\n",
      "    57869.           57849.           59084.           58688.        ]\n",
      " [  57274.87619048   56104.5047619    54934.13333333   53471.           53402.\n",
      "    51089.           50493.           47833.           48739.        ]\n",
      " [  48214.66666667   49121.66666667   50028.66666667   48001.           49456.\n",
      "    58485.           56382.           56127.           50768.        ]\n",
      " [  59198.97142857   59272.88571429   59346.8          60132.           58467.\n",
      "    59406.           59919.           60205.           59504.        ]\n",
      " [  73666.36190476   73160.44761905   72654.53333333   73608.           70982.\n",
      "    71490.           67829.           70015.           71379.        ]\n",
      " [  58139.93333333   58632.73333333   59125.53333333   60170.           60079.\n",
      "    60308.           60520.           61001.           63024.        ]\n",
      " [  55030.40952381   54417.63809524   53804.86666667   54108.           52500.\n",
      "    50958.           50267.           51678.           50450.        ]\n",
      " [  57814.22857143   58705.91428571   59597.6          60902.           62240.\n",
      "    61888.           60920.           64199.           66162.        ]\n",
      " [  66316.26666667   67060.06666667   67803.86666667   67225.           69580.\n",
      "    71730.           71089.           71278.           71541.        ]\n",
      " [  65677.77142857   66801.08571429   67924.4          69795.           69018.\n",
      "    71085.           73744.           72392.           75102.        ]\n",
      " [ 111344.12380952  110031.4952381   108718.86666667  107806.          107210.\n",
      "   103256.          102217.          102769.          101490.        ]\n",
      " [  80014.12380952   80834.4952381    81654.86666667   87425.           81106.\n",
      "    80916.           82035.           85169.           90506.        ]\n",
      " [  78680.42857143   79034.71428571   79389.           80392.           80884.\n",
      "    79368.           79868.           79899.           83363.        ]\n",
      " [  81329.26666667   81512.06666667   81694.86666667   84126.           80966.\n",
      "    79566.           83548.           81533.           84269.        ]\n",
      " [  45985.68571429   47273.74285714   48561.8          48806.           51014.\n",
      "    53936.           54359.           54897.           55408.        ]\n",
      " [  62420.92380952   65697.6952381    68974.46666667   73343.           75976.\n",
      "    78161.           78165.           87872.           89142.        ]\n",
      " [  49129.11428571   50643.45714286   52157.8          56262.           52975.\n",
      "    55087.           59193.           58512.           62719.        ]\n",
      " [  55871.25714286   55919.02857143   55966.8          56471.           55837.\n",
      "    55803.           55861.           56340.           56492.        ]\n",
      " [  62334.2          62868.8          63403.4          63771.           64633.\n",
      "    65436.           64935.           66197.           66675.        ]\n",
      " [  69736.25714286   72549.02857143   75361.8          82955.           80508.\n",
      "    79550.           81995.           89427.           96804.        ]\n",
      " [  37349.13333333   36949.53333333   36549.93333333   36626.           36402.\n",
      "    34530.           33906.           34123.           35321.        ]\n",
      " [  77004.65714286   77040.62857143   77076.6          77233.           77992.\n",
      "    76081.           77683.           75666.           78560.        ]\n",
      " [  90256.15238095   87661.60952381   85067.06666667   81426.           78944.\n",
      "    79891.           76742.           69134.           69780.        ]\n",
      " [  75871.2          79277.8          82684.4          85494.           88986.\n",
      "    93796.           96301.          102093.          100975.        ]\n",
      " [  77397.35238095   82986.40952381   88575.46666667   92292.           97923.\n",
      "   109617.          111945.          118356.          118690.        ]\n",
      " [  62069.4952381    61302.98095238   60536.46666667   61047.           58794.\n",
      "    57684.           56110.           55536.           57951.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Non-smart-cities household income per district.xlsx\",\"Jacksonville\")\n",
    "jville = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((jville.shape[0],9))\n",
    "dates = [2011, 2012, 2013, 2014, 2015, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,3:] = jville\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(jville.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, jville[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_jville = pd.DataFrame(regressed_income)\n",
    "df_jville.to_excel(writer_, sheet_name='Jacksonville')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[ 31036.          30997.          30958.          30820.          31341.\n",
      "   30684.          30593.          30303.          31188.        ]\n",
      " [ 35226.17142857  38212.68571429  41199.2         42419.          49195.\n",
      "   46873.          58203.          56616.          56606.        ]\n",
      " [ 51458.05714286  53606.22857143  55754.4         56940.          58762.\n",
      "   65626.          64912.          65052.          68346.        ]\n",
      " [ 20821.71428571  21551.85714286  22282.          24411.          21431.\n",
      "   25017.          25776.          25403.          26987.        ]\n",
      " [ 52365.00952381  52042.03809524  51719.06666667  52812.          51984.\n",
      "   48406.          48640.          49988.          51702.        ]\n",
      " [ 26392.5047619   27293.01904762  28193.53333333  29686.          29779.\n",
      "   29741.          32975.          31702.          34189.        ]\n",
      " [ 33291.40952381  31407.63809524  29523.86666667  26800.          26180.\n",
      "   25068.          22433.          18136.          18967.        ]\n",
      " [ 15636.72380952  16062.8952381   16489.06666667  17554.          17076.\n",
      "   17503.          17884.          17901.          19966.        ]\n",
      " [ 29634.60952381  29218.43809524  28802.26666667  28761.          28359.\n",
      "   27228.          26926.          24691.          28109.        ]\n",
      " [ 53246.79047619  51657.16190476  50067.53333333  47538.          46902.\n",
      "   46675.          44869.          40315.          40724.        ]\n",
      " [ 38331.90476191  37687.61904762  37043.33333333  36163.          36010.\n",
      "   34821.          35134.          33514.          33088.        ]\n",
      " [ 29644.85714286  29467.42857143  29290.          29765.          28364.\n",
      "   28339.          28654.          28534.          28358.        ]\n",
      " [ 27405.28571429  26914.14285714  26423.          26206.          25374.\n",
      "   25691.          23785.          21986.          25182.        ]\n",
      " [ 27872.94285714  28079.77142857  28286.6         28703.          28792.\n",
      "   28424.          29058.          29467.          29619.        ]\n",
      " [ 22508.58095238  22253.32380952  21998.06666667  21732.          22024.\n",
      "   21134.          20096.          20687.          20955.        ]\n",
      " [ 58105.86666667  57751.46666667  57397.06666667  57225.          57120.\n",
      "   55574.          56032.          55161.          55828.        ]\n",
      " [ 77493.98095238  75116.92380952  72739.86666667  68063.          68727.\n",
      "   67642.          64543.          60666.          56880.        ]\n",
      " [ 50770.59047619  54240.36190476  57710.13333333  55388.          65420.\n",
      "   70797.          82266.          71551.          73704.        ]\n",
      " [ 20583.03809524  21067.15238095  21551.26666667  22157.          22247.\n",
      "   23256.          23187.          24298.          24329.        ]\n",
      " [ 15580.78095238  16478.12380952  17375.46666667  19132.          18673.\n",
      "   19458.          19928.          23457.          22449.        ]\n",
      " [ 82874.43809524  83476.75238095  84079.06666667  85068.          85279.\n",
      "   85758.          85477.          87583.          87958.        ]\n",
      " [ 67941.72380952  68603.8952381   69266.06666667  70315.          70767.\n",
      "   70710.          71142.          73110.          73458.        ]\n",
      " [ 35539.76190476  35577.04761905  35614.33333333  36147.          34739.\n",
      "   35958.          36237.          35481.          35907.        ]\n",
      " [ 38959.45714286  39528.82857143  40098.2         40607.          41011.\n",
      "   42008.          42783.          42732.          43405.        ]\n",
      " [ 56746.40952381  56378.63809524  56010.86666667  55281.          55649.\n",
      "   55085.          54354.          54327.          53646.        ]\n",
      " [ 30417.80952381  30786.23809524  31154.66666667  30606.          31887.\n",
      "   33473.          33203.          32812.          32684.        ]\n",
      " [ 38599.57142857  38227.28571429  37855.          36290.          37703.\n",
      "   37218.          37476.          35927.          34698.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Non-smart-cities household income per district.xlsx\",\"San Juan\")\n",
    "sj = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((sj.shape[0],9))\n",
    "dates = [2011, 2012, 2013, 2014, 2015, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,3:] = sj\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(sj.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, sj[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_sj = pd.DataFrame(regressed_income)\n",
    "df_sj.to_excel(writer_, sheet_name='San Juan')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  63706.63809524   67386.55238095   71066.46666667   70859.           74723.\n",
      "    90651.           91098.           87458.           88888.        ]\n",
      " [  86221.93333333   87396.73333333   88571.53333333   90158.           88259.\n",
      "    93439.           96534.           92480.           95230.        ]\n",
      " [  96670.33333333   99348.33333333  102026.33333333  103646.          111019.\n",
      "   108085.          111422.          114720.          119504.        ]\n",
      " [ 127155.03809524  128523.15238095  129891.26666667  129509.          133974.\n",
      "   134218.          137088.          135982.          137307.        ]\n",
      " [  79780.43809524   81661.75238095   83543.06666667   86144.           87212.\n",
      "    88866.           90296.           92234.           96014.        ]\n",
      " [ 103113.46666667  105568.86666667  108024.26666667  110750.          114251.\n",
      "   113106.          117987.          120257.          123358.        ]\n",
      " [ 137517.34285714  140701.37142857  143885.4         146218.          149134.\n",
      "   153686.          158363.          164312.          158464.        ]\n",
      " [ 132532.13333333  133719.53333333  134906.93333333  139627.          137283.\n",
      "   134202.          137170.          140950.          145145.        ]\n",
      " [  63467.26666667   64016.06666667   64564.86666667   65004.           65894.\n",
      "    66707.           66236.           66492.           68581.        ]\n",
      " [  78138.20952381   79161.83809524   80185.46666667   81142.           82744.\n",
      "    83098.           83788.           85053.           86784.        ]\n",
      " [ 139699.82857143  139261.31428571  138822.8         144168.          136275.\n",
      "   132489.          133934.          135719.          141143.        ]\n",
      " [  93390.8952381    94470.58095238   95550.26666667   98777.           95257.\n",
      "    99139.           98965.          100783.          103054.        ]\n",
      " [    472.01904762    7897.07619048   15322.13333333   26945.           29310.\n",
      "    37011.           35098.           56515.           62980.        ]\n",
      " [  68676.80952381   69800.23809524   70923.66666667   72754.           73510.\n",
      "    72853.           75244.           76318.           78455.        ]\n",
      " [  63591.48571429   64651.94285714   65712.4          66154.           68257.\n",
      "    68605.           71558.           70073.           71897.        ]\n",
      " [  69679.8952381    70367.58095238   71055.26666667   71545.           73007.\n",
      "    73094.           73140.           74583.           75404.        ]\n",
      " [  71001.           70427.           69853.           69097.           67823.\n",
      "    67809.           69736.           68029.           64570.        ]\n",
      " [  47103.6          49870.4          52637.2          55259.           56856.\n",
      "    62054.           63301.           69913.           66543.        ]\n",
      " [  81132.07619048   81529.3047619    81926.53333333   81991.           81991.\n",
      "    84228.           83763.           84672.           83256.        ]\n",
      " [  91473.48571429   92707.94285714   93942.4          94254.           97324.\n",
      "    97034.          100791.           99092.          101083.        ]\n",
      " [  26653.59047619   29040.36190476   31427.13333333   35506.           35529.\n",
      "    37377.           39596.           43975.           46702.        ]\n",
      " [  45233.66666667   47137.66666667   49041.66666667   51762.           52488.\n",
      "    53995.           56340.           58838.           60811.        ]\n",
      " [  23907.19047619   25024.76190476   26142.33333333   27943.           28639.\n",
      "    28232.           30740.           30803.           33966.        ]\n",
      " [  50329.76190476   50617.04761905   50904.33333333   51023.           52027.\n",
      "    51732.           51311.           52579.           52787.        ]\n",
      " [  32887.55238095   34241.20952381   35594.86666667   36909.           39167.\n",
      "    38896.           40318.           42764.           43942.        ]\n",
      " [  53639.43809524   56005.75238095   58372.06666667   59552.           63148.\n",
      "    67643.           67767.           69587.           72228.        ]\n",
      " [  41692.23809524   42604.95238095   43517.66666667   44069.           44172.\n",
      "    47959.           48479.           46842.           48752.        ]\n",
      " [  86706.2952381    86993.18095238   87280.06666667   88984.           87758.\n",
      "    87734.           86077.           87934.           91218.        ]\n",
      " [  23079.53333333   23078.13333333   23076.73333333   23280.           22346.\n",
      "    23532.           23889.           21944.           23440.        ]\n",
      " [  23234.26666667   24746.06666667   26257.86666667   28883.           29370.\n",
      "    29594.           30709.           34686.           36053.        ]\n",
      " [  56030.14285714   60502.57142857   64975.           71182.           74129.\n",
      "    75635.           82537.           86755.           93533.        ]\n",
      " [  55058.92380952   53738.6952381    52418.46666667   50767.           50690.\n",
      "    48916.           45964.           44798.           45651.        ]\n",
      " [  64901.61904762   67256.47619048   69611.33333333   73014.           73978.\n",
      "    76050.           78066.           81326.           84686.        ]\n",
      " [  49429.39047619   54027.56190476   58625.73333333   62655.           69785.\n",
      "    70142.           77705.           82071.           85958.        ]\n",
      " [  31574.05714286   32725.22857143   33876.4          36824.           35983.\n",
      "    35158.           37963.           38985.           42520.        ]\n",
      " [  42721.46666667   42857.86666667   42994.26666667   43087.           43896.\n",
      "    43203.           43270.           42520.           44854.        ]\n",
      " [  89115.36190476   90204.44761905   91293.53333333   94100.           93411.\n",
      "    91830.           96440.           95007.           99844.        ]\n",
      " [ 100010.73333333  102052.93333333  104095.13333333  107212.          109380.\n",
      "   107182.          111023.          115732.          116928.        ]\n",
      " [  21201.14285714   22986.57142857   24772.           27807.           27863.\n",
      "    28774.           31468.           34325.           35889.        ]\n",
      " [  38745.03809524   38721.15238095   38697.26666667   38998.           38856.\n",
      "    38485.           37915.           37924.           39504.        ]\n",
      " [  38852.15238095   39349.60952381   39847.06666667   40523.           40631.\n",
      "    41786.           41150.           42320.           43119.        ]\n",
      " [  43383.7047619    43513.81904762   43643.93333333   43538.           44208.\n",
      "    44272.           44298.           43279.           45001.        ]\n",
      " [  46354.82857143   47401.31428571   48447.8          50245.           50718.\n",
      "    50497.           52141.           53474.           55588.        ]\n",
      " [  45477.9047619    46043.61904762   46609.33333333   46965.           48093.\n",
      "    48152.           49218.           48851.           50257.        ]\n",
      " [  79627.08571429   80636.34285714   81645.6          83249.           83302.\n",
      "    83339.           86248.           88042.           86888.        ]\n",
      " [  48897.33333333   49979.33333333   51061.33333333   52536.           52603.\n",
      "    54554.           55426.           56184.           57787.        ]\n",
      " [  47879.72380952   47416.8952381    46954.06666667   46120.           46260.\n",
      "    46254.           44968.           43774.           44629.        ]\n",
      " [  80635.26666667   81494.06666667   82352.86666667   83370.           85468.\n",
      "    83763.           85471.           84398.           89682.        ]\n",
      " [  65859.19047619   66920.76190476   67982.33333333   74585.           65253.\n",
      "    71134.           68703.           72145.           78367.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Non-smart-cities household income per district.xlsx\",\"Columbus\")\n",
    "columbus = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((columbus.shape[0],9))\n",
    "dates = [2011, 2012, 2013, 2014, 2015, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,3:] = columbus\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(columbus.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, columbus[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_columbus = pd.DataFrame(regressed_income)\n",
    "df_columbus.to_excel(writer_, sheet_name='Columbus')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[ 141966.24761905  143935.99047619  145905.73333333  147436.          148767.\n",
      "   152673.          157082.          153096.          157745.        ]\n",
      " [  51961.64761905   51777.59047619   51593.53333333   51015.           51925.\n",
      "    51662.           50055.           49590.           51449.        ]\n",
      " [  65050.44761905   65896.79047619   66743.13333333   67441.           69391.\n",
      "    69079.           69037.           70689.           72595.        ]\n",
      " [  35812.4952381    35741.98095238   35671.46666667   36733.           35061.\n",
      "    34795.           34669.           34972.           36318.        ]\n",
      " [  59145.83809524   58454.35238095   57762.86666667   56387.           57594.\n",
      "    55224.           55178.           53902.           53771.        ]\n",
      " [  38437.79047619   38808.16190476   39178.53333333   40730.           40167.\n",
      "    38908.           39719.           40161.           43164.        ]\n",
      " [  67445.66666667   67280.66666667   67115.66666667   64416.           71497.\n",
      "    68590.           60556.           66010.           68160.        ]\n",
      " [  47545.7047619    49134.81904762   50723.93333333   53760.           53941.\n",
      "    52616.           57649.           58768.           60981.        ]\n",
      " [  49671.05714286   50352.22857143   51033.4          53563.           51858.\n",
      "    52028.           52518.           52975.           57563.        ]\n",
      " [  47693.19047619   48587.76190476   49482.33333333   50427.           51956.\n",
      "    51835.           52504.           53073.           55885.        ]\n",
      " [  71674.88571429   71566.54285714   71458.2          71582.           71461.\n",
      "    70495.           71314.           70214.           71408.        ]\n",
      " [  37054.45714286   36460.82857143   35867.2          36466.           34639.\n",
      "    33138.           32727.           31477.           34290.        ]\n",
      " [  52586.15238095   52255.60952381   51925.06666667   51272.           51387.\n",
      "    51077.           51061.           50046.           49766.        ]\n",
      " [  75908.62857143   77914.51428571   79920.4          84564.           83300.\n",
      "    84399.           85413.           88969.           95001.        ]\n",
      " [  55361.56190476   55357.24761905   55352.93333333   53395.           56177.\n",
      "    57374.           55760.           54818.           54503.        ]\n",
      " [  33348.06666667   33756.26666667   34164.46666667   34871.           34897.\n",
      "    35827.           34951.           35428.           37585.        ]\n",
      " [  41153.17142857   41252.68571429   41352.2          41769.           42077.\n",
      "    41207.           40919.           41154.           43077.        ]\n",
      " [  26478.7047619    28097.81904762   29716.93333333   33269.           32205.\n",
      "    32220.           36372.           37854.           40383.        ]\n",
      " [  48772.96190476   48110.84761905   47448.73333333   47571.           45624.\n",
      "    44975.           45191.           42899.           44528.        ]\n",
      " [  50290.94285714   50156.77142857   50022.6          50842.           49772.\n",
      "    49110.           48032.           48951.           50611.        ]\n",
      " [  80799.14285714   80260.57142857   79722.           81315.           77118.\n",
      "    78331.           76367.           74206.           79685.        ]\n",
      " [  49666.27619048   51557.1047619    53447.93333333   55925.           54296.\n",
      "    61729.           62482.           60938.           65025.        ]\n",
      " [  74113.18095238   73420.72380952   72728.26666667   71597.           72111.\n",
      "    72067.           68064.           67930.           70059.        ]\n",
      " [  72770.27619048   74186.1047619    75601.93333333   77156.           79865.\n",
      "    78180.           81574.           80655.           85914.        ]\n",
      " [  41938.34285714   42494.37142857   43050.4          43115.           44685.\n",
      "    44903.           45398.           45397.           46481.        ]\n",
      " [ 113346.21904762  111369.87619048  109393.53333333  111012.          103014.\n",
      "   102125.           99465.           99310.           99932.        ]\n",
      " [  66077.11428571   66566.45714286   67055.8          68698.           68154.\n",
      "    67490.           68225.           67938.           72106.        ]\n",
      " [  66228.7047619    67923.81904762   69618.93333333   69754.           74314.\n",
      "    75425.           76982.           77348.           79488.        ]\n",
      " [  75657.83809524   76557.35238095   77456.86666667   80930.           77896.\n",
      "    78568.           79634.           82130.           84473.        ]\n",
      " [  43592.83809524   43470.35238095   43347.86666667   42964.           43370.\n",
      "    42675.           43735.           42136.           42635.        ]\n",
      " [  77503.52380952   77770.0952381    78036.66666667   77399.           78281.\n",
      "    79612.           79704.           81517.           77305.        ]\n",
      " [  53294.4952381    53435.98095238   53577.46666667   54707.           53474.\n",
      "    53368.           53747.           53585.           55555.        ]\n",
      " [  96357.56190476   96335.24761905   96312.93333333   96702.           94927.\n",
      "    97150.           95887.           97471.           95272.        ]\n",
      " [ 107919.40952381  106392.63809524  104865.86666667  106338.           99660.\n",
      "    98943.           98431.           95530.           98231.        ]\n",
      " [  67224.51428571   67858.05714286   68491.6          70917.           70352.\n",
      "    68050.           69091.           71223.           74621.        ]\n",
      " [  51739.46666667   52635.86666667   53532.26666667   54803.           55635.\n",
      "    56280.           55702.           57559.           60039.        ]\n",
      " [ 166162.27619048  164415.1047619   162667.93333333  166226.          162389.\n",
      "   152729.          145628.          148739.          163606.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Non-smart-cities household income per district.xlsx\",\"Indianapolis\")\n",
    "indi = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((indi.shape[0],9))\n",
    "dates = [2011, 2012, 2013, 2014, 2015, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "regressed_income[:,3:] = indi\n",
    "\n",
    "# Calculate not known years(2008)\n",
    "for pc in range(indi.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, indi[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_indi = pd.DataFrame(regressed_income)\n",
    "df_indi.to_excel(writer_, sheet_name='Indianapolis')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  73470.8          76107.2          78743.6          90792.           84016.4\n",
      "    86652.8          89289.2          91925.6          89856.        ]\n",
      " [  85670.           89596.           93522.          103844.          101374.\n",
      "   105300.          109226.          113152.          113880.        ]\n",
      " [  70330.           72540.           74750.           83044.           79170.\n",
      "    81380.           83590.           85800.           84968.        ]\n",
      " [  87561.06666667   91960.26666667   96359.46666667  108212.\n",
      "   105157.86666667  109557.06666667  113956.26666667  118355.46666667\n",
      "   119028.        ]\n",
      " [  82706.           83616.           84526.           97136.           86346.\n",
      "    87256.           88166.           89076.           84136.        ]\n",
      " [  69166.93333333   73919.73333333   78672.53333333   84188.\n",
      "    88178.13333333   92930.93333333   97683.73333333  102436.53333333\n",
      "   106808.        ]\n",
      " [  63108.93333333   66639.73333333   70170.53333333   76700.\n",
      "    77232.13333333   80762.93333333   84293.73333333   87824.53333333\n",
      "    89856.        ]\n",
      " [  53008.8          56191.2          59373.6          64636.           65738.4\n",
      "    68920.8          72103.2          75285.6          77428.        ]\n",
      " [ 150231.46666667  142753.86666667  135276.26666667  152724.\n",
      "   120321.06666667  112843.46666667  105365.86666667   97888.26666667\n",
      "    77948.        ]\n",
      " [  71850.13333333   74460.53333333   77070.93333333   85228.\n",
      "    82291.73333333   84902.13333333   87512.53333333   90122.93333333\n",
      "    89960.        ]\n",
      " [  61486.53333333   62958.13333333   64429.73333333   68380.\n",
      "    67372.93333333   68844.53333333   70316.13333333   71787.73333333\n",
      "    72020.        ]\n",
      " [  71401.2          74432.8          77464.4          86788.           83527.6\n",
      "    86559.2          89590.8          92622.4          92508.        ]\n",
      " [  67950.13333333   70404.53333333   72858.93333333   77324.\n",
      "    77767.73333333   80222.13333333   82676.53333333   85130.93333333\n",
      "    86580.        ]\n",
      " [  61082.66666667   64098.66666667   67114.66666667   72800.\n",
      "    73146.66666667   76162.66666667   79178.66666667   82194.66666667\n",
      "    83876.        ]\n",
      " [  61564.53333333   64726.13333333   67887.73333333   70980.\n",
      "    74210.93333333   77372.53333333   80534.13333333   83695.73333333\n",
      "    86892.        ]\n",
      " [  66235.86666667   69735.46666667   73235.06666667   79144.\n",
      "    80234.26666667   83733.86666667   87233.46666667   90733.06666667\n",
      "    93028.        ]\n",
      " [  73299.2          77864.8          82430.4          91884.           91561.6\n",
      "    96127.2         100692.8         105258.4         107380.        ]\n",
      " [  92511.46666666   97045.86666667  101580.26666667  114920.\n",
      "   110649.06666667  115183.46666666  119717.86666667  124252.26666667\n",
      "   124384.        ]\n",
      " [  74226.53333333   78558.13333333   82889.73333333   93860.\n",
      "    91552.93333333   95884.53333333  100216.13333333  104547.73333333\n",
      "   105560.        ]\n",
      " [  64062.26666667   67073.06666667   70083.86666667   75816.\n",
      "    76105.46666667   79116.26666667   82127.06666667   85137.86666667\n",
      "    86788.        ]\n",
      " [  58153.33333333   60493.33333333   62833.33333333   66352.\n",
      "    67513.33333333   69853.33333333   72193.33333333   74533.33333333\n",
      "    76284.        ]\n",
      " [  65644.8          68307.2          70969.6          76648.           76294.4\n",
      "    78956.8          81619.2          84281.6          85436.        ]\n",
      " [  64648.13333333   67804.53333333   70960.93333333   76180.\n",
      "    77273.73333333   80430.13333333   83586.53333333   86742.93333333\n",
      "    88868.        ]\n",
      " [  75675.6          79154.4          82633.2          89388.           89590.8\n",
      "    93069.6          96548.4         100027.2         101868.        ]\n",
      " [  71430.66666667   75850.66666667   80270.66666667   87048.\n",
      "    89110.66666667   93530.66666667   97950.66666667  102370.66666667\n",
      "   105612.        ]\n",
      " [  61242.13333333   64476.53333333   67710.93333333   70876.\n",
      "    74179.73333333   77414.13333333   80648.53333333   83882.93333333\n",
      "    87152.        ]\n",
      " [  64062.26666667   66553.06666667   69043.86666667   73736.\n",
      "    74025.46666667   76516.26666667   79007.06666667   81497.86666667\n",
      "    82888.        ]\n",
      " [  60196.93333333   62479.73333333   64762.53333333   69108.\n",
      "    69328.13333333   71610.93333333   73893.73333333   76176.53333333\n",
      "    77428.        ]\n",
      " [  54369.46666667   56173.86666667   57978.26666667   54392.\n",
      "    61587.06666667   63391.46666667   65195.86666667   67000.26666667\n",
      "    71500.        ]\n",
      " [  71659.46666666   75517.86666667   79376.26666667   85904.\n",
      "    87093.06666667   90951.46666667   94809.86666667   98668.26666667\n",
      "   101192.        ]\n",
      " [  95144.4          98321.6         101498.8         111384.          107853.2\n",
      "   111030.4         114207.6         117384.8         117208.        ]\n",
      " [ 104818.13333333  107844.53333333  110870.93333333  122044.\n",
      "   116923.73333333  119950.13333333  122976.53333333  126002.93333333\n",
      "   124956.        ]\n",
      " [  59115.33333333   62365.33333333   65615.33333333   69784.\n",
      "    72115.33333333   75365.33333333   78615.33333333   81865.33333333\n",
      "    84656.        ]\n",
      " [  98267.86666667  102547.46666667  106827.06666667  117572.\n",
      "   115386.26666667  119665.86666667  123945.46666667  128225.06666667\n",
      "   129272.        ]\n",
      " [  83954.           87256.           90558.           96824.           97162.\n",
      "   100464.          103766.          107068.          108888.        ]\n",
      " [  53216.8          55099.2          56981.6          60320.           60746.4\n",
      "    62628.8          64511.2          66393.6          67548.        ]\n",
      " [  99054.8         103563.2         108071.6         118872.          117088.4\n",
      "   121596.8         126105.2         130613.6         131976.        ]\n",
      " [  88420.8          91603.2          94785.6         100776.          101150.4\n",
      "   104332.8         107515.2         110697.6         112476.        ]\n",
      " [  71437.6          75150.4          78863.2          87776.           86288.8\n",
      "    90001.6          93714.4          97427.2          98540.        ]\n",
      " [  68669.46666667   72293.86666667   75918.26666667   84136.\n",
      "    83167.06666667   86791.46666667   90415.86666667   94040.26666667\n",
      "    95368.        ]\n",
      " [  64239.06666667   67624.26666667   71009.46666667   77740.\n",
      "    77779.86666667   81165.06666667   84550.26666667   87935.46666667\n",
      "    89648.        ]\n",
      " [  78587.6          81546.4          84505.2          92508.           90422.8\n",
      "    93381.6          96340.4          99299.2          99736.        ]\n",
      " [  69381.86666667   72855.46666667   76329.06666667   84032.\n",
      "    83276.26666667   86749.86666667   90223.46666667   93697.06666667\n",
      "    95056.        ]\n",
      " [  50611.6          52114.4          53617.2          55692.           56622.8\n",
      "    58125.6          59628.4          61131.2          62348.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Non-smart-cities household income per district.xlsx\",\"Brisbane\")\n",
    "brisbane = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((brisbane.shape[0],9))\n",
    "dates = [2006, 2011, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "#2011\n",
    "regressed_income[:,3] = brisbane[:,1]\n",
    "#2016\n",
    "regressed_income[:,8] = brisbane[:,2]\n",
    "\n",
    "# Calculate not known years(2008-2010,2012-2015)\n",
    "for pc in range(brisbane.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, brisbane[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    #2009\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    #...\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "    regressed_income[pc,4] = poly_fit(2012)\n",
    "    regressed_income[pc,5] = poly_fit(2013)\n",
    "    regressed_income[pc,6] = poly_fit(2014)\n",
    "    regressed_income[pc,7] = poly_fit(2015)\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_brisbane = pd.DataFrame(regressed_income)\n",
    "df_brisbane.to_excel(writer_, sheet_name='Brisbane')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  64516.4          68629.6          72742.8          77844.           80969.2\n",
      "    85082.4          89195.6          93308.8          96928.        ]\n",
      " [  67762.93333333   71215.73333333   74668.53333333   88348.\n",
      "    81574.13333333   85026.93333333   88479.73333333   91932.53333333\n",
      "    90272.        ]\n",
      " [  71104.8          75067.2          79029.6          94328.           86954.4\n",
      "    90916.8          94879.2          98841.6          97136.        ]\n",
      " [  57463.46666666   61841.86666667   66220.26666667   72020.\n",
      "    74977.06666666   79355.46666666   83733.86666667   88112.26666667\n",
      "    91780.        ]\n",
      " [ 111288.66666667  115838.66666667  120388.66666667  130988.\n",
      "   129488.66666667  134038.66666667  138588.66666667  143138.66666667\n",
      "   144664.        ]\n",
      " [  79903.2          84208.8          88514.4          95836.           97125.6\n",
      "   101431.2         105736.8         110042.4         112840.        ]\n",
      " [  92022.66666666   96182.66666666  100342.66666666  115284.\n",
      "   108662.66666666  112822.66666666  116982.66666666  121142.66666666\n",
      "   119912.        ]\n",
      " [  78942.93333333   83591.73333333   88240.53333333  100204.\n",
      "    97538.13333333  102186.93333333  106835.73333333  111484.53333333\n",
      "   112476.        ]\n",
      " [  68804.66666667   72730.66666667   76656.66666667   91000.\n",
      "    84508.66666667   88434.66666667   92360.66666667   96286.66666667\n",
      "    95004.        ]\n",
      " [  83357.73333333   86898.93333333   90440.13333333   98228.\n",
      "    97522.53333333  101063.73333333  104604.93333333  108146.13333333\n",
      "   109564.        ]\n",
      " [  72952.53333333   77310.13333333   81667.73333333   91468.\n",
      "    90382.93333333   94740.53333333   99098.13333333  103455.73333333\n",
      "   105092.        ]\n",
      " [ 111898.8         117291.2         122683.6         133952.          133468.4\n",
      "   138860.8         144253.2         149645.6         152100.        ]\n",
      " [  65769.6          70418.4          75067.2          82108.           84364.8\n",
      "    89013.6          93662.4          98311.2         101764.        ]\n",
      " [  71163.73333333   76030.93333333   80898.13333333   90272.\n",
      "    90632.53333333   95499.73333333  100366.93333333  105234.13333333\n",
      "   107848.        ]\n",
      " [  70191.33333333   74169.33333333   78147.33333333   89180.\n",
      "    86103.33333333   90081.33333333   94059.33333333   98037.33333333\n",
      "    98488.        ]\n",
      " [  50252.8          53591.2          56929.6          63492.           63606.4\n",
      "    66944.8          70283.2          73621.6          75348.        ]\n",
      " [  64670.66666667   68414.66666667   72158.66666667   77428.\n",
      "    79646.66666667   83390.66666667   87134.66666667   90878.66666667\n",
      "    93860.        ]\n",
      " [  51533.73333333   54450.93333333   57368.13333333   62348.\n",
      "    63202.53333333   66119.73333333   69036.93333333   71954.13333333\n",
      "    73840.        ]\n",
      " [  57591.73333333   60482.93333333   63374.13333333   70564.\n",
      "    69156.53333333   72047.73333333   74938.93333333   77830.13333333\n",
      "    78572.        ]\n",
      " [  50656.66666667   54166.66666667   57676.66666667   67236.\n",
      "    64696.66666667   68206.66666667   71716.66666667   75226.66666667\n",
      "    75712.        ]\n",
      " [  62679.06666666   66116.26666666   69553.46666666   78728.\n",
      "    76427.86666666   79865.06666666   83302.26666666   86739.46666666\n",
      "    87308.        ]\n",
      " [  58687.2          62056.8          65426.4          72020.           72165.6\n",
      "    75535.2          78904.8          82274.4          84032.        ]\n",
      " [  50939.2          53476.8          56014.4          60736.           61089.6\n",
      "    63627.2          66164.8          68702.4          70148.        ]\n",
      " [  37405.33333333   39641.33333333   41877.33333333   45500.\n",
      "    46349.33333333   48585.33333333   50821.33333333   53057.33333333\n",
      "    54600.        ]\n",
      " [  63254.53333333   66338.13333333   69421.73333333   75504.\n",
      "    75588.93333333   78672.53333333   81756.13333333   84839.73333333\n",
      "    86424.        ]\n",
      " [  75127.86666666   78991.46666666   82855.06666666   95784.\n",
      "    90582.26666666   94445.86666666   98309.46666666  102173.06666666\n",
      "   101504.        ]\n",
      " [  77932.4          81889.6          85846.8          95264.           93761.2\n",
      "    97718.4         101675.6         105632.8         106860.        ]\n",
      " [  63115.86666667   66511.46666667   69907.06666667   74880.\n",
      "    76698.26666667   80093.86666667   83489.46666667   86885.06666667\n",
      "    89492.        ]\n",
      " [  64436.66666667   68154.66666667   71872.66666667   77272.\n",
      "    79308.66666667   83026.66666667   86744.66666667   90462.66666667\n",
      "    93340.        ]\n",
      " [  60242.           63544.           66846.           73424.           73450.\n",
      "    76752.           80054.           83356.           85020.        ]\n",
      " [  77074.4          81161.6          85248.8          95576.           93423.2\n",
      "    97510.4         101597.6         105684.8         106652.        ]\n",
      " [  79364.13333333   83820.53333333   88276.93333333   96772.\n",
      "    97189.73333333  101646.13333333  106102.53333333  110558.93333333\n",
      "   112996.        ]\n",
      " [  58118.66666667   61238.66666667   64358.66666667   72644.\n",
      "    70598.66666667   73718.66666667   76838.66666667   79958.66666667\n",
      "    80496.        ]\n",
      " [  53339.86666667   56579.46666667   59819.06666667   62140.\n",
      "    66298.26666667   69537.86666667   72777.46666667   76017.06666667\n",
      "    79716.        ]\n",
      " [  53908.4          56461.6          59014.8          62140.           64121.2\n",
      "    66674.4          69227.6          71780.8          74048.        ]\n",
      " [  81740.53333333   84486.13333333   87231.73333333   92716.\n",
      "    92722.93333333   95468.53333333   98214.13333333  100959.73333333\n",
      "   102336.        ]\n",
      " [  83525.86666667   86167.46666667   88809.06666667   97968.\n",
      "    94092.26666667   96733.86666667   99375.46666667  102017.06666667\n",
      "   101400.        ]\n",
      " [  84789.46666666   87633.86666667   90478.26666667   99684.\n",
      "    96167.06666667   99011.46666667  101855.86666667  104700.26666667\n",
      "   104364.        ]\n",
      " [  63195.6          65010.4          66825.2          73372.           70454.8\n",
      "    72269.6          74084.4          75899.2          75348.        ]\n",
      " [  55267.33333333   57321.33333333   59375.33333333   64220.\n",
      "    63483.33333333   65537.33333333   67591.33333333   69645.33333333\n",
      "    70304.        ]\n",
      " [  77599.6          81286.4          84973.2          96200.           92346.8\n",
      "    96033.6          99720.4         103407.2         103324.        ]\n",
      " [  68464.93333333   72099.73333333   75734.53333333   80600.\n",
      "    83004.13333333   86638.93333333   90273.73333333   93908.53333333\n",
      "    96928.        ]\n",
      " [  57591.73333333   59962.93333333   62334.13333333   66820.\n",
      "    67076.53333333   69447.73333333   71818.93333333   74190.13333333\n",
      "    75504.        ]\n",
      " [  48457.06666667   50360.26666667   52263.46666667   56836.\n",
      "    56069.86666667   57973.06666667   59876.26666667   61779.46666667\n",
      "    62348.        ]\n",
      " [  63899.33333333   66525.33333333   69151.33333333   75608.\n",
      "    74403.33333333   77029.33333333   79655.33333333   82281.33333333\n",
      "    82992.        ]\n",
      " [  55872.26666667   58649.06666667   61425.86666667   67600.\n",
      "    66979.46666667   69756.26666667   72533.06666667   75309.86666667\n",
      "    76388.        ]\n",
      " [  59942.13333333   62032.53333333   64122.93333333   67808.\n",
      "    68303.73333333   70394.13333333   72484.53333333   74574.93333333\n",
      "    75868.        ]\n",
      " [  67839.2          70324.8          72810.4          80704.           77781.6\n",
      "    80267.2          82752.8          85238.4          85020.        ]\n",
      " [  45168.93333333   47659.73333333   50150.53333333   57304.\n",
      "    55132.13333333   57622.93333333   60113.73333333   62604.53333333\n",
      "    62764.        ]\n",
      " [  60973.46666666   64545.86666667   68118.26666667   73476.\n",
      "    75263.06666667   78835.46666667   82407.86666667   85980.26666667\n",
      "    88660.        ]\n",
      " [  53958.66666667   56506.66666667   59054.66666667   63128.\n",
      "    64150.66666667   66698.66666667   69246.66666667   71794.66666667\n",
      "    73580.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Non-smart-cities household income per district.xlsx\",\"Perth\")\n",
    "perth = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((perth.shape[0],9))\n",
    "dates = [2006, 2011, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "#2011\n",
    "regressed_income[:,3] = perth[:,1]\n",
    "#2016\n",
    "regressed_income[:,8] = perth[:,2]\n",
    "\n",
    "# Calculate not known years(2008-2010,2012-2015)\n",
    "for pc in range(perth.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, perth[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    #2009\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    #...\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "    regressed_income[pc,4] = poly_fit(2012)\n",
    "    regressed_income[pc,5] = poly_fit(2013)\n",
    "    regressed_income[pc,6] = poly_fit(2014)\n",
    "    regressed_income[pc,7] = poly_fit(2015)\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_perth = pd.DataFrame(regressed_income)\n",
    "df_perth.to_excel(writer_, sheet_name='Perth')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[  47753.33333333   48793.33333333   49833.33333333   49348.\n",
      "    51913.33333333   52953.33333333   53993.33333333   55033.33333333\n",
      "    56836.        ]\n",
      " [  67326.13333333   70144.53333333   72962.93333333   79456.\n",
      "    78599.73333333   81418.13333333   84236.53333333   87054.93333333\n",
      "    88036.        ]\n",
      " [  48309.73333333   50602.93333333   52896.13333333   55484.\n",
      "    57482.53333333   59775.73333333   62068.93333333   64362.13333333\n",
      "    66508.        ]\n",
      " [  42993.6          45094.4          47195.2          50648.           51396.8\n",
      "    53497.6          55598.4          57699.2          59124.        ]\n",
      " [  65100.53333333   68054.13333333   71007.73333333   75452.\n",
      "    76914.93333333   79868.53333333   82822.13333333   85775.73333333\n",
      "    87984.        ]\n",
      " [  74233.46666667   77597.86666667   80962.26666667   85800.\n",
      "    87691.06666667   91055.46666667   94419.86666667   97784.26666667\n",
      "   100412.        ]\n",
      " [  63277.06666667   65700.26666667   68123.46666667   71656.\n",
      "    72969.86666667   75393.06666667   77816.26666667   80239.46666667\n",
      "    82108.        ]\n",
      " [  61403.33333333   63353.33333333   65303.33333333   65468.\n",
      "    69203.33333333   71153.33333333   73103.33333333   75053.33333333\n",
      "    77896.        ]\n",
      " [  61406.8          63679.2          65951.6          70356.           70496.4\n",
      "    72768.8          75041.2          77313.6          78520.        ]\n",
      " [  63946.13333333   66452.53333333   68958.93333333   73164.\n",
      "    73971.73333333   76478.13333333   78984.53333333   81490.93333333\n",
      "    83148.        ]\n",
      " [  66116.26666667   68737.06666667   71357.86666667   73944.\n",
      "    76599.46666667   79220.26666667   81841.06666667   84461.86666667\n",
      "    87100.        ]\n",
      " [  52960.26666667   55217.06666667   57473.86666667   60008.\n",
      "    61987.46666667   64244.26666667   66501.06666667   68757.86666667\n",
      "    70876.        ]\n",
      " [  61056.66666667   63682.66666667   66308.66666667   69680.\n",
      "    71560.66666667   74186.66666667   76812.66666667   79438.66666667\n",
      "    81692.        ]\n",
      " [  47451.73333333   49770.93333333   52090.13333333   54340.\n",
      "    56728.53333333   59047.73333333   61366.93333333   63686.13333333\n",
      "    66040.        ]\n",
      " [  41584.4          43617.6          45650.8          48048.           49717.2\n",
      "    51750.4          53783.6          55816.8          57668.        ]\n",
      " [  47292.26666667   49289.06666667   51285.86666667   54704.\n",
      "    55279.46666667   57276.26666667   59273.06666667   61269.86666667\n",
      "    62556.        ]\n",
      " [  50278.8          52499.2          54719.6          55328.           59160.4\n",
      "    61380.8          63601.2          65821.6          68848.        ]\n",
      " [  46976.8          49275.2          51573.6          53560.           56170.4\n",
      "    58468.8          60767.2          63065.6          65520.        ]\n",
      " [  57522.4          59997.6          62472.8          64844.           67423.2\n",
      "    69898.4          72373.6          74848.8          77376.        ]\n",
      " [  37869.86666667   39939.46666667   42009.06666667   43628.\n",
      "    46148.26666667   48217.86666667   50287.46666667   52357.06666667\n",
      "    54652.        ]\n",
      " [  53468.13333333   55480.53333333   57492.93333333   58760.\n",
      "    61517.73333333   63530.13333333   65542.53333333   67554.93333333\n",
      "    69940.        ]\n",
      " [  46215.86666667   48207.46666667   50199.06666667   51896.\n",
      "    54182.26666667   56173.86666667   58165.46666667   60157.06666667\n",
      "    62296.        ]\n",
      " [  52379.6          53674.4          54969.2          51012.           57558.8\n",
      "    58853.6          60148.4          61443.2          65364.        ]\n",
      " [  55260.4          57293.6          59326.8          62244.           63393.2\n",
      "    65426.4          67459.6          69492.8          71084.        ]\n",
      " [  43092.4          45385.6          47678.8          49920.           52265.2\n",
      "    54558.4          56851.6          59144.8          61464.        ]\n",
      " [  51720.93333333   54263.73333333   56806.53333333   57980.\n",
      "    61892.13333333   64434.93333333   66977.73333333   69520.53333333\n",
      "    72748.        ]\n",
      " [  42607.06666667   44744.26666667   46881.46666667   47892.\n",
      "    51155.86666667   53293.06666667   55430.26666667   57567.46666667\n",
      "    60268.        ]\n",
      " [  38414.13333333   40244.53333333   42074.93333333   44356.\n",
      "    45735.73333333   47566.13333333   49396.53333333   51226.93333333\n",
      "    52832.        ]\n",
      " [  44324.8          46155.2          47985.6          49816.           51646.4\n",
      "    53476.8          55307.2          57137.6          58968.        ]\n",
      " [  64369.06666667   67104.26666667   69839.46666667   74932.\n",
      "    75309.86666667   78045.06666667   80780.26666667   83515.46666667\n",
      "    85072.        ]\n",
      " [  67593.06666666   70640.26666666   73687.46666666   76700.\n",
      "    79781.86666667   82829.06666667   85876.26666666   88923.46666666\n",
      "    91988.        ]\n",
      " [  43934.8          46207.2          48479.6          50804.           53024.4\n",
      "    55296.8          57569.2          59841.6          62088.        ]\n",
      " [  75869.73333333   78006.93333333   80144.13333333   81120.\n",
      "    84418.53333333   86555.73333333   88692.93333333   90830.13333333\n",
      "    93548.        ]\n",
      " [  83035.33333333   86129.33333333   89223.33333333   92612.\n",
      "    95411.33333333   98505.33333333  101599.33333333  104693.33333333\n",
      "   107640.        ]\n",
      " [  55560.26666667   57401.06666667   59241.86666667   61360.\n",
      "    62923.46666667   64764.26666667   66605.06666667   68445.86666667\n",
      "    70148.        ]\n",
      " [  57974.8          59779.2          61583.6          63232.           65192.4\n",
      "    66996.8          68801.2          70605.6          72488.        ]\n",
      " [  50202.53333333   52194.13333333   54185.73333333   56680.\n",
      "    58168.93333333   60160.53333333   62152.13333333   64143.73333333\n",
      "    65884.        ]\n",
      " [  44832.66666667   46834.66666667   48836.66666667   50440.\n",
      "    52840.66666667   54842.66666667   56844.66666667   58846.66666667\n",
      "    61048.        ]\n",
      " [  42291.6          44314.4          46337.2          48412.           50382.8\n",
      "    52405.6          54428.4          56451.2          58448.        ]\n",
      " [  54402.4          55837.6          57272.8          58188.           60143.2\n",
      "    61578.4          63013.6          64448.8          66144.        ]\n",
      " [  43059.46666667   45305.86666667   47552.26666667   49244.\n",
      "    52045.06666667   54291.46666667   56537.86666667   58784.26666667\n",
      "    61308.        ]\n",
      " [  47236.8          49223.2          51209.6          53196.           55182.4\n",
      "    57168.8          59155.2          61141.6          63128.        ]\n",
      " [  45446.26666667   48145.06666667   50843.86666667   52832.\n",
      "    56241.46666667   58940.26666667   61639.06666667   64337.86666667\n",
      "    67392.        ]\n",
      " [  33396.13333333   35200.53333333   37004.93333333   39312.\n",
      "    40613.73333333   42418.13333333   44222.53333333   46026.93333333\n",
      "    47580.        ]\n",
      " [  38185.33333333   39849.33333333   41513.33333333   44876.\n",
      "    44841.33333333   46505.33333333   48169.33333333   49833.33333333\n",
      "    50648.        ]\n",
      " [  32981.86666667   35363.46666667   37745.06666667   43316.\n",
      "    42508.26666667   44889.86666667   47271.46666667   49653.06666667\n",
      "    50440.        ]\n",
      " [  49101.86666667   51587.46666667   54073.06666667   56628.\n",
      "    59044.26666667   61529.86666667   64015.46666667   66501.06666667\n",
      "    68952.        ]\n",
      " [  40924.           42900.           44876.           47476.           48828.\n",
      "    50804.           52780.           54756.           56420.        ]\n",
      " [  57768.53333333   58902.13333333   60035.73333333   60372.\n",
      "    62302.93333333   63436.53333333   64570.13333333   65703.73333333\n",
      "    67236.        ]\n",
      " [  62032.53333333   63998.13333333   65963.73333333   67652.\n",
      "    69894.93333333   71860.53333333   73826.13333333   75791.73333333\n",
      "    77896.        ]]\n"
     ]
    }
   ],
   "source": [
    "sheet = pd.read_excel(\"Cities Household Income per district/Non-smart-cities household income per district.xlsx\",\"Adelaine\")\n",
    "adel = sheet.as_matrix()\n",
    "\n",
    "regressed_income = np.zeros((adel.shape[0],9))\n",
    "dates = [2006, 2011, 2016]\n",
    "\n",
    "# Fill in what we already know \n",
    "#2011\n",
    "regressed_income[:,3] = adel[:,1]\n",
    "#2016\n",
    "regressed_income[:,8] = adel[:,2]\n",
    "\n",
    "# Calculate not known years(2008-2010,2012-2015)\n",
    "for pc in range(adel.shape[0]):\n",
    "    reg_fit = np.polyfit(dates, adel[pc,:], deg= 1)\n",
    "    poly_fit = np.poly1d(reg_fit)\n",
    "    \n",
    "    # Fill in the regressed incomes \n",
    "    # 2008\n",
    "    regressed_income[pc,0] = poly_fit(2008)\n",
    "    #2009\n",
    "    regressed_income[pc,1] = poly_fit(2009)\n",
    "    #...\n",
    "    regressed_income[pc,2] = poly_fit(2010)\n",
    "    regressed_income[pc,4] = poly_fit(2012)\n",
    "    regressed_income[pc,5] = poly_fit(2013)\n",
    "    regressed_income[pc,6] = poly_fit(2014)\n",
    "    regressed_income[pc,7] = poly_fit(2015)\n",
    "print(regressed_income)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_perth = pd.DataFrame(regressed_income)\n",
    "df_perth.to_excel(writer_, sheet_name='Adelaide')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "writer_.save()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}