notebooks/TCE-SP_Despesas_MySQL_Upload.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Objective\n",
    "\n",
    "The objective of this notebook is to read all `zip` files with expenses from a given year and add it to a table in a MySQL database. This would make it easier to perform later post-processing on the information, given the fact that the amount of information makes unfeasible to load everything on the RAM (information of a single year occupies around 10GB of RAM).\n",
    "\n",
    "The workflow is divided into a few steps:\n",
    "\n",
    "- Define utility functions that will be responsible for:\n",
    "  - Parsing expense document type identification.\n",
    "  - Read a single `zip` file, parsing it accordingly. This would convert information into the desired format and types, returning a Pandas DataFrame.\n",
    "  - Reads a complete year dataset, appending the information to a MySQL database.\n",
    "- Read the TCE-SP dataset for a given year and append it to a MySQL db.\n",
    "- Perform general checks on the database information, focusing on increasing knowledge on the information as well as memory/disk usage optimization.\n",
    "- Sample dataset entries in order to get familiar with the data, particularly the spending description.\n",
    "- Additional checks on value uniqueness for some columns (city information and spending id number).\n",
    "- Try-out to load data from TCE-SP database only for cities included in the IBGE database (obtained from another MySQL table). "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Defining utility functions\n",
    "\n",
    "Data from TCE-SP are encoded on `Western Europe (Windows-1252/WinLatin 1)`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "import seaborn as sns\n",
    "import os\n",
    "\n",
    "pd.set_option(\"display.max_columns\", None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Utility function that categorizes the type of document (CPF, CNPJ, Unidentified or not-categorized)\n",
    "def parse_tipo_identif(string):\n",
    "    str_tmp = string.split(' - ')[0]\n",
    "    options = {\n",
    "        'CNPJ': 'CNPJ',\n",
    "        'PESSOA FÍSICA': 'CPF',\n",
    "        'IDENTIFICAÇÃO ESPECIAL': 'SEM CPF/CNPJ',\n",
    "        'INSCRIÇÃO GENÉRICA-OUTROS': 'GENÉRICO',\n",
    "        'INSCRIÇÃO GENÉRICA-PRECATÓRIOS-OUTROS': 'PRECATÓRIOS'\n",
    "    }\n",
    "    return options.get(str_tmp, 'INVALID TYPE')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "''' Utility function that reads zipped spending file, returning DataFrame with\n",
    "    only \"commited\" spendings. Performs the following tranformations:\n",
    "    + Drops reference months (leaves only emission date)\n",
    "    + Drops spending type (always \"commited\" spending)\n",
    "    + Converts date format to Pandas format\n",
    "    + Drops rows with NaNs in 'identificador_despesa', 'ds_despesa', 'cd_acao', 'cd_programa', 'ds_acao'\n",
    "    +TODO (MODIFY AFTER DEBUG) Parses CNPJ and natural individual IDs\n",
    "    + Sorts entries according to date of expenditure\n",
    "    +DISABLED: Calculates the cumulative sum per year and per city\n",
    "    + Converts some columns from object to category or integer types\n",
    "    \n",
    "'''\n",
    "def read_spending(year, fname):\n",
    "    df = pd.read_csv('../not_tracked/'+str(year) + '/' + fname, compression='zip',\n",
    "                 delimiter=';', encoding='latin_1', decimal=',', dayfirst=True)\n",
    "    \n",
    "    # Drops reference months and spending type (leaves only \"commited\" spending type)\n",
    "    df.drop(df[df.tp_despesa != 'Empenhado'].index, inplace=True)\n",
    "    df.drop(['mes_referencia', 'mes_ref_extenso', 'tp_despesa'], axis=1, inplace=True)\n",
    "    \n",
    "    # Converts date format to Pandas format\n",
    "    df['dt_emissao_despesa'] = pd.to_datetime(df['dt_emissao_despesa'], format='%d/%m/%Y')\n",
    "    \n",
    "    # Drops rows with NaNs in 'identificador_despesa', 'ds_despesa', 'cd_acao', 'cd_programa', 'ds_acao'\n",
    "    df.dropna(subset=['identificador_despesa', 'ds_despesa', 'cd_acao',\n",
    "                      'cd_programa', 'ds_acao'], axis=0, inplace=True)\n",
    "    \n",
    "    # Parses CNPJ and CPF and drops original column\n",
    "    df['ds_cpf_cnpj'] = df['identificador_despesa'].apply(lambda x: x.split(' - ')[-1])\n",
    "    ###df['ds_tipo_identif'] = df['identificador_despesa'].apply(lambda x: x.split(' - ')[:-2])\n",
    "    df['ds_tipo_identif'] = df['identificador_despesa'].apply(parse_tipo_identif)\n",
    "    ### UNCOMMENT AFTER DEBUG ####df.drop('identificador_despesa', axis=1, inplace=True)\n",
    "    \n",
    "    # Sorts entries according to date of expenditure\n",
    "    df.sort_values(by='dt_emissao_despesa', inplace=True)\n",
    "    \n",
    "    # Calculates the cumulative sum per year and per city\n",
    "    #df['vl_acumulado'] = df['vl_despesa'].cumsum(axis=0)\n",
    "    \n",
    "    # Converts some columns from object to category or integer types\n",
    "    cat_columns = ['ds_municipio', 'ds_orgao', 'ds_funcao_governo', 'ds_subfuncao_governo', 'ds_programa',\n",
    "                   'ds_acao', 'ds_fonte_recurso', 'ds_modalidade_lic']\n",
    "    for col in cat_columns:\n",
    "        df[col] = df[col].astype('category')\n",
    "    \n",
    "    return df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "''' Utility function that reads a year of spending records and appends the result to a SQL table '''\n",
    "def read_spending_year_mysql(year, table, engine):\n",
    "    \n",
    "    # Define file list (only zip files that start with \"despesa\")\n",
    "    flist = os.listdir('../not_tracked/'+str(year)+'/')\n",
    "    flist_desp = [x for x in flist if x[0:7] == 'despesa' and x[-3:] == 'zip']\n",
    "    flist_desp = sorted(flist_desp)\n",
    "    \n",
    "    # Loads all cities\n",
    "    nfiles = len(flist_desp)\n",
    "\n",
    "    # Load each file and import to MySQL table\n",
    "    i = 1\n",
    "    for fname in flist_desp:\n",
    "        print('Importing file '+str(i)+'/'+str(nfiles)+': '+ fname)\n",
    "        df = read_spending(year, fname)\n",
    "        df.to_sql(table, con=engine, if_exists='append', index=False)\n",
    "        del df\n",
    "        i += 1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Reading files with expenses data\n",
    "\n",
    "This section appends the TCE-SP dataset into a MySQL database for a given year range. Loading each year may take about one hour and use up to 2GB of disk space."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Reading year 2008\n",
      "2019-01-20 10:32:54.497482\n",
      "Importing file 1/639: despesas-adamantina-2008.zip\n",
      "Importing file 2/639: despesas-adolfo-2008.zip\n",
      "Importing file 3/639: despesas-aguai-2008.zip\n",
      "Importing file 4/639: despesas-aguas-da-prata-2008.zip\n",
      "Importing file 5/639: despesas-aguas-de-lindoia-2008.zip\n",
      "Importing file 6/639: despesas-aguas-de-santa-barbara-2008.zip\n",
      "Importing file 7/639: despesas-aguas-de-sao-pedro-2008.zip\n",
      "Importing file 8/639: despesas-agudos-2008.zip\n",
      "Importing file 9/639: despesas-alambari-2008.zip\n",
      "Importing file 10/639: despesas-alfredo-marcondes-2008.zip\n",
      "Importing file 11/639: despesas-altair-2008.zip\n",
      "Importing file 12/639: despesas-altinopolis-2008.zip\n",
      "Importing file 13/639: despesas-alto-alegre-2008.zip\n",
      "Importing file 14/639: despesas-aluminio-2008.zip\n",
      "Importing file 15/639: despesas-alvares-florence-2008.zip\n",
      "Importing file 16/639: despesas-alvares-machado-2008.zip\n",
      "Importing file 17/639: despesas-alvaro-de-carvalho-2008.zip\n",
      "Importing file 18/639: despesas-alvinlandia-2008.zip\n",
      "Importing file 19/639: despesas-americana-2008.zip\n",
      "Importing file 20/639: despesas-americo-brasiliense-2008.zip\n",
      "Importing file 21/639: despesas-americo-de-campos-2008.zip\n",
      "Importing file 22/639: despesas-amparo-2008.zip\n",
      "Importing file 23/639: despesas-analandia-2008.zip\n",
      "Importing file 24/639: despesas-andradina-2008.zip\n",
      "Importing file 25/639: despesas-angatuba-2008.zip\n",
      "Importing file 26/639: despesas-anhembi-2008.zip\n",
      "Importing file 27/639: despesas-anhumas-2008.zip\n",
      "Importing file 28/639: despesas-aparecida-2008.zip\n",
      "Importing file 29/639: despesas-aparecida-d-oeste-2008.zip\n",
      "Importing file 30/639: despesas-apiai-2008.zip\n",
      "Importing file 31/639: despesas-aracariguama-2008.zip\n",
      "Importing file 32/639: despesas-aracatuba-2008.zip\n",
      "Importing file 33/639: despesas-aracoiaba-da-serra-2008.zip\n",
      "Importing file 34/639: despesas-aramina-2008.zip\n",
      "Importing file 35/639: despesas-arandu-2008.zip\n",
      "Importing file 36/639: despesas-arapei-2008.zip\n",
      "Importing file 37/639: despesas-araraquara-2008.zip\n",
      "Importing file 38/639: despesas-araras-2008.zip\n",
      "Importing file 39/639: despesas-arco-iris-2008.zip\n",
      "Importing file 40/639: despesas-arealva-2008.zip\n",
      "Importing file 41/639: despesas-areias-2008.zip\n",
      "Importing file 42/639: despesas-areiopolis-2008.zip\n",
      "Importing file 43/639: despesas-ariranha-2008.zip\n",
      "Importing file 44/639: despesas-artur-nogueira-2008.zip\n",
      "Importing file 45/639: despesas-aruja-2008.zip\n",
      "Importing file 46/639: despesas-aspasia-2008.zip\n",
      "Importing file 47/639: despesas-assis-2008.zip\n",
      "Importing file 48/639: despesas-atibaia-2008.zip\n",
      "Importing file 49/639: despesas-auriflama-2008.zip\n",
      "Importing file 50/639: despesas-avai-2008.zip\n",
      "Importing file 51/639: despesas-avanhandava-2008.zip\n",
      "Importing file 52/639: despesas-avare-2008.zip\n",
      "Importing file 53/639: despesas-bady-bassitt-2008.zip\n",
      "Importing file 54/639: despesas-balbinos-2008.zip\n",
      "Importing file 55/639: despesas-balsamo-2008.zip\n",
      "Importing file 56/639: despesas-bananal-2008.zip\n",
      "Importing file 57/639: despesas-barao-de-antonina-2008.zip\n",
      "Importing file 58/639: despesas-barbosa-2008.zip\n",
      "Importing file 59/639: despesas-bariri-2008.zip\n",
      "Importing file 60/639: despesas-barra-bonita-2008.zip\n",
      "Importing file 61/639: despesas-barra-do-chapeu-2008.zip\n",
      "Importing file 62/639: despesas-barra-do-turvo-2008.zip\n",
      "Importing file 63/639: despesas-barretos-2008.zip\n",
      "Importing file 64/639: despesas-barrinha-2008.zip\n",
      "Importing file 65/639: despesas-barueri-2008.zip\n",
      "Importing file 66/639: despesas-bastos-2008.zip\n",
      "Importing file 67/639: despesas-batatais-2008.zip\n",
      "Importing file 68/639: despesas-bauru-2008.zip\n",
      "Importing file 69/639: despesas-bebedouro-2008.zip\n",
      "Importing file 70/639: despesas-bento-de-abreu-2008.zip\n",
      "Importing file 71/639: despesas-bernardino-de-campos-2008.zip\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/doug/anaconda3/lib/python3.7/site-packages/IPython/core/interactiveshell.py:2961: DtypeWarning: Columns (22) have mixed types. Specify dtype option on import or set low_memory=False.\n",
      "  exec(code_obj, self.user_global_ns, self.user_ns)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Importing file 72/639: despesas-bertioga-2008.zip\n",
      "Importing file 73/639: despesas-bilac-2008.zip\n",
      "Importing file 74/639: despesas-birigui-2008.zip\n",
      "Importing file 75/639: despesas-biritiba-mirim-2008.zip\n",
      "Importing file 76/639: despesas-boa-esperanca-do-sul-2008.zip\n",
      "Importing file 77/639: despesas-bocaina-2008.zip\n",
      "Importing file 78/639: despesas-bofete-2008.zip\n",
      "Importing file 79/639: despesas-boituva-2008.zip\n",
      "Importing file 80/639: despesas-bom-jesus-dos-perdoes-2008.zip\n",
      "Importing file 81/639: despesas-bom-sucesso-de-itarare-2008.zip\n",
      "Importing file 82/639: despesas-bora-2008.zip\n",
      "Importing file 83/639: despesas-boraceia-2008.zip\n",
      "Importing file 84/639: despesas-borborema-2008.zip\n",
      "Importing file 85/639: despesas-borebi-2008.zip\n",
      "Importing file 86/639: despesas-botucatu-2008.zip\n",
      "Importing file 87/639: despesas-braganca-paulista-2008.zip\n",
      "Importing file 88/639: despesas-brauna-2008.zip\n",
      "Importing file 89/639: despesas-brejo-alegre-2008.zip\n",
      "Importing file 90/639: despesas-brodowski-2008.zip\n",
      "Importing file 91/639: despesas-brotas-2008.zip\n",
      "Importing file 92/639: despesas-buri-2008.zip\n",
      "Importing file 93/639: despesas-buritama-2008.zip\n",
      "Importing file 94/639: despesas-buritizal-2008.zip\n",
      "Importing file 95/639: despesas-cabralia-paulista-2008.zip\n",
      "Importing file 96/639: despesas-cabreuva-2008.zip\n",
      "Importing file 97/639: despesas-cacapava-2008.zip\n",
      "Importing file 98/639: despesas-cachoeira-paulista-2008.zip\n",
      "Importing file 99/639: despesas-caconde-2008.zip\n",
      "Importing file 100/639: despesas-cafelandia-2008.zip\n",
      "Importing file 101/639: despesas-caiabu-2008.zip\n",
      "Importing file 102/639: despesas-caieiras-2008.zip\n",
      "Importing file 103/639: despesas-caiua-2008.zip\n",
      "Importing file 104/639: despesas-cajamar-2008.zip\n",
      "Importing file 105/639: despesas-cajati-2008.zip\n",
      "Importing file 106/639: despesas-cajobi-2008.zip\n",
      "Importing file 107/639: despesas-cajuru-2008.zip\n",
      "Importing file 108/639: despesas-campina-do-monte-alegre-2008.zip\n",
      "Importing file 109/639: despesas-campinas-2008.zip\n",
      "Importing file 110/639: despesas-campo-limpo-paulista-2008.zip\n",
      "Importing file 111/639: despesas-campos-do-jordao-2008.zip\n",
      "Importing file 112/639: despesas-campos-novos-paulista-2008.zip\n",
      "Importing file 113/639: despesas-cananeia-2008.zip\n",
      "Importing file 114/639: despesas-canas-2008.zip\n",
      "Importing file 115/639: despesas-candido-mota-2008.zip\n",
      "Importing file 116/639: despesas-candido-rodrigues-2008.zip\n",
      "Importing file 117/639: despesas-canitar-2008.zip\n",
      "Importing file 118/639: despesas-capao-bonito-2008.zip\n",
      "Importing file 119/639: despesas-capela-do-alto-2008.zip\n",
      "Importing file 120/639: despesas-capivari-2008.zip\n",
      "Importing file 121/639: despesas-caraguatatuba-2008.zip\n",
      "Importing file 122/639: despesas-carapicuiba-2008.zip\n",
      "Importing file 123/639: despesas-cardoso-2008.zip\n",
      "Importing file 124/639: despesas-casa-branca-2008.zip\n",
      "Importing file 125/639: despesas-cassia-dos-coqueiros-2008.zip\n",
      "Importing file 126/639: despesas-castilho-2008.zip\n",
      "Importing file 127/639: despesas-catanduva-2008.zip\n",
      "Importing file 128/639: despesas-catigua-2008.zip\n",
      "Importing file 129/639: despesas-cedral-2008.zip\n",
      "Importing file 130/639: despesas-cerqueira-cesar-2008.zip\n",
      "Importing file 131/639: despesas-cerquilho-2008.zip\n",
      "Importing file 132/639: despesas-cesario-lange-2008.zip\n",
      "Importing file 133/639: despesas-charqueada-2008.zip\n",
      "Importing file 134/639: despesas-chavantes-2008.zip\n",
      "Importing file 135/639: despesas-clementina-2008.zip\n",
      "Importing file 136/639: despesas-colina-2008.zip\n",
      "Importing file 137/639: despesas-colombia-2008.zip\n",
      "Importing file 138/639: despesas-conchal-2008.zip\n",
      "Importing file 139/639: despesas-conchas-2008.zip\n",
      "Importing file 140/639: despesas-cordeiropolis-2008.zip\n",
      "Importing file 141/639: despesas-coroados-2008.zip\n",
      "Importing file 142/639: despesas-coronel-macedo-2008.zip\n",
      "Importing file 143/639: despesas-corumbatai-2008.zip\n",
      "Importing file 144/639: despesas-cosmopolis-2008.zip\n",
      "Importing file 145/639: despesas-cosmorama-2008.zip\n",
      "Importing file 146/639: despesas-cotia-2008.zip\n",
      "Importing file 147/639: despesas-cravinhos-2008.zip\n",
      "Importing file 148/639: despesas-cristais-paulista-2008.zip\n",
      "Importing file 149/639: despesas-cruzalia-2008.zip\n",
      "Importing file 150/639: despesas-cruzeiro-2008.zip\n",
      "Importing file 151/639: despesas-cubatao-2008.zip\n",
      "Importing file 152/639: despesas-cunha-2008.zip\n",
      "Importing file 153/639: despesas-descalvado-2008.zip\n",
      "Importing file 154/639: despesas-diadema-2008.zip\n",
      "Importing file 155/639: despesas-dirce-reis-2008.zip\n",
      "Importing file 156/639: despesas-divinolandia-2008.zip\n",
      "Importing file 157/639: despesas-dobrada-2008.zip\n",
      "Importing file 158/639: despesas-dois-corregos-2008.zip\n",
      "Importing file 159/639: despesas-dolcinopolis-2008.zip\n",
      "Importing file 160/639: despesas-dourado-2008.zip\n",
      "Importing file 161/639: despesas-dracena-2008.zip\n",
      "Importing file 162/639: despesas-duartina-2008.zip\n",
      "Importing file 163/639: despesas-dumont-2008.zip\n",
      "Importing file 164/639: despesas-echapora-2008.zip\n",
      "Importing file 165/639: despesas-eldorado-2008.zip\n",
      "Importing file 166/639: despesas-elias-fausto-2008.zip\n",
      "Importing file 167/639: despesas-elisiario-2008.zip\n",
      "Importing file 168/639: despesas-embauba-2008.zip\n",
      "Importing file 169/639: despesas-embu-das-artes-2008.zip\n",
      "Importing file 170/639: despesas-embu-guacu-2008.zip\n",
      "Importing file 171/639: despesas-emilianopolis-2008.zip\n",
      "Importing file 172/639: despesas-engenheiro-coelho-2008.zip\n",
      "Importing file 173/639: despesas-espirito-santo-do-pinhal-2008.zip\n",
      "Importing file 174/639: despesas-espirito-santo-do-turvo-2008.zip\n",
      "Importing file 175/639: despesas-estiva-gerbi-2008.zip\n",
      "Importing file 176/639: despesas-estrela-d-oeste-2008.zip\n",
      "Importing file 177/639: despesas-estrela-do-norte-2008.zip\n",
      "Importing file 178/639: despesas-euclides-da-cunha-paulista-2008.zip\n",
      "Importing file 179/639: despesas-fartura-2008.zip\n",
      "Importing file 180/639: despesas-fernando-prestes-2008.zip\n",
      "Importing file 181/639: despesas-fernandopolis-2008.zip\n",
      "Importing file 182/639: despesas-fernao-2008.zip\n",
      "Importing file 183/639: despesas-ferraz-de-vasconcelos-2008.zip\n",
      "Importing file 184/639: despesas-flora-rica-2008.zip\n",
      "Importing file 185/639: despesas-floreal-2008.zip\n",
      "Importing file 186/639: despesas-florida-paulista-2008.zip\n",
      "Importing file 187/639: despesas-florinia-2008.zip\n",
      "Importing file 188/639: despesas-franca-2008.zip\n",
      "Importing file 189/639: despesas-francisco-morato-2008.zip\n",
      "Importing file 190/639: despesas-franco-da-rocha-2008.zip\n",
      "Importing file 191/639: despesas-gabriel-monteiro-2008.zip\n",
      "Importing file 192/639: despesas-galia-2008.zip\n",
      "Importing file 193/639: despesas-garca-2008.zip\n",
      "Importing file 194/639: despesas-gastao-vidigal-2008.zip\n",
      "Importing file 195/639: despesas-gaviao-peixoto-2008.zip\n",
      "Importing file 196/639: despesas-general-salgado-2008.zip\n",
      "Importing file 197/639: despesas-getulina-2008.zip\n",
      "Importing file 198/639: despesas-glicerio-2008.zip\n",
      "Importing file 199/639: despesas-guaicara-2008.zip\n",
      "Importing file 200/639: despesas-guaimbe-2008.zip\n",
      "Importing file 201/639: despesas-guaira-2008.zip\n",
      "Importing file 202/639: despesas-guapiacu-2008.zip\n",
      "Importing file 203/639: despesas-guapiara-2008.zip\n",
      "Importing file 204/639: despesas-guara-2008.zip\n",
      "Importing file 205/639: despesas-guaracai-2008.zip\n",
      "Importing file 206/639: despesas-guaraci-2008.zip\n",
      "Importing file 207/639: despesas-guarani-d-oeste-2008.zip\n",
      "Importing file 208/639: despesas-guaranta-2008.zip\n",
      "Importing file 209/639: despesas-guararapes-2008.zip\n",
      "Importing file 210/639: despesas-guararema-2008.zip\n",
      "Importing file 211/639: despesas-guaratingueta-2008.zip\n",
      "Importing file 212/639: despesas-guarei-2008.zip\n",
      "Importing file 213/639: despesas-guariba-2008.zip\n",
      "Importing file 214/639: despesas-guaruja-2008.zip\n",
      "Importing file 215/639: despesas-guarulhos-2008.zip\n",
      "Importing file 216/639: despesas-guatapara-2008.zip\n",
      "Importing file 217/639: despesas-guzolandia-2008.zip\n",
      "Importing file 218/639: despesas-herculandia-2008.zip\n",
      "Importing file 219/639: despesas-holambra-2008.zip\n",
      "Importing file 220/639: despesas-hortolandia-2008.zip\n",
      "Importing file 221/639: despesas-iacanga-2008.zip\n",
      "Importing file 222/639: despesas-iacri-2008.zip\n",
      "Importing file 223/639: despesas-iaras-2008.zip\n",
      "Importing file 224/639: despesas-ibate-2008.zip\n",
      "Importing file 225/639: despesas-ibira-2008.zip\n",
      "Importing file 226/639: despesas-ibirarema-2008.zip\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Importing file 227/639: despesas-ibitinga-2008.zip\n",
      "Importing file 228/639: despesas-ibiuna-2008.zip\n",
      "Importing file 229/639: despesas-icem-2008.zip\n",
      "Importing file 230/639: despesas-iepe-2008.zip\n",
      "Importing file 231/639: despesas-igaracu-do-tiete-2008.zip\n",
      "Importing file 232/639: despesas-igarapava-2008.zip\n",
      "Importing file 233/639: despesas-igarata-2008.zip\n",
      "Importing file 234/639: despesas-iguape-2008.zip\n",
      "Importing file 235/639: despesas-ilha-comprida-2008.zip\n",
      "Importing file 236/639: despesas-ilha-solteira-2008.zip\n",
      "Importing file 237/639: despesas-ilhabela-2008.zip\n",
      "Importing file 238/639: despesas-indaiatuba-2008.zip\n",
      "Importing file 239/639: despesas-indiana-2008.zip\n",
      "Importing file 240/639: despesas-indiapora-2008.zip\n",
      "Importing file 241/639: despesas-inubia-paulista-2008.zip\n",
      "Importing file 242/639: despesas-ipaussu-2008.zip\n",
      "Importing file 243/639: despesas-ipero-2008.zip\n",
      "Importing file 244/639: despesas-ipeuna-2008.zip\n",
      "Importing file 245/639: despesas-ipigua-2008.zip\n",
      "Importing file 246/639: despesas-iporanga-2008.zip\n",
      "Importing file 247/639: despesas-ipua-2008.zip\n",
      "Importing file 248/639: despesas-iracemapolis-2008.zip\n",
      "Importing file 249/639: despesas-irapua-2008.zip\n",
      "Importing file 250/639: despesas-irapuru-2008.zip\n",
      "Importing file 251/639: despesas-itabera-2008.zip\n",
      "Importing file 252/639: despesas-itai-2008.zip\n",
      "Importing file 253/639: despesas-itajobi-2008.zip\n",
      "Importing file 254/639: despesas-itaju-2008.zip\n",
      "Importing file 255/639: despesas-itanhaem-2008.zip\n",
      "Importing file 256/639: despesas-itaoca-2008.zip\n",
      "Importing file 257/639: despesas-itapecerica-da-serra-2008.zip\n",
      "Importing file 258/639: despesas-itapetininga-2008.zip\n",
      "Importing file 259/639: despesas-itapeva-2008.zip\n",
      "Importing file 260/639: despesas-itapevi-2008.zip\n",
      "Importing file 261/639: despesas-itapira-2008.zip\n",
      "Importing file 262/639: despesas-itapirapua-paulista-2008.zip\n",
      "Importing file 263/639: despesas-itapolis-2008.zip\n",
      "Importing file 264/639: despesas-itaporanga-2008.zip\n",
      "Importing file 265/639: despesas-itapui-2008.zip\n",
      "Importing file 266/639: despesas-itapura-2008.zip\n",
      "Importing file 267/639: despesas-itaquaquecetuba-2008.zip\n",
      "Importing file 268/639: despesas-itarare-2008.zip\n",
      "Importing file 269/639: despesas-itariri-2008.zip\n",
      "Importing file 270/639: despesas-itatiba-2008.zip\n",
      "Importing file 271/639: despesas-itatinga-2008.zip\n",
      "Importing file 272/639: despesas-itirapina-2008.zip\n",
      "Importing file 273/639: despesas-itirapua-2008.zip\n",
      "Importing file 274/639: despesas-itobi-2008.zip\n",
      "Importing file 275/639: despesas-itu-2008.zip\n",
      "Importing file 276/639: despesas-itupeva-2008.zip\n",
      "Importing file 277/639: despesas-ituverava-2008.zip\n",
      "Importing file 278/639: despesas-jaborandi-2008.zip\n",
      "Importing file 279/639: despesas-jaboticabal-2008.zip\n",
      "Importing file 280/639: despesas-jacarei-2008.zip\n",
      "Importing file 281/639: despesas-jaci-2008.zip\n",
      "Importing file 282/639: despesas-jacupiranga-2008.zip\n",
      "Importing file 283/639: despesas-jaguariuna-2008.zip\n",
      "Importing file 284/639: despesas-jales-2008.zip\n",
      "Importing file 285/639: despesas-jambeiro-2008.zip\n",
      "Importing file 286/639: despesas-jandira-2008.zip\n",
      "Importing file 287/639: despesas-jardinopolis-2008.zip\n",
      "Importing file 288/639: despesas-jarinu-2008.zip\n",
      "Importing file 289/639: despesas-jau-2008.zip\n",
      "Importing file 290/639: despesas-jeriquara-2008.zip\n",
      "Importing file 291/639: despesas-joanopolis-2008.zip\n",
      "Importing file 292/639: despesas-joao-ramalho-2008.zip\n",
      "Importing file 293/639: despesas-jose-bonifacio-2008.zip\n",
      "Importing file 294/639: despesas-julio-mesquita-2008.zip\n",
      "Importing file 295/639: despesas-jumirim-2008.zip\n",
      "Importing file 296/639: despesas-jundiai-2008.zip\n",
      "Importing file 297/639: despesas-junqueiropolis-2008.zip\n",
      "Importing file 298/639: despesas-juquia-2008.zip\n",
      "Importing file 299/639: despesas-juquitiba-2008.zip\n",
      "Importing file 300/639: despesas-lagoinha-2008.zip\n",
      "Importing file 301/639: despesas-laranjal-paulista-2008.zip\n",
      "Importing file 302/639: despesas-lavinia-2008.zip\n",
      "Importing file 303/639: despesas-lavrinhas-2008.zip\n",
      "Importing file 304/639: despesas-leme-2008.zip\n",
      "Importing file 305/639: despesas-lencois-paulista-2008.zip\n",
      "Importing file 306/639: despesas-limeira-2008.zip\n",
      "Importing file 307/639: despesas-lindoia-2008.zip\n",
      "Importing file 308/639: despesas-lins-2008.zip\n",
      "Importing file 309/639: despesas-lorena-2008.zip\n",
      "Importing file 310/639: despesas-lourdes-2008.zip\n",
      "Importing file 311/639: despesas-louveira-2008.zip\n",
      "Importing file 312/639: despesas-lucelia-2008.zip\n",
      "Importing file 313/639: despesas-lucianopolis-2008.zip\n",
      "Importing file 314/639: despesas-luis-antonio-2008.zip\n",
      "Importing file 315/639: despesas-luiziania-2008.zip\n",
      "Importing file 316/639: despesas-lupercio-2008.zip\n",
      "Importing file 317/639: despesas-lutecia-2008.zip\n",
      "Importing file 318/639: despesas-macatuba-2008.zip\n",
      "Importing file 319/639: despesas-macaubal-2008.zip\n",
      "Importing file 320/639: despesas-macedonia-2008.zip\n",
      "Importing file 321/639: despesas-magda-2008.zip\n",
      "Importing file 322/639: despesas-mairinque-2008.zip\n",
      "Importing file 323/639: despesas-mairipora-2008.zip\n",
      "Importing file 324/639: despesas-manduri-2008.zip\n",
      "Importing file 325/639: despesas-maraba-paulista-2008.zip\n",
      "Importing file 326/639: despesas-maracai-2008.zip\n",
      "Importing file 327/639: despesas-marapoama-2008.zip\n",
      "Importing file 328/639: despesas-mariapolis-2008.zip\n",
      "Importing file 329/639: despesas-marilia-2008.zip\n",
      "Importing file 330/639: despesas-marinopolis-2008.zip\n",
      "Importing file 331/639: despesas-martinopolis-2008.zip\n",
      "Importing file 332/639: despesas-matao-2008.zip\n",
      "Importing file 333/639: despesas-maua-2008.zip\n",
      "Importing file 334/639: despesas-mendonca-2008.zip\n",
      "Importing file 335/639: despesas-meridiano-2008.zip\n",
      "Importing file 336/639: despesas-mesopolis-2008.zip\n",
      "Importing file 337/639: despesas-miguelopolis-2008.zip\n",
      "Importing file 338/639: despesas-mineiros-do-tiete-2008.zip\n",
      "Importing file 339/639: despesas-mira-estrela-2008.zip\n",
      "Importing file 340/639: despesas-miracatu-2008.zip\n",
      "Importing file 341/639: despesas-mirandopolis-2008.zip\n",
      "Importing file 342/639: despesas-mirante-do-paranapanema-2008.zip\n",
      "Importing file 343/639: despesas-mirassol-2008.zip\n",
      "Importing file 344/639: despesas-mirassolandia-2008.zip\n",
      "Importing file 345/639: despesas-mococa-2008.zip\n",
      "Importing file 346/639: despesas-mogi-das-cruzes-2008.zip\n",
      "Importing file 347/639: despesas-mogi-guacu-2008.zip\n",
      "Importing file 348/639: despesas-mogi-mirim-2008.zip\n",
      "Importing file 349/639: despesas-mombuca-2008.zip\n",
      "Importing file 350/639: despesas-moncoes-2008.zip\n",
      "Importing file 351/639: despesas-mongagua-2008.zip\n",
      "Importing file 352/639: despesas-monte-alegre-do-sul-2008.zip\n",
      "Importing file 353/639: despesas-monte-alto-2008.zip\n",
      "Importing file 354/639: despesas-monte-aprazivel-2008.zip\n",
      "Importing file 355/639: despesas-monte-azul-paulista-2008.zip\n",
      "Importing file 356/639: despesas-monte-castelo-2008.zip\n",
      "Importing file 357/639: despesas-monte-mor-2008.zip\n",
      "Importing file 358/639: despesas-monteiro-lobato-2008.zip\n",
      "Importing file 359/639: despesas-morro-agudo-2008.zip\n",
      "Importing file 360/639: despesas-morungaba-2008.zip\n",
      "Importing file 361/639: despesas-motuca-2008.zip\n",
      "Importing file 362/639: despesas-murutinga-do-sul-2008.zip\n",
      "Importing file 363/639: despesas-nantes-2008.zip\n",
      "Importing file 364/639: despesas-narandiba-2008.zip\n",
      "Importing file 365/639: despesas-natividade-da-serra-2008.zip\n",
      "Importing file 366/639: despesas-nazare-paulista-2008.zip\n",
      "Importing file 367/639: despesas-neves-paulista-2008.zip\n",
      "Importing file 368/639: despesas-nhandeara-2008.zip\n",
      "Importing file 369/639: despesas-nipoa-2008.zip\n",
      "Importing file 370/639: despesas-nova-alianca-2008.zip\n",
      "Importing file 371/639: despesas-nova-campina-2008.zip\n",
      "Importing file 372/639: despesas-nova-canaa-paulista-2008.zip\n",
      "Importing file 373/639: despesas-nova-castilho-2008.zip\n",
      "Importing file 374/639: despesas-nova-europa-2008.zip\n",
      "Importing file 375/639: despesas-nova-granada-2008.zip\n",
      "Importing file 376/639: despesas-nova-luzitania-2008.zip\n",
      "Importing file 377/639: despesas-nova-odessa-2008.zip\n",
      "Importing file 378/639: despesas-novais-2008.zip\n",
      "Importing file 379/639: despesas-novo-horizonte-2008.zip\n",
      "Importing file 380/639: despesas-nuporanga-2008.zip\n",
      "Importing file 381/639: despesas-ocaucu-2008.zip\n",
      "Importing file 382/639: despesas-oleo-2008.zip\n",
      "Importing file 383/639: despesas-olimpia-2008.zip\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Importing file 384/639: despesas-onda-verde-2008.zip\n",
      "Importing file 385/639: despesas-oriente-2008.zip\n",
      "Importing file 386/639: despesas-orindiuva-2008.zip\n",
      "Importing file 387/639: despesas-orlandia-2008.zip\n",
      "Importing file 388/639: despesas-osasco-2008.zip\n",
      "Importing file 389/639: despesas-oscar-bressane-2008.zip\n",
      "Importing file 390/639: despesas-osvaldo-cruz-2008.zip\n",
      "Importing file 391/639: despesas-ourinhos-2008.zip\n",
      "Importing file 392/639: despesas-ouroeste-2008.zip\n",
      "Importing file 393/639: despesas-pacaembu-2008.zip\n",
      "Importing file 394/639: despesas-palestina-2008.zip\n",
      "Importing file 395/639: despesas-palmares-paulista-2008.zip\n",
      "Importing file 396/639: despesas-palmeira-d-oeste-2008.zip\n",
      "Importing file 397/639: despesas-palmital-2008.zip\n",
      "Importing file 398/639: despesas-panorama-2008.zip\n",
      "Importing file 399/639: despesas-paraguacu-paulista-2008.zip\n",
      "Importing file 400/639: despesas-paraibuna-2008.zip\n",
      "Importing file 401/639: despesas-paraiso-2008.zip\n",
      "Importing file 402/639: despesas-paranapanema-2008.zip\n",
      "Importing file 403/639: despesas-paranapua-2008.zip\n",
      "Importing file 404/639: despesas-parapua-2008.zip\n",
      "Importing file 405/639: despesas-pardinho-2008.zip\n",
      "Importing file 406/639: despesas-pariquera-acu-2008.zip\n",
      "Importing file 407/639: despesas-parisi-2008.zip\n",
      "Importing file 408/639: despesas-patrocinio-paulista-2008.zip\n",
      "Importing file 409/639: despesas-pauliceia-2008.zip\n",
      "Importing file 410/639: despesas-paulinia-2008.zip\n",
      "Importing file 411/639: despesas-paulistania-2008.zip\n",
      "Importing file 412/639: despesas-paulo-de-faria-2008.zip\n",
      "Importing file 413/639: despesas-pederneiras-2008.zip\n",
      "Importing file 414/639: despesas-pedra-bela-2008.zip\n",
      "Importing file 415/639: despesas-pedranopolis-2008.zip\n",
      "Importing file 416/639: despesas-pedregulho-2008.zip\n",
      "Importing file 417/639: despesas-pedreira-2008.zip\n",
      "Importing file 418/639: despesas-pedrinhas-paulista-2008.zip\n",
      "Importing file 419/639: despesas-pedro-de-toledo-2008.zip\n",
      "Importing file 420/639: despesas-penapolis-2008.zip\n",
      "Importing file 421/639: despesas-pereira-barreto-2008.zip\n",
      "Importing file 422/639: despesas-pereiras-2008.zip\n",
      "Importing file 423/639: despesas-peruibe-2008.zip\n",
      "Importing file 424/639: despesas-piacatu-2008.zip\n",
      "Importing file 425/639: despesas-piedade-2008.zip\n",
      "Importing file 426/639: despesas-pilar-do-sul-2008.zip\n",
      "Importing file 427/639: despesas-pindamonhangaba-2008.zip\n",
      "Importing file 428/639: despesas-pindorama-2008.zip\n",
      "Importing file 429/639: despesas-pinhalzinho-2008.zip\n",
      "Importing file 430/639: despesas-piquerobi-2008.zip\n",
      "Importing file 431/639: despesas-piquete-2008.zip\n",
      "Importing file 432/639: despesas-piracaia-2008.zip\n",
      "Importing file 433/639: despesas-piracicaba-2008.zip\n",
      "Importing file 434/639: despesas-piraju-2008.zip\n",
      "Importing file 435/639: despesas-pirajui-2008.zip\n",
      "Importing file 436/639: despesas-pirangi-2008.zip\n",
      "Importing file 437/639: despesas-pirapora-do-bom-jesus-2008.zip\n",
      "Importing file 438/639: despesas-pirapozinho-2008.zip\n",
      "Importing file 439/639: despesas-pirassununga-2008.zip\n",
      "Importing file 440/639: despesas-piratininga-2008.zip\n",
      "Importing file 441/639: despesas-pitangueiras-2008.zip\n",
      "Importing file 442/639: despesas-planalto-2008.zip\n",
      "Importing file 443/639: despesas-platina-2008.zip\n",
      "Importing file 444/639: despesas-poa-2008.zip\n",
      "Importing file 445/639: despesas-poloni-2008.zip\n",
      "Importing file 446/639: despesas-pompeia-2008.zip\n",
      "Importing file 447/639: despesas-pongai-2008.zip\n",
      "Importing file 448/639: despesas-pontal-2008.zip\n",
      "Importing file 449/639: despesas-pontalinda-2008.zip\n",
      "Importing file 450/639: despesas-pontes-gestal-2008.zip\n",
      "Importing file 451/639: despesas-populina-2008.zip\n",
      "Importing file 452/639: despesas-porangaba-2008.zip\n",
      "Importing file 453/639: despesas-porto-feliz-2008.zip\n",
      "Importing file 454/639: despesas-porto-ferreira-2008.zip\n",
      "Importing file 455/639: despesas-potim-2008.zip\n",
      "Importing file 456/639: despesas-potirendaba-2008.zip\n",
      "Importing file 457/639: despesas-pracinha-2008.zip\n",
      "Importing file 458/639: despesas-pradopolis-2008.zip\n",
      "Importing file 459/639: despesas-praia-grande-2008.zip\n",
      "Importing file 460/639: despesas-pratania-2008.zip\n",
      "Importing file 461/639: despesas-presidente-alves-2008.zip\n",
      "Importing file 462/639: despesas-presidente-bernardes-2008.zip\n",
      "Importing file 463/639: despesas-presidente-epitacio-2008.zip\n",
      "Importing file 464/639: despesas-presidente-prudente-2008.zip\n",
      "Importing file 465/639: despesas-presidente-venceslau-2008.zip\n",
      "Importing file 466/639: despesas-promissao-2008.zip\n",
      "Importing file 467/639: despesas-quadra-2008.zip\n",
      "Importing file 468/639: despesas-quata-2008.zip\n",
      "Importing file 469/639: despesas-queiroz-2008.zip\n",
      "Importing file 470/639: despesas-queluz-2008.zip\n",
      "Importing file 471/639: despesas-quintana-2008.zip\n",
      "Importing file 472/639: despesas-rafard-2008.zip\n",
      "Importing file 473/639: despesas-rancharia-2008.zip\n",
      "Importing file 474/639: despesas-redencao-da-serra-2008.zip\n",
      "Importing file 475/639: despesas-regente-feijo-2008.zip\n",
      "Importing file 476/639: despesas-reginopolis-2008.zip\n",
      "Importing file 477/639: despesas-registro-2008.zip\n",
      "Importing file 478/639: despesas-restinga-2008.zip\n",
      "Importing file 479/639: despesas-ribeira-2008.zip\n",
      "Importing file 480/639: despesas-ribeirao-bonito-2008.zip\n",
      "Importing file 481/639: despesas-ribeirao-corrente-2008.zip\n",
      "Importing file 482/639: despesas-ribeirao-do-sul-2008.zip\n",
      "Importing file 483/639: despesas-ribeirao-dos-indios-2008.zip\n",
      "Importing file 484/639: despesas-ribeirao-grande-2008.zip\n",
      "Importing file 485/639: despesas-ribeirao-pires-2008.zip\n",
      "Importing file 486/639: despesas-ribeirao-preto-2008.zip\n",
      "Importing file 487/639: despesas-rifaina-2008.zip\n",
      "Importing file 488/639: despesas-rincao-2008.zip\n",
      "Importing file 489/639: despesas-rinopolis-2008.zip\n",
      "Importing file 490/639: despesas-rio-claro-2008.zip\n",
      "Importing file 491/639: despesas-rio-das-pedras-2008.zip\n",
      "Importing file 492/639: despesas-rio-grande-da-serra-2008.zip\n",
      "Importing file 493/639: despesas-riolandia-2008.zip\n",
      "Importing file 494/639: despesas-riversul-2008.zip\n",
      "Importing file 495/639: despesas-rosana-2008.zip\n",
      "Importing file 496/639: despesas-roseira-2008.zip\n",
      "Importing file 497/639: despesas-rubiacea-2008.zip\n",
      "Importing file 498/639: despesas-rubineia-2008.zip\n",
      "Importing file 499/639: despesas-sabino-2008.zip\n",
      "Importing file 500/639: despesas-sagres-2008.zip\n",
      "Importing file 501/639: despesas-sales-2008.zip\n",
      "Importing file 502/639: despesas-sales-oliveira-2008.zip\n",
      "Importing file 503/639: despesas-salesopolis-2008.zip\n",
      "Importing file 504/639: despesas-salmourao-2008.zip\n",
      "Importing file 505/639: despesas-saltinho-2008.zip\n",
      "Importing file 506/639: despesas-salto-2008.zip\n",
      "Importing file 507/639: despesas-salto-de-pirapora-2008.zip\n",
      "Importing file 508/639: despesas-salto-grande-2008.zip\n",
      "Importing file 509/639: despesas-sandovalina-2008.zip\n",
      "Importing file 510/639: despesas-santa-adelia-2008.zip\n",
      "Importing file 511/639: despesas-santa-albertina-2008.zip\n",
      "Importing file 512/639: despesas-santa-barbara-d-oeste-2008.zip\n",
      "Importing file 513/639: despesas-santa-branca-2008.zip\n",
      "Importing file 514/639: despesas-santa-clara-d-oeste-2008.zip\n",
      "Importing file 515/639: despesas-santa-cruz-da-conceicao-2008.zip\n",
      "Importing file 516/639: despesas-santa-cruz-da-esperanca-2008.zip\n",
      "Importing file 517/639: despesas-santa-cruz-das-palmeiras-2008.zip\n",
      "Importing file 518/639: despesas-santa-cruz-do-rio-pardo-2008.zip\n",
      "Importing file 519/639: despesas-santa-ernestina-2008.zip\n",
      "Importing file 520/639: despesas-santa-fe-do-sul-2008.zip\n",
      "Importing file 521/639: despesas-santa-gertrudes-2008.zip\n",
      "Importing file 522/639: despesas-santa-isabel-2008.zip\n",
      "Importing file 523/639: despesas-santa-lucia-2008.zip\n",
      "Importing file 524/639: despesas-santa-maria-da-serra-2008.zip\n",
      "Importing file 525/639: despesas-santa-mercedes-2008.zip\n",
      "Importing file 526/639: despesas-santa-rita-d-oeste-2008.zip\n",
      "Importing file 527/639: despesas-santa-rita-do-passa-quatro-2008.zip\n",
      "Importing file 528/639: despesas-santa-rosa-de-viterbo-2008.zip\n",
      "Importing file 529/639: despesas-santa-salete-2008.zip\n",
      "Importing file 530/639: despesas-santana-da-ponte-pensa-2008.zip\n",
      "Importing file 531/639: despesas-santana-de-parnaiba-2008.zip\n",
      "Importing file 532/639: despesas-santo-anastacio-2008.zip\n",
      "Importing file 533/639: despesas-santo-andre-2008.zip\n",
      "Importing file 534/639: despesas-santo-antonio-da-alegria-2008.zip\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Importing file 535/639: despesas-santo-antonio-de-posse-2008.zip\n",
      "Importing file 536/639: despesas-santo-antonio-do-aracangua-2008.zip\n",
      "Importing file 537/639: despesas-santo-antonio-do-jardim-2008.zip\n",
      "Importing file 538/639: despesas-santo-antonio-do-pinhal-2008.zip\n",
      "Importing file 539/639: despesas-santo-expedito-2008.zip\n",
      "Importing file 540/639: despesas-santopolis-do-aguapei-2008.zip\n",
      "Importing file 541/639: despesas-santos-2008.zip\n",
      "Importing file 542/639: despesas-sao-bento-do-sapucai-2008.zip\n",
      "Importing file 543/639: despesas-sao-bernardo-do-campo-2008.zip\n",
      "Importing file 544/639: despesas-sao-caetano-do-sul-2008.zip\n",
      "Importing file 545/639: despesas-sao-carlos-2008.zip\n",
      "Importing file 546/639: despesas-sao-francisco-2008.zip\n",
      "Importing file 547/639: despesas-sao-joao-da-boa-vista-2008.zip\n",
      "Importing file 548/639: despesas-sao-joao-das-duas-pontes-2008.zip\n",
      "Importing file 549/639: despesas-sao-joao-de-iracema-2008.zip\n",
      "Importing file 550/639: despesas-sao-joaquim-da-barra-2008.zip\n",
      "Importing file 551/639: despesas-sao-jose-da-bela-vista-2008.zip\n",
      "Importing file 552/639: despesas-sao-jose-do-barreiro-2008.zip\n",
      "Importing file 553/639: despesas-sao-jose-do-rio-pardo-2008.zip\n",
      "Importing file 554/639: despesas-sao-jose-do-rio-preto-2008.zip\n",
      "Importing file 555/639: despesas-sao-jose-dos-campos-2008.zip\n",
      "Importing file 556/639: despesas-sao-lourenco-da-serra-2008.zip\n",
      "Importing file 557/639: despesas-sao-luis-do-paraitinga-2008.zip\n",
      "Importing file 558/639: despesas-sao-manuel-2008.zip\n",
      "Importing file 559/639: despesas-sao-miguel-arcanjo-2008.zip\n",
      "Importing file 560/639: despesas-sao-pedro-2008.zip\n",
      "Importing file 561/639: despesas-sao-pedro-do-turvo-2008.zip\n",
      "Importing file 562/639: despesas-sao-roque-2008.zip\n",
      "Importing file 563/639: despesas-sao-sebastiao-2008.zip\n",
      "Importing file 564/639: despesas-sao-sebastiao-da-grama-2008.zip\n",
      "Importing file 565/639: despesas-sao-simao-2008.zip\n",
      "Importing file 566/639: despesas-sao-vicente-2008.zip\n",
      "Importing file 567/639: despesas-sarapui-2008.zip\n",
      "Importing file 568/639: despesas-sarutaia-2008.zip\n",
      "Importing file 569/639: despesas-sebastianopolis-do-sul-2008.zip\n",
      "Importing file 570/639: despesas-serra-azul-2008.zip\n",
      "Importing file 571/639: despesas-serra-negra-2008.zip\n",
      "Importing file 572/639: despesas-serrana-2008.zip\n",
      "Importing file 573/639: despesas-sertaozinho-2008.zip\n",
      "Importing file 574/639: despesas-sete-barras-2008.zip\n",
      "Importing file 575/639: despesas-severinia-2008.zip\n",
      "Importing file 576/639: despesas-silveiras-2008.zip\n",
      "Importing file 577/639: despesas-socorro-2008.zip\n",
      "Importing file 578/639: despesas-sorocaba-2008.zip\n",
      "Importing file 579/639: despesas-sud-mennucci-2008.zip\n",
      "Importing file 580/639: despesas-sumare-2008.zip\n",
      "Importing file 581/639: despesas-suzanapolis-2008.zip\n",
      "Importing file 582/639: despesas-suzano-2008.zip\n",
      "Importing file 583/639: despesas-tabapua-2008.zip\n",
      "Importing file 584/639: despesas-tabatinga-2008.zip\n",
      "Importing file 585/639: despesas-taboao-da-serra-2008.zip\n",
      "Importing file 586/639: despesas-taciba-2008.zip\n",
      "Importing file 587/639: despesas-taguai-2008.zip\n",
      "Importing file 588/639: despesas-taiacu-2008.zip\n",
      "Importing file 589/639: despesas-taiuva-2008.zip\n",
      "Importing file 590/639: despesas-tambau-2008.zip\n",
      "Importing file 591/639: despesas-tanabi-2008.zip\n",
      "Importing file 592/639: despesas-tapirai-2008.zip\n",
      "Importing file 593/639: despesas-tapiratiba-2008.zip\n",
      "Importing file 594/639: despesas-taquaral-2008.zip\n",
      "Importing file 595/639: despesas-taquaritinga-2008.zip\n",
      "Importing file 596/639: despesas-taquarituba-2008.zip\n",
      "Importing file 597/639: despesas-taquarivai-2008.zip\n",
      "Importing file 598/639: despesas-tarabai-2008.zip\n",
      "Importing file 599/639: despesas-taruma-2008.zip\n",
      "Importing file 600/639: despesas-tatui-2008.zip\n",
      "Importing file 601/639: despesas-taubate-2008.zip\n",
      "Importing file 602/639: despesas-tejupa-2008.zip\n",
      "Importing file 603/639: despesas-teodoro-sampaio-2008.zip\n",
      "Importing file 604/639: despesas-terra-roxa-2008.zip\n",
      "Importing file 605/639: despesas-tiete-2008.zip\n",
      "Importing file 606/639: despesas-timburi-2008.zip\n",
      "Importing file 607/639: despesas-torre-de-pedra-2008.zip\n",
      "Importing file 608/639: despesas-torrinha-2008.zip\n",
      "Importing file 609/639: despesas-trabiju-2008.zip\n",
      "Importing file 610/639: despesas-tremembe-2008.zip\n",
      "Importing file 611/639: despesas-tres-fronteiras-2008.zip\n",
      "Importing file 612/639: despesas-tuiuti-2008.zip\n",
      "Importing file 613/639: despesas-tupa-2008.zip\n",
      "Importing file 614/639: despesas-tupi-paulista-2008.zip\n",
      "Importing file 615/639: despesas-turiuba-2008.zip\n",
      "Importing file 616/639: despesas-turmalina-2008.zip\n",
      "Importing file 617/639: despesas-ubarana-2008.zip\n",
      "Importing file 618/639: despesas-ubatuba-2008.zip\n",
      "Importing file 619/639: despesas-ubirajara-2008.zip\n",
      "Importing file 620/639: despesas-uchoa-2008.zip\n",
      "Importing file 621/639: despesas-uniao-paulista-2008.zip\n",
      "Importing file 622/639: despesas-urania-2008.zip\n",
      "Importing file 623/639: despesas-uru-2008.zip\n",
      "Importing file 624/639: despesas-urupes-2008.zip\n",
      "Importing file 625/639: despesas-valentim-gentil-2008.zip\n",
      "Importing file 626/639: despesas-valinhos-2008.zip\n",
      "Importing file 627/639: despesas-valparaiso-2008.zip\n",
      "Importing file 628/639: despesas-vargem-2008.zip\n",
      "Importing file 629/639: despesas-vargem-grande-do-sul-2008.zip\n",
      "Importing file 630/639: despesas-vargem-grande-paulista-2008.zip\n",
      "Importing file 631/639: despesas-varzea-paulista-2008.zip\n",
      "Importing file 632/639: despesas-vera-cruz-2008.zip\n",
      "Importing file 633/639: despesas-vinhedo-2008.zip\n",
      "Importing file 634/639: despesas-viradouro-2008.zip\n",
      "Importing file 635/639: despesas-vista-alegre-do-alto-2008.zip\n",
      "Importing file 636/639: despesas-vitoria-brasil-2008.zip\n",
      "Importing file 637/639: despesas-votorantim-2008.zip\n",
      "Importing file 638/639: despesas-votuporanga-2008.zip\n",
      "Importing file 639/639: despesas-zacarias-2008.zip\n",
      "2019-01-20 11:00:45.505645\n"
     ]
    }
   ],
   "source": [
    "import datetime\n",
    "from sqlalchemy import create_engine\n",
    "engine = create_engine('mysql://root:Dougroot1!@127.0.0.1/db_tce')\n",
    "\n",
    "for year in range(2017, 2007, -1):\n",
    "    print('Reading year %d' % (year))\n",
    "    print(datetime.datetime.now())\n",
    "    read_spending_year_mysql(year, table='despesas', engine=engine)\n",
    "    print(datetime.datetime.now())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## General checks regarding data columns\n",
    "\n",
    "This section focuses on analyzing each column in the dataset, aiming at a better understanding of the data available in the dataset, as well as optimizing it for memory/disk usage. Due to memory limitations, a sample of only 5 million entries will be used for this analysis step, with no significant lack of generalization to the final dataset."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sqlalchemy import create_engine\n",
    "engine = create_engine('mysql://root:Dougroot1!@127.0.0.1/db_tce')\n",
    "\n",
    "df = pd.read_sql_query('SELECT * FROM despesas WHERE ano_exercicio=2017 LIMIT 5000000', con=engine)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Converts some columns from object to category or integer types\n",
    "cat_columns = ['ds_municipio', 'ds_orgao', 'ds_funcao_governo', 'ds_subfuncao_governo', 'ds_programa',\n",
    "               'ds_acao', 'ds_fonte_recurso', 'ds_modalidade_lic']\n",
    "for col in cat_columns:\n",
    "    df[col] = df[col].astype('category')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id_despesa_detalhe</th>\n",
       "      <th>ano_exercicio</th>\n",
       "      <th>ds_municipio</th>\n",
       "      <th>ds_orgao</th>\n",
       "      <th>nr_empenho</th>\n",
       "      <th>identificador_despesa</th>\n",
       "      <th>ds_despesa</th>\n",
       "      <th>dt_emissao_despesa</th>\n",
       "      <th>vl_despesa</th>\n",
       "      <th>ds_funcao_governo</th>\n",
       "      <th>ds_subfuncao_governo</th>\n",
       "      <th>cd_programa</th>\n",
       "      <th>ds_programa</th>\n",
       "      <th>cd_acao</th>\n",
       "      <th>ds_acao</th>\n",
       "      <th>ds_fonte_recurso</th>\n",
       "      <th>ds_cd_aplicacao_fixo</th>\n",
       "      <th>ds_modalidade_lic</th>\n",
       "      <th>ds_elemento</th>\n",
       "      <th>historico_despesa</th>\n",
       "      <th>ds_cpf_cnpj</th>\n",
       "      <th>ds_tipo_identif</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>354220976</td>\n",
       "      <td>2017</td>\n",
       "      <td>Adamantina</td>\n",
       "      <td>PREFEITURA MUNICIPAL DE ADAMANTINA</td>\n",
       "      <td>103-2017</td>\n",
       "      <td>CNPJ - PESSOA JURÍDICA - 08720483000100</td>\n",
       "      <td>ELIANE CRISTINA MOURA DA SILVA - ME</td>\n",
       "      <td>2017-01-02</td>\n",
       "      <td>1752.70</td>\n",
       "      <td>EDUCAÇÃO</td>\n",
       "      <td>EDUCAÇÃO INFANTIL</td>\n",
       "      <td>15</td>\n",
       "      <td>GESTÃO DA EDUCAÇÃO</td>\n",
       "      <td>2042</td>\n",
       "      <td>GESTÃO DAS CRECHES</td>\n",
       "      <td>TESOURO</td>\n",
       "      <td>0210 - EDUCAÇÃO INFANTIL - RECURSOS ESPECÍFICOS</td>\n",
       "      <td>PREGÃO</td>\n",
       "      <td>33903022 - MATERIAL DE LIMPEZA E PRODUTOS DE H...</td>\n",
       "      <td>Item 001: ÁGUA SANITÁRIA - COMPOSTA DE HIPOCLO...</td>\n",
       "      <td>08720483000100</td>\n",
       "      <td>CNPJ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>354220744</td>\n",
       "      <td>2017</td>\n",
       "      <td>Adamantina</td>\n",
       "      <td>PREFEITURA MUNICIPAL DE ADAMANTINA</td>\n",
       "      <td>34-2017</td>\n",
       "      <td>CNPJ - PESSOA JURÍDICA - 02558157000162</td>\n",
       "      <td>TELEFONICA BRASIL S.A</td>\n",
       "      <td>2017-01-02</td>\n",
       "      <td>2000.00</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>ADMINISTRAÇÃO GERAL</td>\n",
       "      <td>3</td>\n",
       "      <td>ADMINISTRANDO COM RESPONSABILIDADE</td>\n",
       "      <td>2011</td>\n",
       "      <td>CUSTEIO FIXO OPERACIONAL</td>\n",
       "      <td>TESOURO</td>\n",
       "      <td>0110 - GERAL</td>\n",
       "      <td>DISPENSA DE LICITAÇÃO</td>\n",
       "      <td>33903958 - SERVIÇOS DE TELECOMUNICAÇÕES</td>\n",
       "      <td>PROV. PAGAMENTO DE TELEFONE E INTERNET,  REF. ...</td>\n",
       "      <td>02558157000162</td>\n",
       "      <td>CNPJ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>354221844</td>\n",
       "      <td>2017</td>\n",
       "      <td>Adamantina</td>\n",
       "      <td>PREFEITURA MUNICIPAL DE ADAMANTINA</td>\n",
       "      <td>33-2017</td>\n",
       "      <td>CNPJ - PESSOA JURÍDICA - 43776517000180</td>\n",
       "      <td>SABESP - CIA SANEAMENTO BAS EST S PAULO</td>\n",
       "      <td>2017-01-02</td>\n",
       "      <td>68000.00</td>\n",
       "      <td>AGRICULTURA</td>\n",
       "      <td>ADMINISTRAÇÃO GERAL</td>\n",
       "      <td>23</td>\n",
       "      <td>GESTÃO AGRÍCOLA E RURAL</td>\n",
       "      <td>2011</td>\n",
       "      <td>CUSTEIO FIXO OPERACIONAL</td>\n",
       "      <td>TESOURO</td>\n",
       "      <td>0110 - GERAL</td>\n",
       "      <td>DISPENSA DE LICITAÇÃO</td>\n",
       "      <td>33903944 - SERVIÇOS DE ÁGUA E ESGOTO</td>\n",
       "      <td>PROV. PAGAMENTO DE ÁGUA E ESGOTO, REF. AOS MES...</td>\n",
       "      <td>43776517000180</td>\n",
       "      <td>CNPJ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>354222606</td>\n",
       "      <td>2017</td>\n",
       "      <td>Adamantina</td>\n",
       "      <td>PREFEITURA MUNICIPAL DE ADAMANTINA</td>\n",
       "      <td>19-2017</td>\n",
       "      <td>CNPJ - PESSOA JURÍDICA - 07282377000120</td>\n",
       "      <td>ENERGISA SUL-SUDESTE DIST. DE ENERGIA S.A</td>\n",
       "      <td>2017-01-02</td>\n",
       "      <td>40000.00</td>\n",
       "      <td>DESPORTO E LAZER</td>\n",
       "      <td>DESPORTO COMUNITÁRIO</td>\n",
       "      <td>3</td>\n",
       "      <td>ADMINISTRANDO COM RESPONSABILIDADE</td>\n",
       "      <td>2011</td>\n",
       "      <td>CUSTEIO FIXO OPERACIONAL</td>\n",
       "      <td>TESOURO</td>\n",
       "      <td>0110 - GERAL</td>\n",
       "      <td>DISPENSA DE LICITAÇÃO</td>\n",
       "      <td>33903943 - SERVIÇOS DE ENERGIA ELÉTRICA</td>\n",
       "      <td>PROV. PAGTO. DE DESPESAS C/ ENERGIA, REF. AOS ...</td>\n",
       "      <td>07282377000120</td>\n",
       "      <td>CNPJ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>354220862</td>\n",
       "      <td>2017</td>\n",
       "      <td>Adamantina</td>\n",
       "      <td>PREFEITURA MUNICIPAL DE ADAMANTINA</td>\n",
       "      <td>75-2017</td>\n",
       "      <td>CNPJ - PESSOA JURÍDICA - 15804087000127</td>\n",
       "      <td>SOUZA E MASTELLINI LTDA ME</td>\n",
       "      <td>2017-01-02</td>\n",
       "      <td>258.68</td>\n",
       "      <td>EDUCAÇÃO</td>\n",
       "      <td>ENSINO FUNDAMENTAL</td>\n",
       "      <td>15</td>\n",
       "      <td>GESTÃO DA EDUCAÇÃO</td>\n",
       "      <td>2039</td>\n",
       "      <td>GESTÃO DOS RECURSO DO QESE</td>\n",
       "      <td>TRANSFERÊNCIAS E CONVÊNIOS FEDERAIS-VINCULADOS</td>\n",
       "      <td>0200 - EDUCAÇÃO - RECURSOS ESPECÍFICOS</td>\n",
       "      <td>PREGÃO</td>\n",
       "      <td>33903099 - OUTROS MATERIAIS DE CONSUMO</td>\n",
       "      <td>Item 001: FITA CREPE. PACOTE CONTENDO 5 ROLAS ...</td>\n",
       "      <td>15804087000127</td>\n",
       "      <td>CNPJ</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   id_despesa_detalhe  ano_exercicio ds_municipio  \\\n",
       "0           354220976           2017   Adamantina   \n",
       "1           354220744           2017   Adamantina   \n",
       "2           354221844           2017   Adamantina   \n",
       "3           354222606           2017   Adamantina   \n",
       "4           354220862           2017   Adamantina   \n",
       "\n",
       "                             ds_orgao nr_empenho  \\\n",
       "0  PREFEITURA MUNICIPAL DE ADAMANTINA   103-2017   \n",
       "1  PREFEITURA MUNICIPAL DE ADAMANTINA    34-2017   \n",
       "2  PREFEITURA MUNICIPAL DE ADAMANTINA    33-2017   \n",
       "3  PREFEITURA MUNICIPAL DE ADAMANTINA    19-2017   \n",
       "4  PREFEITURA MUNICIPAL DE ADAMANTINA    75-2017   \n",
       "\n",
       "                     identificador_despesa  \\\n",
       "0  CNPJ - PESSOA JURÍDICA - 08720483000100   \n",
       "1  CNPJ - PESSOA JURÍDICA - 02558157000162   \n",
       "2  CNPJ - PESSOA JURÍDICA - 43776517000180   \n",
       "3  CNPJ - PESSOA JURÍDICA - 07282377000120   \n",
       "4  CNPJ - PESSOA JURÍDICA - 15804087000127   \n",
       "\n",
       "                                  ds_despesa dt_emissao_despesa  vl_despesa  \\\n",
       "0        ELIANE CRISTINA MOURA DA SILVA - ME         2017-01-02     1752.70   \n",
       "1                      TELEFONICA BRASIL S.A         2017-01-02     2000.00   \n",
       "2    SABESP - CIA SANEAMENTO BAS EST S PAULO         2017-01-02    68000.00   \n",
       "3  ENERGISA SUL-SUDESTE DIST. DE ENERGIA S.A         2017-01-02    40000.00   \n",
       "4                 SOUZA E MASTELLINI LTDA ME         2017-01-02      258.68   \n",
       "\n",
       "  ds_funcao_governo  ds_subfuncao_governo  cd_programa  \\\n",
       "0          EDUCAÇÃO     EDUCAÇÃO INFANTIL           15   \n",
       "1     ADMINISTRAÇÃO   ADMINISTRAÇÃO GERAL            3   \n",
       "2       AGRICULTURA   ADMINISTRAÇÃO GERAL           23   \n",
       "3  DESPORTO E LAZER  DESPORTO COMUNITÁRIO            3   \n",
       "4          EDUCAÇÃO    ENSINO FUNDAMENTAL           15   \n",
       "\n",
       "                          ds_programa  cd_acao                     ds_acao  \\\n",
       "0                  GESTÃO DA EDUCAÇÃO     2042          GESTÃO DAS CRECHES   \n",
       "1  ADMINISTRANDO COM RESPONSABILIDADE     2011    CUSTEIO FIXO OPERACIONAL   \n",
       "2             GESTÃO AGRÍCOLA E RURAL     2011    CUSTEIO FIXO OPERACIONAL   \n",
       "3  ADMINISTRANDO COM RESPONSABILIDADE     2011    CUSTEIO FIXO OPERACIONAL   \n",
       "4                  GESTÃO DA EDUCAÇÃO     2039  GESTÃO DOS RECURSO DO QESE   \n",
       "\n",
       "                                 ds_fonte_recurso  \\\n",
       "0                                         TESOURO   \n",
       "1                                         TESOURO   \n",
       "2                                         TESOURO   \n",
       "3                                         TESOURO   \n",
       "4  TRANSFERÊNCIAS E CONVÊNIOS FEDERAIS-VINCULADOS   \n",
       "\n",
       "                              ds_cd_aplicacao_fixo      ds_modalidade_lic  \\\n",
       "0  0210 - EDUCAÇÃO INFANTIL - RECURSOS ESPECÍFICOS                 PREGÃO   \n",
       "1                                     0110 - GERAL  DISPENSA DE LICITAÇÃO   \n",
       "2                                     0110 - GERAL  DISPENSA DE LICITAÇÃO   \n",
       "3                                     0110 - GERAL  DISPENSA DE LICITAÇÃO   \n",
       "4           0200 - EDUCAÇÃO - RECURSOS ESPECÍFICOS                 PREGÃO   \n",
       "\n",
       "                                         ds_elemento  \\\n",
       "0  33903022 - MATERIAL DE LIMPEZA E PRODUTOS DE H...   \n",
       "1            33903958 - SERVIÇOS DE TELECOMUNICAÇÕES   \n",
       "2               33903944 - SERVIÇOS DE ÁGUA E ESGOTO   \n",
       "3            33903943 - SERVIÇOS DE ENERGIA ELÉTRICA   \n",
       "4             33903099 - OUTROS MATERIAIS DE CONSUMO   \n",
       "\n",
       "                                   historico_despesa     ds_cpf_cnpj  \\\n",
       "0  Item 001: ÁGUA SANITÁRIA - COMPOSTA DE HIPOCLO...  08720483000100   \n",
       "1  PROV. PAGAMENTO DE TELEFONE E INTERNET,  REF. ...  02558157000162   \n",
       "2  PROV. PAGAMENTO DE ÁGUA E ESGOTO, REF. AOS MES...  43776517000180   \n",
       "3  PROV. PAGTO. DE DESPESAS C/ ENERGIA, REF. AOS ...  07282377000120   \n",
       "4  Item 001: FITA CREPE. PACOTE CONTENDO 5 ROLAS ...  15804087000127   \n",
       "\n",
       "  ds_tipo_identif  \n",
       "0            CNPJ  \n",
       "1            CNPJ  \n",
       "2            CNPJ  \n",
       "3            CNPJ  \n",
       "4            CNPJ  "
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Memory usage\n",
    "\n",
    "Some memory usage information can be seen below, segregated per column. Data is shown in MB."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index                      0.000076\n",
       "id_despesa_detalhe        38.146973\n",
       "ano_exercicio             38.146973\n",
       "ds_municipio               9.596111\n",
       "ds_orgao                   9.749841\n",
       "nr_empenho               315.974287\n",
       "identificador_despesa    567.396705\n",
       "ds_despesa               422.557128\n",
       "dt_emissao_despesa        38.146973\n",
       "vl_despesa                38.146973\n",
       "ds_funcao_governo          4.772098\n",
       "ds_subfuncao_governo       4.784760\n",
       "cd_programa               38.146973\n",
       "ds_programa               10.820309\n",
       "cd_acao                   38.146973\n",
       "ds_acao                   13.988244\n",
       "ds_fonte_recurso           4.771158\n",
       "ds_cd_aplicacao_fixo     440.311937\n",
       "ds_modalidade_lic          4.769725\n",
       "ds_elemento              571.643009\n",
       "historico_despesa        830.141891\n",
       "ds_cpf_cnpj              326.042683\n",
       "ds_tipo_identif          304.088693\n",
       "dtype: float64"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.memory_usage(deep=True)/1024/1024"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "4070.2904901504517"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.sum(df.memory_usage(deep=True)/1024/1024)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'id_despesa_detalhe': 'int64',\n",
       " 'ano_exercicio': 'int64',\n",
       " 'ds_municipio': 'category',\n",
       " 'ds_orgao': 'category',\n",
       " 'nr_empenho': 'object',\n",
       " 'identificador_despesa': 'object',\n",
       " 'ds_despesa': 'object',\n",
       " 'dt_emissao_despesa': 'datetime64[ns]',\n",
       " 'vl_despesa': 'float64',\n",
       " 'ds_funcao_governo': 'category',\n",
       " 'ds_subfuncao_governo': 'category',\n",
       " 'cd_programa': 'int64',\n",
       " 'ds_programa': 'category',\n",
       " 'cd_acao': 'int64',\n",
       " 'ds_acao': 'category',\n",
       " 'ds_fonte_recurso': 'category',\n",
       " 'ds_cd_aplicacao_fixo': 'object',\n",
       " 'ds_modalidade_lic': 'category',\n",
       " 'ds_elemento': 'object',\n",
       " 'historico_despesa': 'object',\n",
       " 'ds_cpf_cnpj': 'object',\n",
       " 'ds_tipo_identif': 'object'}"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dtypes = df.dtypes\n",
    "\n",
    "dtypes_col = dtypes.index\n",
    "dtypes_type = [i.name for i in dtypes.values]\n",
    "\n",
    "column_types = dict(zip(dtypes_col, dtypes_type))\n",
    "column_types"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Unique values on categorical columns\n",
    "\n",
    "Some column values consist of a few category options. This sections tries to exemplify which categories are present in multiple text columns.\n",
    "\n",
    "It is clear that most text entries are categorical, with exception of the following:\n",
    "\n",
    "- Column related to the spending description: `historico_despesa`\n",
    "- Columns probably not standardized between municipalities: `nr_empenho`, `ds_programa`, `ds_acao`\n",
    "- Columns related to the spending destination: `identificador_despesa`, `ds_despesa`, `ds_cpf_cnpj`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['CNPJ', 'SEM CPF/CNPJ', 'CPF', 'GENÉRICO', 'INVALID TYPE',\n",
       "       'PRECATÓRIOS'], dtype=object)"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['ds_tipo_identif'].unique()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Total number of lines from database included in this analysis: 5000000\n",
      "\n",
      "                  ds_municipio:      513 unique values\n",
      "                      ds_orgao:     1372 unique values\n",
      "                    nr_empenho:    93742 unique values\n",
      "         identificador_despesa:   254207 unique values\n",
      "                    ds_despesa:   429536 unique values\n",
      "             ds_funcao_governo:       28 unique values\n",
      "          ds_subfuncao_governo:      100 unique values\n",
      "                   ds_programa:     9099 unique values\n",
      "                       ds_acao:    27526 unique values\n",
      "              ds_fonte_recurso:       14 unique values\n",
      "          ds_cd_aplicacao_fixo:       54 unique values\n",
      "             ds_modalidade_lic:       11 unique values\n",
      "                   ds_elemento:      525 unique values\n",
      "             historico_despesa:  2495271 unique values\n",
      "                   ds_cpf_cnpj:   253438 unique values\n",
      "               ds_tipo_identif:        6 unique values\n"
     ]
    }
   ],
   "source": [
    "print('Total number of lines from database included in this analysis: %d\\n' % (len(df)))\n",
    "for col in df.select_dtypes(include=['object', 'category']).columns:\n",
    "    print('%30s: %8d unique values' % (col, df[col].nunique()))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['EDUCAÇÃO',\n",
       " 'ADMINISTRAÇÃO',\n",
       " 'AGRICULTURA',\n",
       " 'DESPORTO E LAZER',\n",
       " 'URBANISMO',\n",
       " 'SAÚDE',\n",
       " 'ASSISTÊNCIA SOCIAL',\n",
       " 'COMUNICAÇÕES',\n",
       " 'LEGISLATIVA',\n",
       " 'CULTURA',\n",
       " 'ENCARGOS ESPECIAIS',\n",
       " 'PREVIDÊNCIA SOCIAL',\n",
       " 'GESTÃO AMBIENTAL',\n",
       " 'TRANSPORTE',\n",
       " 'SANEAMENTO',\n",
       " 'COMÉRCIO E SERVIÇOS',\n",
       " 'SEGURANÇA PÚBLICA',\n",
       " 'JUDICIÁRIA',\n",
       " 'HABITAÇÃO',\n",
       " 'ESSENCIAL À JUSTIÇA',\n",
       " 'TRABALHO',\n",
       " 'ENERGIA',\n",
       " 'INDÚSTRIA',\n",
       " 'DEFESA NACIONAL',\n",
       " 'ORGANIZAÇÃO AGRÁRIA',\n",
       " 'DIREITOS DA CIDADANIA',\n",
       " 'CIÊNCIA E TECNOLOGIA',\n",
       " 'RELAÇÕES EXTERIORES']"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "list(df.ds_funcao_governo.unique())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['TESOURO',\n",
       " 'TRANSFERÊNCIAS E CONVÊNIOS FEDERAIS-VINCULADOS',\n",
       " 'RECURSOS PRÓPRIOS DA ADMINISTRAÇÃO INDIRETA',\n",
       " 'TRANSFERÊNCIAS E CONVÊNIOS ESTADUAIS-VINCULADOS',\n",
       " 'RECURSOS PRÓPRIOS DE FUNDOS ESPECIAIS DE DESPESA-VINCULADOS',\n",
       " 'OPERAÇÕES DE CRÉDITO',\n",
       " 'OUTRAS FONTES DE RECURSOS',\n",
       " 'TRANSFERÊNCIAS E CONVÊNIOS FEDERAIS-VINCULADOS - EXERCICIOS ANTERIORES',\n",
       " 'TESOURO - EXERCICIOS ANTERIORES',\n",
       " 'TRANSFERÊNCIAS E CONVÊNIOS ESTADUAIS-VINCULADOS - EXERCICIOS ANTERIORES',\n",
       " 'OUTRAS FONTES DE RECURSOS - EXERCICIOS ANTERIORES',\n",
       " 'RECURSOS PRÓPRIOS DE FUNDOS ESPECIAIS DE DESPESA-VINCULADOS - EXERCICIOS ANTERIORES',\n",
       " 'OPERAÇÕES DE CRÉDITO - EXERCICIOS ANTERIORES',\n",
       " 'RECURSOS PRÓPRIOS DA ADMINISTRAÇÃO INDIRETA - EXERCICIOS ANTERIORES']"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "list(df.ds_fonte_recurso.unique())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['PREGÃO',\n",
       " 'DISPENSA DE LICITAÇÃO',\n",
       " 'OUTROS/NÃO APLICÁVEL',\n",
       " 'CONVITE',\n",
       " 'TOMADA DE PREÇOS',\n",
       " 'INEXIGÍVEL',\n",
       " 'CONCORRÊNCIA',\n",
       " 'BEC-BOLSA ELETRÔNICA DE COMPRAS',\n",
       " 'CONCURSO',\n",
       " 'RDC',\n",
       " 'Leilão']"
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "list(df.ds_modalidade_lic.unique())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Maximum string length for each text column\n",
    "\n",
    "This information is used to optimize the MySQL database, considering only the required string length for each column. The approximated maximum string lengths are:\n",
    "\n",
    "- `ds_municipio`: 26\n",
    "- `ds_orgao`: 94\n",
    "- `nr_empenho`: 17\n",
    "- `identificador_despesa`: 71\n",
    "- `ds_despesa`: 100\n",
    "- `ds_funcao_governo`: 21\n",
    "- `ds_subfuncao_governo`: 50\n",
    "- `ds_programa`: 100\n",
    "- `ds_acao`: 100\n",
    "- `ds_fonte_recurso`: 83\n",
    "- `ds_cd_aplicacao_fixo`: 65\n",
    "- `ds_modalidade_lic`: 31\n",
    "- `ds_elemento`: 134\n",
    "- `historico_despesa`: 2205\n",
    "- `ds_cpf_cnpj`: 20\n",
    "- `ds_tipo_identif`: 12"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ds_municipio\n",
      "ds_orgao\n",
      "nr_empenho\n",
      "identificador_despesa\n",
      "ds_despesa\n",
      "ds_funcao_governo\n",
      "ds_subfuncao_governo\n",
      "ds_programa\n",
      "ds_acao\n",
      "ds_fonte_recurso\n",
      "ds_cd_aplicacao_fixo\n",
      "ds_modalidade_lic\n",
      "ds_elemento\n",
      "historico_despesa\n",
      "ds_cpf_cnpj\n",
      "ds_tipo_identif\n"
     ]
    }
   ],
   "source": [
    "df_len = {}\n",
    "for col in df.select_dtypes(include=['object', 'category']).columns:\n",
    "    print(col)\n",
    "    df_len[col] = df[col].apply(lambda x: len(str(x))).unique().astype(str).astype(int).max()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'ds_municipio': 26,\n",
       " 'ds_orgao': 94,\n",
       " 'nr_empenho': 17,\n",
       " 'identificador_despesa': 71,\n",
       " 'ds_despesa': 100,\n",
       " 'ds_funcao_governo': 21,\n",
       " 'ds_subfuncao_governo': 50,\n",
       " 'ds_programa': 100,\n",
       " 'ds_acao': 100,\n",
       " 'ds_fonte_recurso': 83,\n",
       " 'ds_cd_aplicacao_fixo': 65,\n",
       " 'ds_modalidade_lic': 31,\n",
       " 'ds_elemento': 134,\n",
       " 'historico_despesa': 2205,\n",
       " 'ds_cpf_cnpj': 20,\n",
       " 'ds_tipo_identif': 12}"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_len"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Maximum number of algarisms for numerical columns\n",
    "\n",
    "Similar to what was done for categorical columns, every numerical category is analyzed in order to define the proper integer or float precision."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id_despesa_detalhe</th>\n",
       "      <th>ano_exercicio</th>\n",
       "      <th>vl_despesa</th>\n",
       "      <th>cd_programa</th>\n",
       "      <th>cd_acao</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>count</th>\n",
       "      <td>5.000000e+06</td>\n",
       "      <td>5000000.0</td>\n",
       "      <td>5.000000e+06</td>\n",
       "      <td>5.000000e+06</td>\n",
       "      <td>5.000000e+06</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>mean</th>\n",
       "      <td>3.684149e+08</td>\n",
       "      <td>2017.0</td>\n",
       "      <td>1.670296e+04</td>\n",
       "      <td>4.981153e+02</td>\n",
       "      <td>2.169481e+03</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>std</th>\n",
       "      <td>9.389752e+06</td>\n",
       "      <td>0.0</td>\n",
       "      <td>3.303551e+05</td>\n",
       "      <td>1.476660e+03</td>\n",
       "      <td>1.612724e+03</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>min</th>\n",
       "      <td>3.542207e+08</td>\n",
       "      <td>2017.0</td>\n",
       "      <td>1.000000e-02</td>\n",
       "      <td>0.000000e+00</td>\n",
       "      <td>0.000000e+00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25%</th>\n",
       "      <td>3.602898e+08</td>\n",
       "      <td>2017.0</td>\n",
       "      <td>2.158000e+02</td>\n",
       "      <td>7.000000e+00</td>\n",
       "      <td>2.012000e+03</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>50%</th>\n",
       "      <td>3.689579e+08</td>\n",
       "      <td>2017.0</td>\n",
       "      <td>8.200000e+02</td>\n",
       "      <td>1.900000e+01</td>\n",
       "      <td>2.029000e+03</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75%</th>\n",
       "      <td>3.772113e+08</td>\n",
       "      <td>2017.0</td>\n",
       "      <td>3.570000e+03</td>\n",
       "      <td>1.000000e+02</td>\n",
       "      <td>2.073000e+03</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>max</th>\n",
       "      <td>3.925685e+08</td>\n",
       "      <td>2017.0</td>\n",
       "      <td>4.600000e+08</td>\n",
       "      <td>9.999000e+03</td>\n",
       "      <td>3.001200e+04</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       id_despesa_detalhe  ano_exercicio    vl_despesa   cd_programa  \\\n",
       "count        5.000000e+06      5000000.0  5.000000e+06  5.000000e+06   \n",
       "mean         3.684149e+08         2017.0  1.670296e+04  4.981153e+02   \n",
       "std          9.389752e+06            0.0  3.303551e+05  1.476660e+03   \n",
       "min          3.542207e+08         2017.0  1.000000e-02  0.000000e+00   \n",
       "25%          3.602898e+08         2017.0  2.158000e+02  7.000000e+00   \n",
       "50%          3.689579e+08         2017.0  8.200000e+02  1.900000e+01   \n",
       "75%          3.772113e+08         2017.0  3.570000e+03  1.000000e+02   \n",
       "max          3.925685e+08         2017.0  4.600000e+08  9.999000e+03   \n",
       "\n",
       "            cd_acao  \n",
       "count  5.000000e+06  \n",
       "mean   2.169481e+03  \n",
       "std    1.612724e+03  \n",
       "min    0.000000e+00  \n",
       "25%    2.012000e+03  \n",
       "50%    2.029000e+03  \n",
       "75%    2.073000e+03  \n",
       "max    3.001200e+04  "
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['INSCRIÇÃO GENÉRICA-OUTROS - PASEP',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - INSS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - TABELIAODENOTASE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FGTS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PREFEITURAMUNICIPAL',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - BANCODOBRASILSA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNSETFUNDONACIO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - EDIVALDOCANDIDODOS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - BANCOBRADESCOSA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CAIXAECONOMICAFEDE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CONSREGENGARQUIT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - TRIBUNALDEJUSTICA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DIVERSOSCONFORMEES',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - INSTITUTONACIONALD',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPAGAMENTOF',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPAGTODEEV',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHAPAGAMENTOADIA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHAPAGAMENTOPRO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPAGAMENTO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPAGTODOCO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SECRETARIADEESTADO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPAGAMENTOD',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SECRETARIATESOURON',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPAGAMENTOT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHAPAGAMENTO13S',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - INSSINSTITNACSEG',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPAGTODI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FRANLABREPRESCOMER',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - INSTNACDESEGURIDA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SECURITYSOLUTIONSC',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - COMERCIALCIRURGICA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - EQUIPODONTOREPRESC',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PESSOALCIVIL',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - WELSONSOARESDEOLI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SANESMARCOMPROD',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FRIGELARCOMERCIO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - 2VARADOTRABALHO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PORTOSEGUROCIADE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SESCSERVICOSOCIA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MINISTERIODAFAZEND',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - LINCOLNGIDDINGSADO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CIADEENGENHARIADE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DESTAQUEDISTRIBUIDO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - UNILASERUNIDOFTALMO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - HALEXISTARINDUSTRIA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MARIACRISTINAQUINT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CLAUDIOSAULOORTIZ',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - KILUZMATERIALELET',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - RENATOLOSADAMARTIN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SENACSERVNACIONA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - GISELISALVADORINFO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - COMDEMATPCONSTRNO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - OSMARJOSEPEREIRA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - INSTITUTOBRASILDE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PAULOROBERTODECAS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DILMACORDEIRODESO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLPAGPESSOALCIVILO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNDONACIONALSEGE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNDODEGARANTIATE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHAPAGTPFISICAS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ELETROTECNICARSLTD',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - EMPRESADETRANSPORT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ALFALAGOSLTDA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - AUXILIOPECUNIARIOP',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FAZENDADOESTADODE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PF0339046',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PF00494909',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SECRETARIADARECEIT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - INSTNACIONALDOSEGU',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNDOGARANTIATEMPO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CORPOLEGISLATIVO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CORPOADMINISTRATIVO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FAPEMINATIVOS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FAPEMPENSIONISTAS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CONSREGENGARQAGRONES',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - RAFAELMATIASDEOLI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ASSOCREGDEBASQUETEB',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CAMILAVICTORINODA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PROGRAMADEFORMACAO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SECRETARIAMUNICIPAL',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PROCURADORIAGERAL',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CORALMUNICIPALRAI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - BANDASINFONICADEC',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - COORDENACAOGERALDO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CORALMUNICIPALRINA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - BANDAMARCIALMUNICI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CORALMUNICIPALZANZ',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CAMPANHATODOSJUN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CINTIAREGINAPINHEI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SILVIAMARIAPINHEIR',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FLAVIOBENEDITOPINH',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ANDRELUIZPINHEIRO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - RODRIGOGAVITIVILER',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PRODESPCIADEPRO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MARIAIGNESDASILVA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CLAUDIOPINHEIRO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNDODEGARANTIADO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CENTRODEGESTAODE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MRSANTOSPECASME',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNDONACIONALESEG',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SECRETARIADAFAZEND',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ADELITASILVALIMAD',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - UNIAODIRIGMUNICED',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JORGEMAESAKA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - IMPRENSANACIONAL',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PRECATORIOJUDICIAIS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNDOESTADUALDEAS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SECRETARIADOESTADO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CIROCARLOSMOTTA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CARTORIODEREGISTRO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PAGAMENTOPESSOAL',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DSVDEPARTAMENTODE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DEPARTAMENTODEESTR',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - GLOBOCOMUNICACOESE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ANATELAGENCIANACIO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CONSORCIOINTERMDOS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SEGUROOBRIGATORIODP',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DEPARTAMENTOESTADUA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNDONACIONALDESEN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - 1AVARADOJUIZADOE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - GABINETEVICE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ENGENHARIAOBRAS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - VIGILANCIASANITARIA',\n",
       "       'INSCRIÇÃO GENÉRICA-RESTOS A PAGAR-EXERCÍCIOS ANTERIORES - PASEP',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SUBSIDIOVEREADORE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - POLICIAISMILITARES',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - WADERBARIZONRIGONA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNCIONARIOS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ENCARGOSPATRONAIS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PROVISAO14SALARIO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNDONACSEGEEDUCTR',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ESTAGIARIOS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CONSELHEIROS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - INATIVOS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PENSIONISTAS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MINISTFAZENDASECTES',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ANDREAGENTILME',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MAXILEANDROCARDOSO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PREFEITURADACIDADE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JOSEVALENTIMBELIZA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SONIAMAMADEIRADE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - EUCLIDESPREVIATERI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PEDREIRABORBOREMAL',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DIVERSOSSERVIDORES',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ANTONIAMARIAGDEC',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ANALUCIADACONCEIC',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - GIANIMORETTOEOUTR',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ALECIOPADOVANINETO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - GRAZIELASILVANOVAI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - EVELINOLIVEIRASOUZ',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - RAFAELDIEGOALVESD',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - GUILHERMEZANUTTOLA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CAIOAUGUSTOFERREIR',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - THASSIATAMARARODRI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CONDUCAODEOFICIAIS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ALICEDIASDEMORAES',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - GABRIELABELLONIEO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ROSELIAPFINENCIOE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ANALUIZADOCARMOB',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ALCIONEFERREIRACOS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - LUCIANAYURIKAMIMUR',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ALEXANDRERIBEIRODA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ALESSANDRACOUTOBOA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ANACAROLINABERESCA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MARCOSANTONIOANDRE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CARLACAVALLAROEOU',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ERICADASILVAEOUT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - VEREADORES',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PATRIMONIODOSERVID',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ANACAROLINEPEREIRA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - REGISEDUARDOCAMPOS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JOSEMARIASOLITO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - LUIZFERNANDOCAMARG',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JOAOCORRADINENETO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ELIZABETHRAMIREZRU',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DEIBYSESCOBARARENA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DULIESKYMORASOTO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DUNESKIPINAANGULO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - EDELVISBENITAALDAN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - EMILSISNAPOLESFRAG',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ESPERANZALACOSTELA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - AGOSTINHODEPAULAJ',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - APAEASSDEPAISEAM',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNDOMUNICIPALDEP',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - INSSGERALINSTITNAC',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CREACONSREGENGARQ',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - EDNESIOIMOVEIS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ROSAMARIAALVES',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CONSELHODEARQUITET',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SOCIEDADEBRASILEIRA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FGTSFUNDOGARANTIA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ASSOCIACAOFUNCIONAR',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DERDEPESTRDERODAGE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - TRIBUNALREGIONALD',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ORDEMDOSADVOGADOS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - EURIPEDESCESARAVAN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PREFEITURADOMUNICI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PASEPRETENCAOFOR',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DIVERSOSCONFFOLHA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - EMPRBRASCORTELEG',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JUIZODIRVARAANEXO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DIVERSOSCONFFOLHAD',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DIVERSOSESTAGIARI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DIVERSOSUSUARIOS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DERDEPESTDERODAG',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CAIXADEASSISTENCIA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - INSTITUTODEPREVIDE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PODERJUDICIARIO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SECRETARIADOESTAD',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SERVIDORMUNICIPAL',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - LUIZCARLOSFILHO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SECRETARIADOTESOUR',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PODERJUDICIARIOT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JULIAOANTONIOVIEIR',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MARIADAGLORIAVARG',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - INSSINSTITUTONAC',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPGTOSENTEN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPGTOFERIAS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - OBRASOCIALMUNICIPA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPGTO13SAL',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPGTOESTAGI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPGTODIFERE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPGTOADIANT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SECRETARIADEECONOM',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPGTOREEMBO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPGTOHORAS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MINISTERIODASCIDAD',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNDOESTADUALDOSR',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JOVANACRISTINADAC',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FGTSFUNDOGARANTI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PESSOALCIVILFIXO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - IPREMMINSTPREVIDE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - POLICIAMILITARDOE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - AUXILIOALIMENTACAO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PESSOALCIVILFUNCI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FATIMAROSANEGGIME',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - COMPANHIADEPROCESS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SERVICOSDETERCEIRO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SERVITELCOMESERVI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPAGTOSERVI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - LEGIAOMIRIMDEMARI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ASSOCSERVPUBLMUN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPAGTOINATI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPAGTOPENSO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPAGTOAUXD',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPAGTOCOMPL',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PISPROGRAMADEIN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHAPAGTOCOMPLEM',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ANAFLAVIAPARDOPER',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - LUIZCARLOSPEDROSO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ROSATOZONIDOSSANT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ACECIOCICARELLIEJ',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ILSONTOZONI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - IROALDOTOZONIEDAN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - IVOTOZONIEMARIAL',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - HILARIOTOZONI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FABIANOMONTEIROMAR',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - GOULARTAUDILTDA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - RUIMAQUINASCOMERCI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PONTOFRIOCOMCOMERC',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ADELINARODRIGUESTE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ALELIAMUNHOZMENGHI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNDONACIONALDESE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - 3TABELIAODENOTAS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MAIAELETROTECNICAL',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - BANESPASANTANDER',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JOAOALVESDEMIRAN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ELIANAFERREIRAROSE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - APEPREMASSOCPTA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MARISEFACCHINIMACH',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MARIANAMELLOFERREI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DIVERSOSCONFORMEFO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JUSTARIEQUIPAMENTOS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ANTONIOMARCOSLEONE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - YULIANNYSMARTINEZQ',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ADIANNISRODRIGUEZH',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MILEIDISYAIMETCORR',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - YADISLENISPEREZALM',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PAPELARIAFERRARILT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - RANDYMARQUEZHERNAN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - YANDYRODRIGUEZRIVA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - YURISLEYDISRODRIGUE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - YUDIALENADIAZESPIN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - 2JUIZO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JUIZ',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JUIZOO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JUIZADO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ART',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SECRETARIA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SAF',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PREF',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - snat',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MULTA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - GARE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - dilig',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - inmetro',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JU',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FDO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ana',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - GRATIFICACAOESPECIA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JRMULTISERVICELTDA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - COOPERATIVATRABDOS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JULIERMEAUGUSTODE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - GRATIFICACAOPROFISS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - GRATIFICACAOAMBULAT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - GRATIFICACAOATIV',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHADEPAGAMENTOS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNDONACSEGEDUCDET',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JUIZODA3VARADO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JUIZODA1VARADOT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JUIZODEDIREITODA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JUIZODEDIREITO1V',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JUIZODEDIRDA2V',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DIVERSOSATLETASEC',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - 1VARAFEDERALDEM',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JUIZODIREITO2VARA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JUIZODA2VARAFED',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - JUIZADOESPECIALCIV',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - 8VARAFEDERALDEE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SECRETESTDAEDUCAC',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MUSICOSDABANDAMUN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - COMISSAOAUXILIOTRA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ANATELAGENCIANAC',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CLAUDIADESAAMARAL',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - BANCOITAUSA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CONDOMINIOBOULEVARD',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MAQUIVELCOMERCIODE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - AGENCIANACIONALDE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FORNECEDORCREDORGEN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SECRETARIARECHIDSAN',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FUNDONACDESEGED',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ALDEVINOVICENTEBOT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SAOESTADODESAOP',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CIALUZEFORCASANT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SMARAPDINFORMATICA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - TAVATELCOMLELETRO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FGTSCAIXAECON',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - INSSINSTITUTONACDO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHAPAGAMENTO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - DEPARTAMENTOESTRADA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SONIAAPCAPOBIANCO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - SULPECASCOMEREPRES',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ROSAAPOLIVEIRACAM',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - VALDEMIRDESENALUS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MARCOSROBERTOMARIA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ANDREAGOESNOZELA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHAPESSOALEFETIV',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHAPESSOALINATIV',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - VEREADORESDACAMARA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHAPESSOALCOMISS',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHAPESSOALCEDIDO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - INSSINSTNACIONALDE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - HITACHIKOKUSAILINE',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - OFICIALJUSTICA',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CARTORIONOGUEIRALI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - BOLSISTASNUCLEOFOR',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - MARLICAMARADASILV',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - ACORDOJUDICIALPROC',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - FOLHAPAGTODEESTAGI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - PROGRAMABOLSAATLET',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CAMPANHAADOTEUMAT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CONSELHODELIBERATIV',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CONSELHOADMINISTRAT',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - CONSELHOFISCALDOI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - LICENCAPREMIO',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - VARADAINFANCIAEJ',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - VEREADORESMUNICIPAI',\n",
       "       'INSCRIÇÃO GENÉRICA-OUTROS - INSTITUTONACIONALS'], dtype=object)"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "mask = df['ds_cpf_cnpj'].apply(lambda x: x.isnumeric())\n",
    "df[mask != True]['identificador_despesa'].unique()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "id_despesa_detalhe\n",
      "ano_exercicio\n",
      "vl_despesa\n",
      "cd_programa\n",
      "cd_acao\n"
     ]
    }
   ],
   "source": [
    "df_num = {}\n",
    "for col in df.select_dtypes(exclude=['object', 'category', 'datetime64']).columns:\n",
    "    print(col)\n",
    "    df_num[col] = df[col].max()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'id_despesa_detalhe': 392568526,\n",
       " 'ano_exercicio': 2017,\n",
       " 'vl_despesa': 460000000.0,\n",
       " 'cd_programa': 9999,\n",
       " 'cd_acao': 30012}"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Maximum values for each \n",
    "df_num"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Analysis of spending description\n",
    "\n",
    "This section randomly samples a few columns, including the `historico_despesa` which contains a detailed text description of every spending entry. This column is the most complicated to be analyzed, since the information contained there is not standardized."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ds_orgao             PREFEITURA MUNICIPAL DE ESPÍRITO SANTO DO PINHAL\n",
      "ds_despesa                             LUIS EUGENIO ORSINI PORRECA ME\n",
      "vl_despesa                                                    1452.48\n",
      "ds_funcao_governo                                            EDUCAÇÃO\n",
      "Name: 1661395, dtype: object \n",
      " FORNECIMENTO PARCELADO DE AGUA MINERAL  EM GARRAFAO DE 20 LITROS  1 AGUA MINERAL NATURAL SEM GAS  ACONDICIONADOS EM  \n",
      "\n",
      "ds_orgao             PREFEITURA MUNICIPAL DE COSMORAMA\n",
      "ds_despesa                   GRAFICA SAO BENTO LTDA-ME\n",
      "vl_despesa                                         180\n",
      "ds_funcao_governo                        ADMINISTRAÇÃO\n",
      "Name: 1460071, dtype: object \n",
      " Despesa com servicos graficos e editoriais. \n",
      "\n",
      "ds_orgao                    PREFEITURA MUNICIPAL DE MARÍLIA\n",
      "ds_despesa           PRAMOTO PECAS PARA TRATORES LTDA   EPP\n",
      "vl_despesa                                           305.03\n",
      "ds_funcao_governo                                 URBANISMO\n",
      "Name: 3238802, dtype: object \n",
      " ANEL KH4190 PORCA LB3015 ROLAMENTO LA1509 RETENTOR KH0920 PISTA DO RETENTOR 251711 TRAVA LB5015 ALAVANCA 240520 ROLAMENTO LA9022 RETENTOR KH0073 CALCO 221210 \n",
      "\n",
      "ds_orgao              PREFEITURA MUNICIPAL DE OUROESTE\n",
      "ds_despesa           SUPERMERCADO MATICOLLI LTDA - EPP\n",
      "vl_despesa                                        4080\n",
      "ds_funcao_governo                            URBANISMO\n",
      "Name: 3901066, dtype: object \n",
      " Proveniente empenho referente tiquetes alimentacao (LEI MUNICIPAL 538/2006) recebidos pelo fornecedor, conforme documentos anexos     (Alterada pela Lei Municipal 1340/2017)    \n",
      "\n",
      "ds_orgao             PREFEITURA MUNICIPAL DE BARRA DO CHAPÉU\n",
      "ds_despesa              ELEKTRO-ELETRICIDADE E SERVICOS S.A.\n",
      "vl_despesa                                            190.52\n",
      "ds_funcao_governo                                AGRICULTURA\n",
      "Name: 626631, dtype: object \n",
      " CONTA MENSAL DE FORNECIMENTO DE ENERGIA ELETRICA, RUA CAMILO DA ROSA, 0 CASA DO PRODUTOR, REFERENTE MES 01/2017. \n",
      "\n",
      "ds_orgao                       PREFEITURA MUNICIPAL DE JUNDIAÍ\n",
      "ds_despesa           FRANCISCO BATISTA FERREIRA PRESENTES - ME\n",
      "vl_despesa                                              3682.8\n",
      "ds_funcao_governo                                        SAÚDE\n",
      "Name: 2907503, dtype: object \n",
      " PILHA COMUM MEDIA C, COM 2 UNIDADES \n",
      "\n",
      "ds_orgao                  PREFEITURA MUNICIPAL DE MACATUBA\n",
      "ds_despesa           COMERCIO DE EMBALAGENS QUINZE LTDA-ME\n",
      "vl_despesa                                           398.7\n",
      "ds_funcao_governo                            ADMINISTRAÇÃO\n",
      "Name: 3149587, dtype: object \n",
      " MATERIAL DE LIMPEZA  \n",
      "\n",
      "ds_orgao             PREFEITURA MUNICIPAL DE GUARARAPES\n",
      "ds_despesa                  INSS-INST.NAC.SEGURO SOCIAL\n",
      "vl_despesa                                       402.35\n",
      "ds_funcao_governo                              EDUCAÇÃO\n",
      "Name: 2014687, dtype: object \n",
      " INCORPORACAO DA FOLHA DE PAGAMENTO - REF.: 08/2017 - Complementar ID:(274)PARA ROSELI DOS SANTOS. \n",
      "\n",
      "ds_orgao             PREFEITURA MUNICIPAL DE PRATÂNIA\n",
      "ds_despesa                         FOLHA DE PAGAMENTO\n",
      "vl_despesa                                    25295.2\n",
      "ds_funcao_governo                            EDUCAÇÃO\n",
      "Name: 4535579, dtype: object \n",
      " VALOR DESTINADO A FOLHA DE PAGAMENTO MES 05/2017 \n",
      "\n",
      "ds_orgao             SERVIÇO AUTONOMO DE AGUA E ESGOTO DE BARRETOS\n",
      "ds_despesa                 DCA DISTRIB  E COM  DE LUBRIF  LTDA EPP\n",
      "vl_despesa                                                    2403\n",
      "ds_funcao_governo                                       SANEAMENTO\n",
      "Name: 652047, dtype: object \n",
      " AQUISICAO DE FILTROS DE OLEO LUBRIFICANTES E DIVERSOS OLEO CAMINHAO IVECO N 13 14 D 40 N 16 F 4000 N 04 18 ASTRA N 27 RETRO CASE N 02 E GOL N 17 1 AQUISICAO DE FILTROS DE OLEO LUBRIFICANTES E DIVERSOS OLEO CAMINHAO IVECO N 13 14 D 40 N 16 F 4000 N 04 18 ASTRA N 27 RETRO CASE N 02 E GOL N 17 \n",
      "\n",
      "ds_orgao             PREFEITURA MUNICIPAL DE CAMPINAS\n",
      "ds_despesa                     JOAO MARIA DE OLIVEIRA\n",
      "vl_despesa                                    24348.4\n",
      "ds_funcao_governo                       ADMINISTRAÇÃO\n",
      "Name: 1123220, dtype: object \n",
      " EXONERAÇÃO...... \n",
      "\n",
      "ds_orgao             PREFEITURA MUNICIPAL DE AREIÓPOLIS\n",
      "ds_despesa                       LUIS RAFAEL DE DEUS-ME\n",
      "vl_despesa                                       1655.8\n",
      "ds_funcao_governo                              EDUCAÇÃO\n",
      "Name: 426225, dtype: object \n",
      " Cereja em calda 2kgMistura para bolo,Bolacha de maizena 400grs,Bolacha água e sal 400grs,Aquisição de gêneros alimentícios para o uso no preparo da Merenda Escolar, conforme anexo III que faz parte integrante deste Edital de Licitação., \n",
      "\n",
      "ds_orgao              PREFEITURA MUNICIPAL DE BADY BASSITT\n",
      "ds_despesa           SILVIO RICARDO PEREIRA DE CARVALHO-ME\n",
      "vl_despesa                                             185\n",
      "ds_funcao_governo                                 EDUCAÇÃO\n",
      "Name: 571700, dtype: object \n",
      " Referente fornecimento de materiais p/EMEI Dirce da Silva Estefani e Isabel Pimentel. \n",
      "\n",
      "ds_orgao              PREFEITURA MUNICIPAL DE RIBEIRÃO GRANDE\n",
      "ds_despesa           MIGUEL SOUTO DE QUEIROZ - TRANSPORTES ME\n",
      "vl_despesa                                            1654.38\n",
      "ds_funcao_governo                                    EDUCAÇÃO\n",
      "Name: 4776230, dtype: object \n",
      " LINHA 31: CAETANOS, ANACLETOS, CRISTAL AO OSCAR, 26 KM, 2º GRAU, MANHÃ, 09 LUGARES \n",
      "\n",
      "ds_orgao             PREFEITURA MUNICIPAL DE  RIBEIRÃO CORRENTE\n",
      "ds_despesa                                   FOLHA DE PAGAMENTO\n",
      "vl_despesa                                              1809.61\n",
      "ds_funcao_governo                                    TRANSPORTE\n",
      "Name: 4754480, dtype: object \n",
      " Referente a Folha de Pagamento do mes 02/2017. \n",
      "\n",
      "ds_orgao                        PREFEITURA MUNICIPAL DE PAULISTÂNIA\n",
      "ds_despesa           CASA DE CARNES SÃO PAULO - PIRATININGA LTDA ME\n",
      "vl_despesa                                                    633.7\n",
      "ds_funcao_governo                                          EDUCAÇÃO\n",
      "Name: 4067950, dtype: object \n",
      " 10 CARNE BOVINA EM CUBOS REFRIGERADA: ACEM CONTENDO 2KG MARCA MONDELI R$ 114,30, 10 CARNE BOVINA MOIDA: MUSCULO CONTENDO 2KG MARCA MONDELI R$ 113,70, 15 CARNE SUINA EM CUBOS REFRIGERADA: TIPO PERNIL CONTENDO 2KG MARCA FRIGOL R$ 143,10, 25 COXINHA DA ASA DE FRANGO MARCA ITABOM R$ 178,00, 10 PEITO DE FRANGO (SASSAMI) MARCA ITABOM R$ 84,60 \n",
      "\n",
      "ds_orgao                   PREFEITURA MUNICIPAL DE RAFARD\n",
      "ds_despesa           INSTITUTO DE APOIO DE GESTÃO A SAÚDE\n",
      "vl_despesa                                         182990\n",
      "ds_funcao_governo                                   SAÚDE\n",
      "Name: 4667290, dtype: object \n",
      " Item 001: CONTRATAÇÃO DE EMPRESA ESPECIALIZADA PARA PRESTAÇÃO DE SERVIÇO DE PLANTÕES MÉDICOS JUNTO AO PRONTO ATENDIMENTO DA UBS RAFARD EM PLANTÕES PRESENCIAIS DE 12 HORAS POR DIA PODENDO SER REALIZADO DE SEGUNDA À DOMINGO INCLUSIVE FERIADOS CONFORME NECESSIDADE.. HORÁRIO DAS 07:0 0HORAS AS 19:00 HORAS (12 HORAS).O PLANTÃO SERÁ REQUISITADO CONFORME ESCALA MÉDICA A SER EMITIDA PELA CHEFE DA DIVISÃO ADMINISTRATIVA DO SETOR DE SAÚDE   Item 002: CONTRATAÇÃO DE EMPRESA ESPECIALIZADA PARA PRESTAÇÃO DE SERVIÇO DE MÉDICO ESPECIALISTA PARA ATENDIMENTO JUNTO À UBS RAFARD. PLANTÕES DE 04 HORAS DIÁRIAS NA ESPECIALIDADE DE GINECOLOGIA COM CONSULTAS AGENDADAS PREVIAMENTE E PREVISÃO DE 20 ATENDIMENTOS.  Item 003: CONTRATAÇÃO DE EMPRESA ESPECIALIZADA PARA PRESTAÇÃO DE SERVIÇO DE MÉDICO ESPECIALISTA PARA ATENDIMENTO JUNTO À UBS RAFARD. PLANTÕES DE 04 HORAS DIÁRIAS NA ESPECIALIDADE DE CLÍNICA MÉDICA COM CONSULTAS AGENDADAS PREVIAMENTE E PREVISÃO DE 20 ATENDIMENTOS. \n",
      "\n",
      "ds_orgao                    PREFEITURA MUNICIPAL DE HOLAMBRA\n",
      "ds_despesa           CAU-CONSELHO ARQUITETURA E URBANISMO/SP\n",
      "vl_despesa                                             89.75\n",
      "ds_funcao_governo                                  URBANISMO\n",
      "Name: 2119174, dtype: object \n",
      " REFERE-SE A DESPESA COM PAGAMENTO DE RRT DE No6475385 COORDENACAO  FISCALIZACAO E RESPONSABILIDADE TECNICA PELO PROJETO DE PAVIMENTACAO DA HBR 165 \n",
      "\n",
      "ds_orgao             PREFEITURA MUNICIPAL DE NOVA ODESSA\n",
      "ds_despesa              E  J  PIANELLI   AUTO PECAS   ME\n",
      "vl_despesa                                          1770\n",
      "ds_funcao_governo                                  SAÚDE\n",
      "Name: 3705322, dtype: object \n",
      " MAO DE OBRA EM VEICULO \n",
      "\n",
      "ds_orgao             PREFEITURA MUNICIPAL DE PANORAMA\n",
      "ds_despesa                 SEGURO OBRIGATORIO - DPVAT\n",
      "vl_despesa                                      67.84\n",
      "ds_funcao_governo                            EDUCAÇÃO\n",
      "Name: 3958244, dtype: object \n",
      " REF. SEGURO OBRIGATORIO - DPVAT 217 - PLACA DMN 0508 (EDUCACAO) \n",
      "\n"
     ]
    }
   ],
   "source": [
    "for i in range(20):\n",
    "    n = int(len(df)* np.random.random())\n",
    "    print(df[['ds_orgao','ds_despesa','vl_despesa','ds_funcao_governo']].iloc[n], '\\n', df['historico_despesa'].iloc[n], '\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "id_despesa_detalhe                                               377763836\n",
       "ano_exercicio                                                         2017\n",
       "ds_municipio                                                      Panorama\n",
       "ds_orgao                                  PREFEITURA MUNICIPAL DE PANORAMA\n",
       "nr_empenho                                                       8381-2017\n",
       "identificador_despesa          IDENTIFICAÇÃO ESPECIAL - SEM CPF/CNPJ - 230\n",
       "ds_despesa                                      SEGURO OBRIGATORIO - DPVAT\n",
       "dt_emissao_despesa                                     2017-10-18 00:00:00\n",
       "vl_despesa                                                           67.84\n",
       "ds_funcao_governo                                                 EDUCAÇÃO\n",
       "ds_subfuncao_governo                                    ENSINO FUNDAMENTAL\n",
       "cd_programa                                                             14\n",
       "ds_programa              ACESSO A EDUCACAO E QUALIDADE DO ENSINO- FUNDA...\n",
       "cd_acao                                                               2045\n",
       "ds_acao                           APOIO GESTAO ENSINO FUNDAMENTAL- PROPRIO\n",
       "ds_fonte_recurso                                                   TESOURO\n",
       "ds_cd_aplicacao_fixo      0220 - ENSINO FUNDAMENTAL - RECURSOS ESPECÍFICOS\n",
       "ds_modalidade_lic                                    DISPENSA DE LICITAÇÃO\n",
       "ds_elemento                                    33903969 - SEGUROS EM GERAL\n",
       "historico_despesa        REF. SEGURO OBRIGATORIO - DPVAT 217 - PLACA DM...\n",
       "ds_cpf_cnpj                                                            230\n",
       "ds_tipo_identif                                               SEM CPF/CNPJ\n",
       "Name: 3958244, dtype: object"
      ]
     },
     "execution_count": 35,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.iloc[n]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Uniqueness check\n",
    "\n",
    "### Checks `id_despesa_detalhe` uniqueness\n",
    "\n",
    "This section confirms that the `id_despesa_detalhe` value is indeed unique for each spending, even considering different years."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sqlalchemy import create_engine\n",
    "engine = create_engine('mysql://root:Dougroot1!@127.0.0.1/db_tce')\n",
    "\n",
    "df2 = pd.read_sql_query('SELECT COUNT(DISTINCT id_despesa_detalhe),'\n",
    "                        'COUNT(id_despesa_detalhe) FROM despesas', con=engine)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>COUNT(DISTINCT id_despesa_detalhe)</th>\n",
       "      <th>COUNT(id_despesa_detalhe)</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>18990734</td>\n",
       "      <td>18990734</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   COUNT(DISTINCT id_despesa_detalhe)  COUNT(id_despesa_detalhe)\n",
       "0                            18990734                   18990734"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df2"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Checks if city names are all similar between years\n",
    "\n",
    "This section confirms that the city names are the same between years 2015 and 2017."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sqlalchemy import create_engine\n",
    "engine = create_engine('mysql://root:Dougroot1!@127.0.0.1/db_tce')\n",
    "\n",
    "df2017 = pd.read_sql_query('SELECT DISTINCT ds_municipio FROM despesas WHERE ano_exercicio=2017', con=engine)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "df2016 = pd.read_sql_query('SELECT DISTINCT ds_municipio FROM despesas WHERE ano_exercicio=2016', con=engine)\n",
    "df2015 = pd.read_sql_query('SELECT DISTINCT ds_municipio FROM despesas WHERE ano_exercicio=2015', con=engine)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df2017.equals(df2016)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df2017.equals(df2015)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Try-out to load only data for specific columns from year 2017\n",
    "\n",
    "This try-out loads exemplifies how to load selected columns from a single year, considering only municipalities that are included in the IBGE table from MySQL."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sqlalchemy import create_engine\n",
    "engine = create_engine('mysql://root:Dougroot1!@127.0.0.1/db_tce')\n",
    "\n",
    "query = 'SELECT id_despesa_detalhe, ds_municipio, ds_funcao_governo, ds_subfuncao_governo, vl_despesa ' \\\n",
    "        'FROM despesas WHERE ano_exercicio=2017 AND ' \\\n",
    "        'ds_municipio IN (SELECT name_city FROM ibge)'\n",
    "df = pd.read_sql_query(query, con=engine)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>id_despesa_detalhe</th>\n",
       "      <th>ds_municipio</th>\n",
       "      <th>ds_funcao_governo</th>\n",
       "      <th>ds_subfuncao_governo</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>354230224</td>\n",
       "      <td>Americana</td>\n",
       "      <td>PREVIDÊNCIA SOCIAL</td>\n",
       "      <td>ADMINISTRAÇÃO GERAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>354624229</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SEGURANÇA PÚBLICA</td>\n",
       "      <td>POLICIAMENTO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>354230741</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SEGURANÇA PÚBLICA</td>\n",
       "      <td>POLICIAMENTO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>354230095</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ASSISTÊNCIA HOSPITALAR E AMBULATORIAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>354230088</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ASSISTÊNCIA HOSPITALAR E AMBULATORIAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>354231170</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ASSISTÊNCIA HOSPITALAR E AMBULATORIAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>354229470</td>\n",
       "      <td>Americana</td>\n",
       "      <td>LEGISLATIVA</td>\n",
       "      <td>AÇÃO LEGISLATIVA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>354230347</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ASSISTÊNCIA HOSPITALAR E AMBULATORIAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>354641136</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ASSISTÊNCIA HOSPITALAR E AMBULATORIAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>354227987</td>\n",
       "      <td>Americana</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>ADMINISTRAÇÃO GERAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>354640606</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ASSISTÊNCIA HOSPITALAR E AMBULATORIAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>354638961</td>\n",
       "      <td>Americana</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>ADMINISTRAÇÃO FINANCEIRA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>354228135</td>\n",
       "      <td>Americana</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>ADMINISTRAÇÃO GERAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>354637071</td>\n",
       "      <td>Americana</td>\n",
       "      <td>EDUCAÇÃO</td>\n",
       "      <td>EDUCAÇÃO INFANTIL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>354229297</td>\n",
       "      <td>Americana</td>\n",
       "      <td>URBANISMO</td>\n",
       "      <td>SERVIÇOS URBNOS</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>354228033</td>\n",
       "      <td>Americana</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>ADMINISTRAÇÃO GERAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>354230119</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SANEAMENTO</td>\n",
       "      <td>SANEAMENTO BÁSICO URBANO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>358154978</td>\n",
       "      <td>Americana</td>\n",
       "      <td>EDUCAÇÃO</td>\n",
       "      <td>EDUCAÇÃO INFANTIL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>354641449</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ASSISTÊNCIA HOSPITALAR E AMBULATORIAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>354228473</td>\n",
       "      <td>Americana</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>ADMINISTRAÇÃO FINANCEIRA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>354227944</td>\n",
       "      <td>Americana</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>ADMINISTRAÇÃO GERAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>354228943</td>\n",
       "      <td>Americana</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>ADMINISTRAÇÃO FINANCEIRA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>354230312</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ASSISTÊNCIA HOSPITALAR E AMBULATORIAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>354231230</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ASSISTÊNCIA HOSPITALAR E AMBULATORIAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>354230732</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ASSISTÊNCIA HOSPITALAR E AMBULATORIAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>354637111</td>\n",
       "      <td>Americana</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>ADMINISTRAÇÃO FINANCEIRA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>354637014</td>\n",
       "      <td>Americana</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>ADMINISTRAÇÃO FINANCEIRA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>354231609</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ASSISTÊNCIA HOSPITALAR E AMBULATORIAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>354231222</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ASSISTÊNCIA HOSPITALAR E AMBULATORIAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>354230389</td>\n",
       "      <td>Americana</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ASSISTÊNCIA HOSPITALAR E AMBULATORIAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706192</th>\n",
       "      <td>383844334</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ATENÇÃO BÁSICA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706193</th>\n",
       "      <td>383843729</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ATENÇÃO BÁSICA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706194</th>\n",
       "      <td>383843751</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ATENÇÃO BÁSICA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706195</th>\n",
       "      <td>383845821</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>COMÉRCIO E SERVIÇOS</td>\n",
       "      <td>TURISMO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706196</th>\n",
       "      <td>383843813</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>COMÉRCIO E SERVIÇOS</td>\n",
       "      <td>TURISMO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706197</th>\n",
       "      <td>383843833</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>COMÉRCIO E SERVIÇOS</td>\n",
       "      <td>TURISMO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706198</th>\n",
       "      <td>383843365</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ATENÇÃO BÁSICA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706199</th>\n",
       "      <td>383844310</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ATENÇÃO BÁSICA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706200</th>\n",
       "      <td>383845808</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ATENÇÃO BÁSICA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706201</th>\n",
       "      <td>383844879</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ATENÇÃO BÁSICA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706202</th>\n",
       "      <td>385485943</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>URBANISMO</td>\n",
       "      <td>SERVIÇOS URBNOS</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706203</th>\n",
       "      <td>385484907</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>URBANISMO</td>\n",
       "      <td>SERVIÇOS URBNOS</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706204</th>\n",
       "      <td>383843830</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ATENÇÃO BÁSICA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706205</th>\n",
       "      <td>383845314</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ATENÇÃO BÁSICA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706206</th>\n",
       "      <td>385487282</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>ADMINISTRAÇÃO DE RECEITAS</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706207</th>\n",
       "      <td>383844719</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>EDUCAÇÃO</td>\n",
       "      <td>ENSINO FUNDAMENTAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706208</th>\n",
       "      <td>383842870</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ATENÇÃO BÁSICA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706209</th>\n",
       "      <td>385490971</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>ADMINISTRAÇÃO GERAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706210</th>\n",
       "      <td>383844377</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>ASSISTÊNCIA SOCIAL</td>\n",
       "      <td>ASSISTÊNCIA COMUNITÁRIA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706211</th>\n",
       "      <td>383846277</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>CULTURA</td>\n",
       "      <td>DIFUSÃO CULTURAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706212</th>\n",
       "      <td>383844332</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>TRANSPORTE</td>\n",
       "      <td>TRANSPORTE RODOVIÁRIO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706213</th>\n",
       "      <td>383843802</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>URBANISMO</td>\n",
       "      <td>INFRA-ESTRUTURA URBANA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706214</th>\n",
       "      <td>385483899</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>TECNOLOGIA DA INFORMATIZAÇÃO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706215</th>\n",
       "      <td>385492319</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>TRANSPORTE</td>\n",
       "      <td>TRANSPORTE RODOVIÁRIO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706216</th>\n",
       "      <td>383320186</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>TRANSPORTE</td>\n",
       "      <td>TRANSPORTE RODOVIÁRIO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706217</th>\n",
       "      <td>383842340</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ATENÇÃO BÁSICA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706218</th>\n",
       "      <td>385492000</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>ADMINISTRAÇÃO GERAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706219</th>\n",
       "      <td>383844226</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>ASSISTÊNCIA SOCIAL</td>\n",
       "      <td>ASSISTÊNCIA COMUNITÁRIA</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706220</th>\n",
       "      <td>383311760</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>ADMINISTRAÇÃO</td>\n",
       "      <td>TECNOLOGIA DA INFORMATIZAÇÃO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9706221</th>\n",
       "      <td>383845860</td>\n",
       "      <td>Votuporanga</td>\n",
       "      <td>SAÚDE</td>\n",
       "      <td>ASSISTÊNCIA HOSPITALAR E AMBULATORIAL</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>9706222 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "         id_despesa_detalhe ds_municipio    ds_funcao_governo  \\\n",
       "0                 354230224    Americana   PREVIDÊNCIA SOCIAL   \n",
       "1                 354624229    Americana    SEGURANÇA PÚBLICA   \n",
       "2                 354230741    Americana    SEGURANÇA PÚBLICA   \n",
       "3                 354230095    Americana                SAÚDE   \n",
       "4                 354230088    Americana                SAÚDE   \n",
       "5                 354231170    Americana                SAÚDE   \n",
       "6                 354229470    Americana          LEGISLATIVA   \n",
       "7                 354230347    Americana                SAÚDE   \n",
       "8                 354641136    Americana                SAÚDE   \n",
       "9                 354227987    Americana        ADMINISTRAÇÃO   \n",
       "10                354640606    Americana                SAÚDE   \n",
       "11                354638961    Americana        ADMINISTRAÇÃO   \n",
       "12                354228135    Americana        ADMINISTRAÇÃO   \n",
       "13                354637071    Americana             EDUCAÇÃO   \n",
       "14                354229297    Americana            URBANISMO   \n",
       "15                354228033    Americana        ADMINISTRAÇÃO   \n",
       "16                354230119    Americana           SANEAMENTO   \n",
       "17                358154978    Americana             EDUCAÇÃO   \n",
       "18                354641449    Americana                SAÚDE   \n",
       "19                354228473    Americana        ADMINISTRAÇÃO   \n",
       "20                354227944    Americana        ADMINISTRAÇÃO   \n",
       "21                354228943    Americana        ADMINISTRAÇÃO   \n",
       "22                354230312    Americana                SAÚDE   \n",
       "23                354231230    Americana                SAÚDE   \n",
       "24                354230732    Americana                SAÚDE   \n",
       "25                354637111    Americana        ADMINISTRAÇÃO   \n",
       "26                354637014    Americana        ADMINISTRAÇÃO   \n",
       "27                354231609    Americana                SAÚDE   \n",
       "28                354231222    Americana                SAÚDE   \n",
       "29                354230389    Americana                SAÚDE   \n",
       "...                     ...          ...                  ...   \n",
       "9706192           383844334  Votuporanga                SAÚDE   \n",
       "9706193           383843729  Votuporanga                SAÚDE   \n",
       "9706194           383843751  Votuporanga                SAÚDE   \n",
       "9706195           383845821  Votuporanga  COMÉRCIO E SERVIÇOS   \n",
       "9706196           383843813  Votuporanga  COMÉRCIO E SERVIÇOS   \n",
       "9706197           383843833  Votuporanga  COMÉRCIO E SERVIÇOS   \n",
       "9706198           383843365  Votuporanga                SAÚDE   \n",
       "9706199           383844310  Votuporanga                SAÚDE   \n",
       "9706200           383845808  Votuporanga                SAÚDE   \n",
       "9706201           383844879  Votuporanga                SAÚDE   \n",
       "9706202           385485943  Votuporanga            URBANISMO   \n",
       "9706203           385484907  Votuporanga            URBANISMO   \n",
       "9706204           383843830  Votuporanga                SAÚDE   \n",
       "9706205           383845314  Votuporanga                SAÚDE   \n",
       "9706206           385487282  Votuporanga        ADMINISTRAÇÃO   \n",
       "9706207           383844719  Votuporanga             EDUCAÇÃO   \n",
       "9706208           383842870  Votuporanga                SAÚDE   \n",
       "9706209           385490971  Votuporanga        ADMINISTRAÇÃO   \n",
       "9706210           383844377  Votuporanga   ASSISTÊNCIA SOCIAL   \n",
       "9706211           383846277  Votuporanga              CULTURA   \n",
       "9706212           383844332  Votuporanga           TRANSPORTE   \n",
       "9706213           383843802  Votuporanga            URBANISMO   \n",
       "9706214           385483899  Votuporanga        ADMINISTRAÇÃO   \n",
       "9706215           385492319  Votuporanga           TRANSPORTE   \n",
       "9706216           383320186  Votuporanga           TRANSPORTE   \n",
       "9706217           383842340  Votuporanga                SAÚDE   \n",
       "9706218           385492000  Votuporanga        ADMINISTRAÇÃO   \n",
       "9706219           383844226  Votuporanga   ASSISTÊNCIA SOCIAL   \n",
       "9706220           383311760  Votuporanga        ADMINISTRAÇÃO   \n",
       "9706221           383845860  Votuporanga                SAÚDE   \n",
       "\n",
       "                          ds_subfuncao_governo  \n",
       "0                          ADMINISTRAÇÃO GERAL  \n",
       "1                                 POLICIAMENTO  \n",
       "2                                 POLICIAMENTO  \n",
       "3        ASSISTÊNCIA HOSPITALAR E AMBULATORIAL  \n",
       "4        ASSISTÊNCIA HOSPITALAR E AMBULATORIAL  \n",
       "5        ASSISTÊNCIA HOSPITALAR E AMBULATORIAL  \n",
       "6                             AÇÃO LEGISLATIVA  \n",
       "7        ASSISTÊNCIA HOSPITALAR E AMBULATORIAL  \n",
       "8        ASSISTÊNCIA HOSPITALAR E AMBULATORIAL  \n",
       "9                          ADMINISTRAÇÃO GERAL  \n",
       "10       ASSISTÊNCIA HOSPITALAR E AMBULATORIAL  \n",
       "11                    ADMINISTRAÇÃO FINANCEIRA  \n",
       "12                         ADMINISTRAÇÃO GERAL  \n",
       "13                           EDUCAÇÃO INFANTIL  \n",
       "14                             SERVIÇOS URBNOS  \n",
       "15                         ADMINISTRAÇÃO GERAL  \n",
       "16                    SANEAMENTO BÁSICO URBANO  \n",
       "17                           EDUCAÇÃO INFANTIL  \n",
       "18       ASSISTÊNCIA HOSPITALAR E AMBULATORIAL  \n",
       "19                    ADMINISTRAÇÃO FINANCEIRA  \n",
       "20                         ADMINISTRAÇÃO GERAL  \n",
       "21                    ADMINISTRAÇÃO FINANCEIRA  \n",
       "22       ASSISTÊNCIA HOSPITALAR E AMBULATORIAL  \n",
       "23       ASSISTÊNCIA HOSPITALAR E AMBULATORIAL  \n",
       "24       ASSISTÊNCIA HOSPITALAR E AMBULATORIAL  \n",
       "25                    ADMINISTRAÇÃO FINANCEIRA  \n",
       "26                    ADMINISTRAÇÃO FINANCEIRA  \n",
       "27       ASSISTÊNCIA HOSPITALAR E AMBULATORIAL  \n",
       "28       ASSISTÊNCIA HOSPITALAR E AMBULATORIAL  \n",
       "29       ASSISTÊNCIA HOSPITALAR E AMBULATORIAL  \n",
       "...                                        ...  \n",
       "9706192                         ATENÇÃO BÁSICA  \n",
       "9706193                         ATENÇÃO BÁSICA  \n",
       "9706194                         ATENÇÃO BÁSICA  \n",
       "9706195                                TURISMO  \n",
       "9706196                                TURISMO  \n",
       "9706197                                TURISMO  \n",
       "9706198                         ATENÇÃO BÁSICA  \n",
       "9706199                         ATENÇÃO BÁSICA  \n",
       "9706200                         ATENÇÃO BÁSICA  \n",
       "9706201                         ATENÇÃO BÁSICA  \n",
       "9706202                        SERVIÇOS URBNOS  \n",
       "9706203                        SERVIÇOS URBNOS  \n",
       "9706204                         ATENÇÃO BÁSICA  \n",
       "9706205                         ATENÇÃO BÁSICA  \n",
       "9706206              ADMINISTRAÇÃO DE RECEITAS  \n",
       "9706207                     ENSINO FUNDAMENTAL  \n",
       "9706208                         ATENÇÃO BÁSICA  \n",
       "9706209                    ADMINISTRAÇÃO GERAL  \n",
       "9706210                ASSISTÊNCIA COMUNITÁRIA  \n",
       "9706211                       DIFUSÃO CULTURAL  \n",
       "9706212                  TRANSPORTE RODOVIÁRIO  \n",
       "9706213                 INFRA-ESTRUTURA URBANA  \n",
       "9706214           TECNOLOGIA DA INFORMATIZAÇÃO  \n",
       "9706215                  TRANSPORTE RODOVIÁRIO  \n",
       "9706216                  TRANSPORTE RODOVIÁRIO  \n",
       "9706217                         ATENÇÃO BÁSICA  \n",
       "9706218                    ADMINISTRAÇÃO GERAL  \n",
       "9706219                ASSISTÊNCIA COMUNITÁRIA  \n",
       "9706220           TECNOLOGIA DA INFORMATIZAÇÃO  \n",
       "9706221  ASSISTÊNCIA HOSPITALAR E AMBULATORIAL  \n",
       "\n",
       "[9706222 rows x 4 columns]"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 9706222 entries, 0 to 9706221\n",
      "Data columns (total 4 columns):\n",
      "id_despesa_detalhe      int64\n",
      "ds_municipio            object\n",
      "ds_funcao_governo       object\n",
      "ds_subfuncao_governo    object\n",
      "dtypes: int64(1), object(3)\n",
      "memory usage: 296.2+ MB\n"
     ]
    }
   ],
   "source": [
    "df.info()"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}