data_reading.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "1074ce34",
   "metadata": {},
   "outputs": [],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "import pickle\n",
    "import astropy.coordinates as coord\n",
    "import astropy.units as u\n",
    "from astropy.io import ascii\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "036356aa",
   "metadata": {},
   "source": [
    "### Useful functions"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bd01561b",
   "metadata": {},
   "source": [
    "## Table2.txt\n",
    "read table2.txt and calculate a dictionary of positions for each field"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "293f1711",
   "metadata": {},
   "outputs": [],
   "source": [
    "tab2col = ['yr','mon','d','h','min','s','mjd','RAh','RAm','RAs','DEd','DEm','DEs','ExpID','FieldID','Other','PID','Filter','Exp']\n",
    "file = './catdata/Table2.txt'\n",
    "tab2df = pd.read_csv(file, header=0, index_col=False, names=tab2col,delim_whitespace=True)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "fae6b2ce",
   "metadata": {},
   "outputs": [],
   "source": [
    "tab2df = tab2df[['RAh','RAm','RAs','DEd','DEm','DEs','FieldID']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "87d10ebf",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>RAh</th>\n",
       "      <th>RAm</th>\n",
       "      <th>RAs</th>\n",
       "      <th>DEd</th>\n",
       "      <th>DEm</th>\n",
       "      <th>DEs</th>\n",
       "      <th>FieldID</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>33</td>\n",
       "      <td>51.00</td>\n",
       "      <td>30</td>\n",
       "      <td>39</td>\n",
       "      <td>36.8</td>\n",
       "      <td>m026</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>33</td>\n",
       "      <td>50.99</td>\n",
       "      <td>30</td>\n",
       "      <td>39</td>\n",
       "      <td>37.0</td>\n",
       "      <td>m026</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1</td>\n",
       "      <td>33</td>\n",
       "      <td>50.99</td>\n",
       "      <td>30</td>\n",
       "      <td>39</td>\n",
       "      <td>36.9</td>\n",
       "      <td>m026</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>1</td>\n",
       "      <td>33</td>\n",
       "      <td>51.00</td>\n",
       "      <td>30</td>\n",
       "      <td>39</td>\n",
       "      <td>37.0</td>\n",
       "      <td>m026</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>1</td>\n",
       "      <td>33</td>\n",
       "      <td>51.00</td>\n",
       "      <td>30</td>\n",
       "      <td>39</td>\n",
       "      <td>36.9</td>\n",
       "      <td>m026</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2979</th>\n",
       "      <td>0</td>\n",
       "      <td>35</td>\n",
       "      <td>28.02</td>\n",
       "      <td>37</td>\n",
       "      <td>15</td>\n",
       "      <td>47.1</td>\n",
       "      <td>m167</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2980</th>\n",
       "      <td>0</td>\n",
       "      <td>50</td>\n",
       "      <td>18.89</td>\n",
       "      <td>37</td>\n",
       "      <td>15</td>\n",
       "      <td>47.7</td>\n",
       "      <td>m166</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2981</th>\n",
       "      <td>0</td>\n",
       "      <td>50</td>\n",
       "      <td>19.31</td>\n",
       "      <td>37</td>\n",
       "      <td>15</td>\n",
       "      <td>32.8</td>\n",
       "      <td>m166</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2982</th>\n",
       "      <td>0</td>\n",
       "      <td>50</td>\n",
       "      <td>20.15</td>\n",
       "      <td>37</td>\n",
       "      <td>15</td>\n",
       "      <td>42.8</td>\n",
       "      <td>m166</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2983</th>\n",
       "      <td>0</td>\n",
       "      <td>50</td>\n",
       "      <td>20.14</td>\n",
       "      <td>37</td>\n",
       "      <td>15</td>\n",
       "      <td>42.8</td>\n",
       "      <td>m166</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>2984 rows × 7 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "      RAh  RAm    RAs  DEd  DEm   DEs FieldID\n",
       "0       1   33  51.00   30   39  36.8    m026\n",
       "1       1   33  50.99   30   39  37.0    m026\n",
       "2       1   33  50.99   30   39  36.9    m026\n",
       "3       1   33  51.00   30   39  37.0    m026\n",
       "4       1   33  51.00   30   39  36.9    m026\n",
       "...   ...  ...    ...  ...  ...   ...     ...\n",
       "2979    0   35  28.02   37   15  47.1    m167\n",
       "2980    0   50  18.89   37   15  47.7    m166\n",
       "2981    0   50  19.31   37   15  32.8    m166\n",
       "2982    0   50  20.15   37   15  42.8    m166\n",
       "2983    0   50  20.14   37   15  42.8    m166\n",
       "\n",
       "[2984 rows x 7 columns]"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tab2df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "5a5e289b",
   "metadata": {},
   "outputs": [],
   "source": [
    "fields = set(tab2df['FieldID'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "ff85c44c",
   "metadata": {},
   "outputs": [],
   "source": [
    "field_positions = {}\n",
    "for f in fields:\n",
    "    d = tab2df[tab2df['FieldID']==f].iloc[0] # take a single entry as the RA, Dec values are very similar\n",
    "    RA = 15*(d[0]+d[1]/60+d[2]/3600)\n",
    "    Dec = d[3]+d[4]/60+d[5]/3600\n",
    "    field_positions[f] = (RA,Dec)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "fffe40c8",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'m001',\n",
       " 'm002',\n",
       " 'm003',\n",
       " 'm004',\n",
       " 'm005',\n",
       " 'm006',\n",
       " 'm007',\n",
       " 'm008',\n",
       " 'm009',\n",
       " 'm010',\n",
       " 'm011',\n",
       " 'm012',\n",
       " 'm013',\n",
       " 'm014',\n",
       " 'm015',\n",
       " 'm016',\n",
       " 'm017',\n",
       " 'm018',\n",
       " 'm019',\n",
       " 'm020',\n",
       " 'm021',\n",
       " 'm022',\n",
       " 'm023',\n",
       " 'm024',\n",
       " 'm025',\n",
       " 'm026',\n",
       " 'm027',\n",
       " 'm028',\n",
       " 'm029',\n",
       " 'm030',\n",
       " 'm031',\n",
       " 'm032',\n",
       " 'm033',\n",
       " 'm034',\n",
       " 'm035',\n",
       " 'm036',\n",
       " 'm037',\n",
       " 'm038',\n",
       " 'm039',\n",
       " 'm040',\n",
       " 'm041',\n",
       " 'm042',\n",
       " 'm043',\n",
       " 'm044',\n",
       " 'm045',\n",
       " 'm046',\n",
       " 'm047',\n",
       " 'm048',\n",
       " 'm049',\n",
       " 'm050',\n",
       " 'm051',\n",
       " 'm052',\n",
       " 'm053',\n",
       " 'm054',\n",
       " 'm055',\n",
       " 'm056',\n",
       " 'm057',\n",
       " 'm058',\n",
       " 'm059',\n",
       " 'm060',\n",
       " 'm061',\n",
       " 'm062',\n",
       " 'm063',\n",
       " 'm064',\n",
       " 'm065',\n",
       " 'm066',\n",
       " 'm067',\n",
       " 'm068',\n",
       " 'm069',\n",
       " 'm070',\n",
       " 'm071',\n",
       " 'm072',\n",
       " 'm073',\n",
       " 'm074',\n",
       " 'm075',\n",
       " 'm076',\n",
       " 'm077',\n",
       " 'm078',\n",
       " 'm079',\n",
       " 'm080',\n",
       " 'm081',\n",
       " 'm082',\n",
       " 'm083',\n",
       " 'm084',\n",
       " 'm085',\n",
       " 'm086',\n",
       " 'm087',\n",
       " 'm088',\n",
       " 'm089',\n",
       " 'm090',\n",
       " 'm091',\n",
       " 'm092',\n",
       " 'm093',\n",
       " 'm094',\n",
       " 'm095',\n",
       " 'm096',\n",
       " 'm097',\n",
       " 'm098',\n",
       " 'm099',\n",
       " 'm100',\n",
       " 'm101',\n",
       " 'm102',\n",
       " 'm103',\n",
       " 'm104',\n",
       " 'm105',\n",
       " 'm106',\n",
       " 'm107',\n",
       " 'm108',\n",
       " 'm109',\n",
       " 'm110',\n",
       " 'm111',\n",
       " 'm112',\n",
       " 'm113',\n",
       " 'm114',\n",
       " 'm115',\n",
       " 'm116',\n",
       " 'm117',\n",
       " 'm118',\n",
       " 'm119',\n",
       " 'm120',\n",
       " 'm121',\n",
       " 'm122',\n",
       " 'm123',\n",
       " 'm124',\n",
       " 'm125',\n",
       " 'm126',\n",
       " 'm127',\n",
       " 'm128',\n",
       " 'm129',\n",
       " 'm130',\n",
       " 'm131',\n",
       " 'm132',\n",
       " 'm133',\n",
       " 'm134',\n",
       " 'm135',\n",
       " 'm136',\n",
       " 'm137',\n",
       " 'm138',\n",
       " 'm139',\n",
       " 'm140',\n",
       " 'm141',\n",
       " 'm142',\n",
       " 'm143',\n",
       " 'm144',\n",
       " 'm145',\n",
       " 'm146',\n",
       " 'm147',\n",
       " 'm148',\n",
       " 'm149',\n",
       " 'm150',\n",
       " 'm151',\n",
       " 'm152',\n",
       " 'm153',\n",
       " 'm154',\n",
       " 'm155',\n",
       " 'm156',\n",
       " 'm157',\n",
       " 'm158',\n",
       " 'm159',\n",
       " 'm160',\n",
       " 'm161',\n",
       " 'm162',\n",
       " 'm163',\n",
       " 'm164',\n",
       " 'm165',\n",
       " 'm166',\n",
       " 'm167',\n",
       " 'm168',\n",
       " 'm169',\n",
       " 'm170',\n",
       " 'm171',\n",
       " 'm172',\n",
       " 'm173',\n",
       " 'm174',\n",
       " 'm175',\n",
       " 'm176',\n",
       " 'm177',\n",
       " 'm178',\n",
       " 'm179',\n",
       " 'm180',\n",
       " 'm181',\n",
       " 'm182',\n",
       " 'm183',\n",
       " 'm184',\n",
       " 'm185',\n",
       " 'm186',\n",
       " 'm187',\n",
       " 'm188',\n",
       " 'm189',\n",
       " 'm190',\n",
       " 'm191',\n",
       " 'm192',\n",
       " 'm193',\n",
       " 'm194',\n",
       " 'm195',\n",
       " 'm196',\n",
       " 'm197',\n",
       " 'm198',\n",
       " 'm199',\n",
       " 'm200',\n",
       " 'm201',\n",
       " 'm202',\n",
       " 'm203',\n",
       " 'm204',\n",
       " 'm205',\n",
       " 'm206',\n",
       " 'm207',\n",
       " 'm208',\n",
       " 'm209',\n",
       " 'm210',\n",
       " 'm211',\n",
       " 'm212',\n",
       " 'm213',\n",
       " 'm214',\n",
       " 'm215',\n",
       " 'm216',\n",
       " 'm217',\n",
       " 'm218',\n",
       " 'm219',\n",
       " 'm220',\n",
       " 'm221',\n",
       " 'm222',\n",
       " 'm223',\n",
       " 'm224',\n",
       " 'm225',\n",
       " 'm226',\n",
       " 'm227',\n",
       " 'm228',\n",
       " 'm229',\n",
       " 'm230',\n",
       " 'm231',\n",
       " 'm232',\n",
       " 'm233',\n",
       " 'm234',\n",
       " 'm235',\n",
       " 'm236',\n",
       " 'm237',\n",
       " 'm238',\n",
       " 'm239',\n",
       " 'm240',\n",
       " 'm241',\n",
       " 'm242',\n",
       " 'm243',\n",
       " 'm244',\n",
       " 'm245',\n",
       " 'm246',\n",
       " 'm247',\n",
       " 'm248',\n",
       " 'm249',\n",
       " 'm250',\n",
       " 'm251',\n",
       " 'm252',\n",
       " 'm253',\n",
       " 'm254',\n",
       " 'm255',\n",
       " 'm256',\n",
       " 'm257',\n",
       " 'm258',\n",
       " 'm259',\n",
       " 'm260',\n",
       " 'm261',\n",
       " 'm262',\n",
       " 'm263',\n",
       " 'm264',\n",
       " 'm265',\n",
       " 'm266',\n",
       " 'm267',\n",
       " 'm268',\n",
       " 'm269',\n",
       " 'm270',\n",
       " 'm271',\n",
       " 'm272',\n",
       " 'm273',\n",
       " 'm274',\n",
       " 'm275',\n",
       " 'm276',\n",
       " 'm277',\n",
       " 'm278',\n",
       " 'm279',\n",
       " 'm280',\n",
       " 'm281',\n",
       " 'm282',\n",
       " 'm283',\n",
       " 'm284',\n",
       " 'm285',\n",
       " 'm286',\n",
       " 'm287',\n",
       " 'm288',\n",
       " 'm289',\n",
       " 'm290',\n",
       " 'm291',\n",
       " 'm292',\n",
       " 'm293',\n",
       " 'm294',\n",
       " 'm295',\n",
       " 'm296',\n",
       " 'm297',\n",
       " 'm298',\n",
       " 'm299',\n",
       " 'm300',\n",
       " 'm301',\n",
       " 'm302',\n",
       " 'm303',\n",
       " 'm304',\n",
       " 'm305',\n",
       " 'm306',\n",
       " 'm307',\n",
       " 'm308',\n",
       " 'm309',\n",
       " 'm310',\n",
       " 'm311',\n",
       " 'm312',\n",
       " 'm313',\n",
       " 'm314',\n",
       " 'm315',\n",
       " 'm316',\n",
       " 'm317',\n",
       " 'm318',\n",
       " 'm319',\n",
       " 'm320',\n",
       " 'm321',\n",
       " 'm322',\n",
       " 'm323',\n",
       " 'm324',\n",
       " 'm325',\n",
       " 'm326',\n",
       " 'm327',\n",
       " 'm328',\n",
       " 'm329',\n",
       " 'm330',\n",
       " 'm331',\n",
       " 'm332',\n",
       " 'm333',\n",
       " 'm334',\n",
       " 'm335',\n",
       " 'm336',\n",
       " 'm337',\n",
       " 'm338',\n",
       " 'm339',\n",
       " 'm340',\n",
       " 'm341',\n",
       " 'm342',\n",
       " 'm343',\n",
       " 'm344',\n",
       " 'm345',\n",
       " 'm346',\n",
       " 'm347',\n",
       " 'm348',\n",
       " 'm349',\n",
       " 'm350',\n",
       " 'm351',\n",
       " 'm352',\n",
       " 'm353',\n",
       " 'm354',\n",
       " 'm355',\n",
       " 'm356',\n",
       " 'm357',\n",
       " 'm358',\n",
       " 'm359',\n",
       " 'm360',\n",
       " 'm361',\n",
       " 'm362',\n",
       " 'm363',\n",
       " 'm364',\n",
       " 'm365',\n",
       " 'm366',\n",
       " 'm367',\n",
       " 'm368',\n",
       " 'm369',\n",
       " 'm370',\n",
       " 'm371',\n",
       " 'm372',\n",
       " 'm373',\n",
       " 'm374',\n",
       " 'm375',\n",
       " 'm376',\n",
       " 'm377',\n",
       " 'm378',\n",
       " 'm379',\n",
       " 'm380',\n",
       " 'm381',\n",
       " 'm382',\n",
       " 'm383',\n",
       " 'm384',\n",
       " 'm385',\n",
       " 'm386',\n",
       " 'm387',\n",
       " 'm388',\n",
       " 'm389',\n",
       " 'm390',\n",
       " 'm391',\n",
       " 'm392',\n",
       " 'm393',\n",
       " 'm394',\n",
       " 'm395',\n",
       " 'm396',\n",
       " 'm397',\n",
       " 'm398',\n",
       " 'm399',\n",
       " 'm400',\n",
       " 'm401',\n",
       " 'm402',\n",
       " 'm403',\n",
       " 'm404',\n",
       " 'm405',\n",
       " 'm406'}"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "fields"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "cbe4ed6a",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'m036': (13.481666666666667, 31.325305555555556),\n",
       " 'm014': (23.462083333333336, 29.66),\n",
       " 'm335': (4.10425, 45.09580555555556),\n",
       " 'm402': (8.124333333333333, 49.13977777777778),\n",
       " 'm346': (10.900458333333333, 45.74475),\n",
       " 'm058': (24.012125, 32.29),\n",
       " 'm061': (8.689916666666667, 32.334833333333336),\n",
       " 'm101': (8.290291666666667, 34.280388888888886),\n",
       " 'm232': (12.110708333333333, 40.192249999999994),\n",
       " 'm283': (22.377416666666665, 42.696861111111104),\n",
       " 'm137': (2.9444166666666667, 36.12213888888889),\n",
       " 'm319': (6.825708333333333, 44.16191666666666),\n",
       " 'm288': (0.2980833333333333, 42.846361111111115),\n",
       " 'm330': (0.151875, 44.82325),\n",
       " 'm171': (20.809375, 37.70880555555556),\n",
       " 'm342': (22.939083333333333, 45.534666666666666),\n",
       " 'm113': (17.678541666666668, 35.08261111111111),\n",
       " 'm197': (0.7802083333333334, 38.902499999999996),\n",
       " 'm381': (10.914375, 47.73525),\n",
       " 'm375': (13.594, 47.136361111111114),\n",
       " 'm030': (22.762083333333333, 30.889972222222223),\n",
       " 'm001': (24.562083333333334, 27.64),\n",
       " 'm242': (19.674333333333333, 40.831611111111116),\n",
       " 'm051': (17.762083333333333, 32.2),\n",
       " 'm146': (9.07325, 36.271),\n",
       " 'm397': (10.914375, 48.73525),\n",
       " 'm259': (357.04158333333334, 41.617694444444446),\n",
       " 'm403': (9.519333333333332, 49.73838888888889),\n",
       " 'm020': (13.462083333333334, 30.310000000000002),\n",
       " 'm084': (10.842583333333334, 33.32044444444445),\n",
       " 'm400': (5.185208333333334, 49.08744444444444),\n",
       " 'm055': (6.412083333333333, 32.24),\n",
       " 'm226': (4.279083333333333, 40.127722222222225),\n",
       " 'm230': (5.572666666666666, 40.18486111111111),\n",
       " 'm097': (15.406499999999998, 34.213055555555556),\n",
       " 'm401': (6.635208333333333, 49.12744444444444),\n",
       " 'm395': (8.124333333333333, 48.13972222222222),\n",
       " 'm021': (12.362083333333333, 30.33),\n",
       " 'm091': (17.757166666666667, 34.10025),\n",
       " 'm269': (18.486625000000004, 41.981750000000005),\n",
       " 'm222': (18.591708333333337, 39.97663888888889),\n",
       " 'm115': (22.200000000000003, 35.149972222222225),\n",
       " 'm034': (15.562083333333335, 31.253972222222224),\n",
       " 'm105': (10.676874999999999, 34.31758333333334),\n",
       " 'm161': (5.117916666666666, 37.17369444444444),\n",
       " 'm072': (3.8442083333333334, 33.13294444444445),\n",
       " 'm142': (6.635875, 36.2135),\n",
       " 'm157': (17.55241666666667, 37.04105555555555),\n",
       " 'm004': (24.562083333333334, 28.64),\n",
       " 'm327': (10.894, 44.74927777777778),\n",
       " 'm049': (22.913208333333333, 31.850055555555556),\n",
       " 'm074': (5.002041666666666, 33.191111111111105),\n",
       " 'm008': (22.362083333333334, 28.939972222222224),\n",
       " 'm094': (16.58429166666667, 34.16211111111111),\n",
       " 'm059': (13.343666666666667, 32.30133333333333),\n",
       " 'm317': (13.534333333333334, 44.151805555555555),\n",
       " 'm011': (11.762083333333333, 29.35),\n",
       " 'm166': (12.579791666666667, 37.260527777777774),\n",
       " 'm210': (9.678458333333333, 39.202444444444446),\n",
       " 'm274': (14.826916666666666, 42.160666666666664),\n",
       " 'm245': (18.396583333333336, 40.980333333333334),\n",
       " 'm406': (8.124333333333333, 50.13972222222222),\n",
       " 'm033': (16.562083333333334, 31.226999999999997),\n",
       " 'm079': (7.330875000000001, 33.27547222222222),\n",
       " 'm343': (12.200166666666668, 45.54394444444444),\n",
       " 'm240': (22.292083333333334, 40.72405555555556),\n",
       " 'm246': (3.5467083333333336, 41.052638888888886),\n",
       " 'm179': (17.099833333333333, 38.06272222222222),\n",
       " 'm286': (9.538291666666666, 42.76152777777778),\n",
       " 'm063': (9.853541666666668, 32.34247222222223),\n",
       " 'm287': (19.838166666666666, 42.83122222222222),\n",
       " 'm089': (23.212083333333332, 33.71),\n",
       " 'm064': (19.87, 32.6),\n",
       " 'm037': (11.212083333333332, 31.34),\n",
       " 'm070': (18.9, 33.1),\n",
       " 'm153': (19.996958333333332, 36.86130555555556),\n",
       " 'm361': (12.209708333333333, 46.53908333333333),\n",
       " 'm191': (23.340333333333334, 38.60416666666667),\n",
       " 'm370': (2.670916666666667, 47.00216666666667),\n",
       " 'm026': (23.462500000000002, 30.66022222222222),\n",
       " 'm277': (7.37575, 42.172333333333334),\n",
       " 'm054': (5.251333333333333, 32.225611111111114),\n",
       " 'm270': (3.441625, 42.044666666666664),\n",
       " 'm299': (5.506833333333333, 43.16938888888889),\n",
       " 'm231': (8.16475, 40.18977777777778),\n",
       " 'm380': (21.713166666666666, 47.64566666666666),\n",
       " 'm243': (0.9955833333333333, 40.868611111111115),\n",
       " 'm364': (10.90725, 46.74008333333333),\n",
       " 'm382': (9.519333333333332, 47.73838888888889),\n",
       " 'm314': (4.148750000000001, 44.10308333333334),\n",
       " 'm305': (358.9359166666667, 43.71866666666667),\n",
       " 'm363': (358.70708333333334, 46.69949999999999),\n",
       " 'm081': (8.499958333333334, 33.30141666666666),\n",
       " 'm223': (17.306166666666666, 40.051472222222216),\n",
       " 'm093': (4.746125, 34.16027777777778),\n",
       " 'm358': (8.151333333333334, 46.150166666666664),\n",
       " 'm267': (0.8716666666666667, 41.85763888888889),\n",
       " 'm118': (3.240416666666667, 35.182138888888886),\n",
       " 'm376': (8.137666666666666, 47.14505555555556),\n",
       " 'm181': (15.846833333333336, 38.13111111111111),\n",
       " 'm280': (23.642416666666666, 42.56480555555555),\n",
       " 'm374': (14.977749999999999, 47.132222222222225),\n",
       " 'm127': (10.482458333333334, 35.29077777777778),\n",
       " 'm311': (18.886333333333333, 43.979),\n",
       " 'm043': (23.907250000000005, 31.36127777777778),\n",
       " 'm027': (20.562083333333334, 30.729999999999997),\n",
       " 'm278': (6.042083333333334, 42.17527777777777),\n",
       " 'm198': (18.387083333333333, 38.97313888888889),\n",
       " 'm359': (6.776958333333334, 46.150999999999996),\n",
       " 'm126': (11.687041666666667, 35.28680555555555),\n",
       " 'm254': (8.754625, 41.17347222222222),\n",
       " 'm006': (25.66208333333333, 28.669972222222224),\n",
       " 'm050': (18.762083333333333, 32.1),\n",
       " 'm316': (14.887625, 44.14975),\n",
       " 'm085': (19.842083333333335, 33.5),\n",
       " 'm248': (11.065958333333333, 41.08063888888889),\n",
       " 'm336': (16.28075, 45.12038888888889),\n",
       " 'm285': (10.882083333333332, 42.75791666666667),\n",
       " 'm178': (2.3484166666666666, 38.02027777777778),\n",
       " 'm130': (20.0475, 35.868138888888886),\n",
       " 'm318': (8.17975, 44.15994444444444),\n",
       " 'm385': (1.3340416666666666, 47.90822222222222),\n",
       " 'm135': (17.591125, 36.08566666666667),\n",
       " 'm103': (9.477125000000001, 34.29775),\n",
       " 'm329': (20.281458333333333, 44.81008333333333),\n",
       " 'm075': (15.518416666666669, 33.226888888888894),\n",
       " 'm107': (21.099999999999998, 34.5),\n",
       " 'm203': (4.566833333333333, 39.142694444444444),\n",
       " 'm334': (17.611958333333334, 45.07511111111111),\n",
       " 'm083': (9.670833333333333, 33.31641666666666),\n",
       " 'm260': (358.34158333333335, 41.617666666666665),\n",
       " 'm379': (12.219083333333334, 47.53402777777777),\n",
       " 'm386': (19.114, 47.96680555555556),\n",
       " 'm060': (12.181375, 32.325722222222225),\n",
       " 'm332': (18.935958333333332, 44.974944444444446),\n",
       " 'm073': (16.679791666666667, 33.17644444444444),\n",
       " 'm031': (18.562083333333334, 31.19997222222222),\n",
       " 'm293': (4.1935416666666665, 43.110194444444446),\n",
       " 'm225': (16.014041666666664, 40.11225),\n",
       " 'm249': (9.871041666666667, 41.079972222222224),\n",
       " 'm207': (8.395083333333334, 39.19616666666666),\n",
       " 'm185': (8.510666666666665, 38.19775),\n",
       " 'm294': (16.200083333333332, 43.1285),\n",
       " 'm390': (5.185208333333334, 48.08744444444444),\n",
       " 'm315': (16.2405, 44.12705555555556),\n",
       " 'm237': (358.48341666666664, 40.632083333333334),\n",
       " 'm291': (2.886833333333333, 43.03652777777778),\n",
       " 'm295': (14.857333333333333, 43.155277777777776),\n",
       " 'm163': (6.358166666666667, 37.218944444444446),\n",
       " 'm032': (17.562083333333334, 31.209),\n",
       " 'm116': (16.486125, 35.15236111111111),\n",
       " 'm219': (19.689458333333334, 39.837944444444446),\n",
       " 'm368': (1.3340416666666666, 46.908249999999995),\n",
       " 'm078': (14.353083333333332, 33.26661111111111),\n",
       " 'm347': (9.525875, 45.74813888888889),\n",
       " 'm209': (10.971791666666666, 39.20119444444445),\n",
       " 'm262': (22.289833333333334, 41.71008333333334),\n",
       " 'm177': (18.346458333333334, 37.98144444444445),\n",
       " 'm387': (2.670916666666667, 48.00213888888889),\n",
       " 'm068': (21.96233333333333, 32.71244444444445),\n",
       " 'm159': (3.8826250000000004, 37.11569444444444),\n",
       " 'm340': (8.165375, 45.155138888888885),\n",
       " 'm194': (22.11775, 38.75694444444444),\n",
       " 'm007': (21.262083333333333, 28.739944444444447),\n",
       " 'm165': (7.639125000000001, 37.251305555555554),\n",
       " 'm323': (357.5539166666667, 44.60458333333334),\n",
       " 'm216': (20.923333333333332, 39.70572222222223),\n",
       " 'm348': (20.320375000000002, 45.78927777777778),\n",
       " 'm102': (13.039791666666666, 34.28113888888889),\n",
       " 'm012': (26.76208333333333, 29.59997222222222),\n",
       " 'm233': (9.478125, 40.19602777777777),\n",
       " 'm131': (22.200000000000003, 35.95),\n",
       " 'm289': (1.587875, 42.94841666666667),\n",
       " 'm388': (17.761208333333332, 48.05105555555555),\n",
       " 'm168': (11.340958333333333, 37.273833333333336),\n",
       " 'm360': (5.402791666666666, 46.150666666666666),\n",
       " 'm290': (18.556541666666668, 42.979),\n",
       " 'm200': (17.3015, 39.047999999999995),\n",
       " 'm339': (6.801125000000001, 45.156555555555556),\n",
       " 'm098': (24.262083333333333, 34.24),\n",
       " 'm391': (16.400708333333334, 48.10966666666667),\n",
       " 'm341': (5.437166666666666, 45.15702777777778),\n",
       " 'm022': (11.262083333333333, 30.35),\n",
       " 'm365': (9.522416666666667, 46.74336111111111),\n",
       " 'm205': (7.121625, 39.19002777777777),\n",
       " 'm143': (13.956666666666667, 36.23722222222222),\n",
       " 'm273': (16.159583333333334, 42.12477777777778),\n",
       " 'm362': (21.713166666666666, 46.64566666666666),\n",
       " 'm065': (26.212083333333336, 32.6),\n",
       " 'm258': (23.546125, 41.58088888888889),\n",
       " 'm053': (15.660333333333336, 32.220888888888894),\n",
       " 'm013': (24.562083333333334, 29.64),\n",
       " 'm109': (23.212083333333332, 34.71),\n",
       " 'm331': (1.4602916666666665, 44.928666666666665),\n",
       " 'm136': (21.2, 36.1),\n",
       " 'm257': (12.160750000000002, 41.56183333333333),\n",
       " 'm040': (10.062041666666666, 31.34),\n",
       " 'm019': (14.562083333333334, 30.290000000000003),\n",
       " 'm190': (13.326416666666665, 38.228),\n",
       " 'm202': (16.101791666666667, 39.11483333333334),\n",
       " 'm405': (6.635208333333333, 50.12744444444444),\n",
       " 'm147': (11.5165, 36.27891666666667),\n",
       " 'm057': (7.562083333333334, 32.28997222222222),\n",
       " 'm272': (4.738666666666666, 42.11713888888889),\n",
       " 'm024': (24.562083333333334, 30.64),\n",
       " 'm111': (20.0, 35.05),\n",
       " 'm241': (359.7339166666667, 40.75663888888889),\n",
       " 'm396': (12.219083333333334, 48.534055555555554),\n",
       " 'm276': (8.709416666666666, 42.16911111111111),\n",
       " 'm183': (7.287208333333333, 38.19161111111111),\n",
       " 'm298': (6.850583333333334, 43.16716666666667),\n",
       " 'm139': (5.4039166666666665, 36.17819444444444),\n",
       " 'm306': (10.887875000000001, 43.75361111111111),\n",
       " 'm152': (22.42429166666667, 36.77030555555555),\n",
       " 'm383': (20.389083333333332, 47.77836111111111),\n",
       " 'm162': (15.049916666666668, 37.198166666666665),\n",
       " 'm077': (6.164625000000001, 33.23866666666667),\n",
       " 'm204': (14.82575, 39.17402777777777),\n",
       " 'm354': (4.060083333333333, 46.08838888888889),\n",
       " 'm174': (359.880875, 37.831722222222226),\n",
       " 'm096': (5.923791666666667, 34.211555555555556),\n",
       " 'm164': (13.815791666666666, 37.23705555555556),\n",
       " 'm062': (11.017666666666667, 32.33947222222223),\n",
       " 'm394': (6.635208333333333, 48.127472222222224),\n",
       " 'm369': (19.054791666666667, 46.97636111111111),\n",
       " 'm090': (18.920749999999998, 34.026583333333335),\n",
       " 'm195': (359.53499999999997, 38.796277777777775),\n",
       " 'm196': (19.634875, 38.88441666666667),\n",
       " 'm344': (21.63525, 45.65833333333333),\n",
       " 'm150': (21.208541666666665, 36.749361111111114),\n",
       " 'm313': (17.56191666666667, 44.072861111111116),\n",
       " 'm324': (21.327125, 44.67091666666666),\n",
       " 'm398': (9.519333333333332, 48.73838888888889),\n",
       " 'm170': (23.286, 37.60575),\n",
       " 'm303': (22.564833333333333, 43.683416666666666),\n",
       " 'm377': (6.7530833333333335, 47.14527777777778),\n",
       " 'm312': (2.832375, 44.02811111111111),\n",
       " 'm304': (21.208875, 43.683305555555556),\n",
       " 'm047': (19.562083333333334, 31.7),\n",
       " 'm255': (6.127666666666667, 41.18105555555555),\n",
       " 'm187': (14.595625, 38.203833333333336),\n",
       " 'm244': (2.2667499999999996, 40.967444444444446),\n",
       " 'm082': (12.014166666666666, 33.31347222222222),\n",
       " 'm120': (15.291333333333334, 35.203583333333334),\n",
       " 'm281': (357.75008333333335, 42.60252777777778),\n",
       " 'm141': (15.172916666666667, 36.19788888888888),\n",
       " 'm175': (19.585625, 37.88733333333333),\n",
       " 'm271': (17.185958333333332, 42.057916666666664),\n",
       " 'm046': (20.702083333333334, 31.67),\n",
       " 'm236': (23.509625, 40.596222222222224),\n",
       " 'm069': (23.112041666666666, 32.76),\n",
       " 'm325': (22.652041666666666, 44.66855555555556),\n",
       " 'm169': (10.101541666666666, 37.27422222222222),\n",
       " 'm104': (11.852875, 34.298138888888886),\n",
       " 'm338': (13.554333333333334, 45.14680555555555),\n",
       " 'm351': (18.995458333333332, 45.98572222222222),\n",
       " 'm016': (21.262083333333333, 29.739972222222224),\n",
       " 'm045': (24.962083333333332, 31.64),\n",
       " 'm389': (4.016291666666667, 48.08083333333334),\n",
       " 'm148': (10.294708333333332, 36.281166666666664),\n",
       " 'm184': (9.734041666666666, 38.20097222222223),\n",
       " 'm266': (11.076333333333332, 41.853833333333334),\n",
       " 'm333': (2.778208333333333, 45.019638888888885),\n",
       " 'm350': (1.397, 45.918527777777776),\n",
       " 'm095': (2.349708333333333, 34.17722222222222),\n",
       " 'm261': (21.001875, 41.69755555555555),\n",
       " 'm129': (23.212083333333332, 35.71),\n",
       " 'm217': (22.19729166666667, 39.74041666666667),\n",
       " 'm112': (0.8225000000000001, 35.04891666666666),\n",
       " 'm117': (4.4586250000000005, 35.16572222222222),\n",
       " 'm087': (25.41208333333333, 33.62),\n",
       " 'm373': (16.360875, 47.106722222222224),\n",
       " 'm176': (1.1103333333333334, 37.932249999999996),\n",
       " 'm263': (359.6009166666666, 41.74355555555556),\n",
       " 'm173': (22.07341666666667, 37.76358333333334),\n",
       " 'm121': (6.873916666666667, 35.23116666666667),\n",
       " 'm025': (25.66208333333333, 30.67),\n",
       " 'm399': (4.016291666666667, 49.08086111111111),\n",
       " 'm186': (10.957333333333333, 38.205222222222226),\n",
       " 'm044': (26.062083333333334, 31.62),\n",
       " 'm134': (1.7197083333333336, 36.042249999999996),\n",
       " 'm345': (358.77929166666667, 45.711444444444446),\n",
       " 'm056': (14.503583333333333, 32.26636111111111),\n",
       " 'm214': (11.349874999999999, 39.619277777777775),\n",
       " 'm284': (359.0182916666667, 42.73122222222222),\n",
       " 'm253': (7.451208333333334, 41.177277777777775),\n",
       " 'm235': (12.015083333333335, 40.56930555555556),\n",
       " 'm322': (12.190500000000002, 44.54863888888889),\n",
       " 'm356': (14.947833333333334, 46.13825),\n",
       " 'm071': (17.83625, 33.11544444444445),\n",
       " 'm234': (13.391749999999998, 40.22266666666667),\n",
       " 'm155': (18.7785, 36.95725),\n",
       " 'm366': (20.389125, 46.77838888888889),\n",
       " 'm114': (2.0297083333333337, 35.11727777777778),\n",
       " 'm088': (22.112083333333338, 33.63997222222222),\n",
       " 'm192': (358.3000833333333, 38.67744444444444),\n",
       " 'm039': (8.912083333333333, 31.339972222222222),\n",
       " 'm193': (20.83375, 38.71219444444445),\n",
       " 'm041': (6.6120833333333335, 31.34),\n",
       " 'm256': (13.233375, 41.22666666666667),\n",
       " 'm144': (7.853291666666668, 36.24841666666667),\n",
       " 'm029': (19.462083333333332, 30.8),\n",
       " 'm128': (21.15, 35.44997222222222),\n",
       " 'm092': (3.543416666666667, 34.155138888888885),\n",
       " 'm023': (26.76208333333333, 30.59997222222222),\n",
       " 'm010': (12.862083333333333, 29.33),\n",
       " 'm002': (23.462083333333336, 27.66),\n",
       " 'm224': (2.9917499999999997, 40.05647222222222),\n",
       " 'm378': (5.368833333333333, 47.14416666666666),\n",
       " 'm308': (19.927416666666666, 43.82072222222222),\n",
       " 'm180': (3.5940833333333337, 38.095555555555556),\n",
       " 'm149': (23.212083333333332, 36.71002777777778),\n",
       " 'm208': (12.266041666666666, 39.20769444444445),\n",
       " 'm307': (9.533833333333334, 43.757194444444444),\n",
       " 'm108': (22.200000000000003, 34.55),\n",
       " 'm221': (1.711875, 39.971250000000005),\n",
       " 'm015': (25.66208333333333, 29.67),\n",
       " 'm275': (13.493958333333332, 42.16136111111111),\n",
       " 'm220': (0.440625, 39.872416666666666),\n",
       " 'm124': (12.890791666666667, 35.270916666666665),\n",
       " 'm371': (17.711625, 47.059194444444444),\n",
       " 'm367': (0.007083333333333333, 46.799499999999995),\n",
       " 'm265': (9.844875, 41.845111111111116),\n",
       " 'm320': (5.4718333333333335, 44.16330555555555),\n",
       " 'm018': (22.362166666666667, 29.94002777777778),\n",
       " 'm300': (23.738541666666666, 43.54833333333333),\n",
       " 'm140': (4.168625, 36.17972222222222),\n",
       " 'm372': (4.016291666666667, 47.08083333333334),\n",
       " 'm188': (12.136625000000002, 38.21025),\n",
       " 'm355': (16.320875, 46.11363888888889),\n",
       " 'm132': (18.846791666666668, 35.96219444444445),\n",
       " 'm145': (12.7375, 36.26425),\n",
       " 'm353': (17.661833333333334, 46.06722222222223),\n",
       " 'm250': (15.818958333333333, 41.12097222222222),\n",
       " 'm309': (0.22479166666666667, 43.83486111111112),\n",
       " 'm357': (13.574250000000001, 46.14163888888889),\n",
       " 'm212': (8.821958333333335, 39.369277777777775),\n",
       " 'm009': (13.962083333333334, 29.310000000000002),\n",
       " 'm337': (14.917791666666666, 45.14405555555555),\n",
       " 'm349': (0.07929166666666666, 45.81144444444444),\n",
       " 'm252': (14.496375, 41.16594444444444),\n",
       " 'm182': (4.846333333333333, 38.157805555555555),\n",
       " 'm328': (9.529708333333332, 44.75277777777778),\n",
       " 'm125': (9.278, 35.28283333333333),\n",
       " 'm003': (22.362083333333334, 27.94),\n",
       " 'm066': (20.862083333333334, 32.62),\n",
       " 'm279': (12.170791666666666, 42.55755555555555),\n",
       " 'm122': (14.092541666666667, 35.24313888888889),\n",
       " 'm119': (5.675333333333334, 35.1905),\n",
       " 'm228': (10.791416666666667, 40.182249999999996),\n",
       " 'm110': (18.858500000000003, 35.01825),\n",
       " 'm086': (20.982958333333332, 33.57816666666667),\n",
       " 'm189': (6.103875, 38.206833333333336),\n",
       " 'm384': (0.007083333333333333, 47.799499999999995),\n",
       " 'm160': (16.280041666666666, 37.14655555555556),\n",
       " 'm028': (21.66208333333333, 30.740000000000002),\n",
       " 'm393': (13.613583333333333, 48.130916666666664),\n",
       " 'm123': (8.074833333333334, 35.26291666666667),\n",
       " 'm138': (16.384041666666665, 36.149138888888885),\n",
       " 'm133': (0.4915, 35.962250000000004),\n",
       " 'm080': (13.184666666666669, 33.2955),\n",
       " 'm005': (23.462083333333336, 28.660027777777778),\n",
       " 'm211': (13.545375000000002, 39.21930555555556),\n",
       " 'm292': (17.511750000000003, 43.06547222222222),\n",
       " 'm297': (8.194416666666665, 43.16461111111111),\n",
       " 'm404': (5.185208333333334, 50.08744444444444),\n",
       " 'm215': (357.92883333333333, 39.63516666666666),\n",
       " 'm321': (23.934458333333335, 44.53236111111111),\n",
       " 'm282': (21.078458333333334, 42.690555555555555),\n",
       " 'm268': (2.1522083333333333, 41.95805555555556),\n",
       " 'm264': (19.723833333333335, 41.83152777777778),\n",
       " 'm167': (8.862625000000001, 37.261694444444444),\n",
       " 'm251': (4.834041666666667, 41.123916666666666),\n",
       " 'm199': (2.034666666666667, 38.99586111111111),\n",
       " 'm099': (7.1055, 34.25161111111111),\n",
       " 'm218': (359.1792916666667, 39.76025),\n",
       " 'm035': (14.562083333333334, 31.290000000000003),\n",
       " 'm206': (5.842166666666667, 39.19566666666666),\n",
       " 'm247': (17.11104166666667, 41.05519444444444),\n",
       " 'm227': (14.692041666666668, 40.17780555555555),\n",
       " 'm076': (24.262083333333333, 33.24),\n",
       " 'm151': (359.01279166666666, 36.7605),\n",
       " 'm296': (13.514208333333334, 43.156666666666666),\n",
       " 'm048': (21.812083333333334, 31.740000000000002),\n",
       " 'm229': (6.866291666666667, 40.18358333333333),\n",
       " 'm017': (20.16208333333333, 29.80002777777778),\n",
       " 'm310': (1.5239583333333333, 43.93863888888889),\n",
       " 'm156': (1.4313749999999998, 36.96227777777778),\n",
       " 'm038': (7.762083333333333, 31.340027777777777),\n",
       " 'm154': (0.2175, 36.86725),\n",
       " 'm042': (12.335083333333333, 31.350194444444448),\n",
       " 'm067': (25.11208333333333, 32.62),\n",
       " 'm052': (16.812083333333334, 32.2),\n",
       " 'm106': (19.974416666666666, 34.44586111111111),\n",
       " 'm392': (15.007541666666667, 48.126111111111115),\n",
       " 'm158': (2.6534166666666668, 37.045138888888886),\n",
       " 'm201': (3.29725, 39.07597222222223),\n",
       " 'm238': (357.1834166666667, 40.63205555555555),\n",
       " 'm326': (358.85395833333337, 44.70458333333334),\n",
       " 'm239': (20.981125, 40.69936111111111),\n",
       " 'm302': (357.6359166666667, 43.61869444444444),\n",
       " 'm213': (23.404833333333332, 39.60266666666667),\n",
       " 'm100': (14.224625, 34.252722222222225),\n",
       " 'm352': (2.7243749999999998, 46.01091666666667),\n",
       " 'm172': (358.66129166666667, 37.719055555555556),\n",
       " 'm301': (12.180708333333333, 43.55316666666666)}"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "field_positions"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4f9e4b9a",
   "metadata": {},
   "source": [
    "## Read in data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3186d4cf",
   "metadata": {},
   "source": [
    "Import ascd files using astropy"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e99cb806",
   "metadata": {},
   "outputs": [],
   "source": [
    "CAT = {}\n",
    "cats_to_read = range(236,258) # 236->257 spans directly across M31\n",
    "                              # 258->279 spans across M31, one row above\n",
    "                              # 213->235 spans across M31 one row below"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "7e98dd17",
   "metadata": {},
   "outputs": [],
   "source": [
    "columns = ['RA', 'Dec','iccd','xg','yg','g','dg','ig','xi','yi','i','di','ii','ia','field']\n",
    "for a in cats_to_read:\n",
    "    CAT[a] = ascii.read(f'./catdata/cats/m{a:03d}p.ascd', guess=False, header_start=0, names=columns, format='commented_header')\n",
    "    CAT[a]['RA'] = coord.Angle(CAT[a]['RA'],u.h).deg\n",
    "    CAT[a]['Dec'] = coord.Angle(CAT[a]['Dec'],u.deg).deg"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "cb6e4132",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "8a3d713d",
   "metadata": {},
   "outputs": [],
   "source": [
    "def read_cat(c: range) -> dict:\n",
    "    columns = ['RA', 'Dec','iccd','xg','yg','g','dg','ig','xi','yi','i','di','ii','ia','field']\n",
    "    CAT = {}\n",
    "    for a in c:\n",
    "        print(f'\\nReading {a:03d}')\n",
    "        CAT[a] = ascii.read(f'./catdata/cats/m{a:03d}p.ascd', guess=False, header_start=0, names=columns, format='commented_header')\n",
    "        print('Converting RA/Dec')\n",
    "        CAT[a]['RA'] = coord.Angle(CAT[a]['RA'],u.h).deg\n",
    "        CAT[a]['Dec'] = coord.Angle(CAT[a]['Dec'],u.deg).deg\n",
    "        print('Centering RA values')\n",
    "        CAT[a]['RA'] = [(a+20)%360-20 for a in CAT[a]['RA']]\n",
    "        print('Saving...')\n",
    "        with open(f'./pickle/temp/{a:03d}.pk','wb') as f:\n",
    "            pickle.dump(CAT[a],f)\n",
    "    return CAT"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ee7c44ab",
   "metadata": {},
   "outputs": [],
   "source": [
    "CAT201_235 = read_cat(range(201,236))\n",
    "with open('./pickle/cat201_235.pk','wb') as f:\n",
    "    pickle.dump(CAT201_235,f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "a922db3a",
   "metadata": {},
   "outputs": [],
   "source": [
    "CAT280_320 = read_cat(range(280,321))\n",
    "with open('./pickle/cat280_320.pk','wb') as f:\n",
    "    pickle.dump(CAT280_320,f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "a18d5530",
   "metadata": {},
   "outputs": [],
   "source": [
    "del CAT280_320\n",
    "CAT321_360 = read_cat(range(321,361))\n",
    "with open('./pickle/cat321_360.pk','wb') as f:\n",
    "    pickle.dump(CAT321_360,f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "7385879c",
   "metadata": {},
   "outputs": [],
   "source": [
    "del CAT321_360\n",
    "CAT361_406 = read_cat(range(361,407))\n",
    "with open('./pickle/cat361_406.pk','wb') as f:\n",
    "    pickle.dump(CAT361_406,f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c6263d0e",
   "metadata": {},
   "outputs": [],
   "source": [
    "CAT = pickle.load(open('./pickle/cat213_279.pk','rb'))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "40081a9b",
   "metadata": {},
   "source": [
    "# Convert data types in PAndAS DFs\n",
    "Convert from float64 to float32 etc."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "eeef3219",
   "metadata": {},
   "outputs": [],
   "source": [
    "cat_files = ['cat1_50.pk','cat51_100.pk','cat101_150.pk','cat151_200.pk','cat201_235.pk',\n",
    "             'cat236_257.pk','cat258_279.pk','cat280_320.pk','cat321_360.pk','cat361_406.pk']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "54ee0597",
   "metadata": {},
   "outputs": [],
   "source": [
    "# iterate for each column and convert number to different datatype\n",
    "types = {'RA':'float32','Dec':'float32','iccd':'uint8','xg':'float32','yg':'float32','g':'float32','dg':'float32','ig':'int8',\n",
    "        'xi':'float32','yi':'float32','i':'float32','di':'float32','ii':'int8','ia':'int8','field':'uint16'}\n",
    "def convert_data_types(cat):\n",
    "    for c in cat:\n",
    "        for col in types:\n",
    "            cat[c][col] = cat[c][col].astype(types[col])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "93658eca",
   "metadata": {},
   "outputs": [],
   "source": [
    "for file in cat_files:\n",
    "    print(file)\n",
    "    CAT = pickle.load(open(f'pickle/oldcat/{file}','rb'))\n",
    "    print('converting...')\n",
    "    convert_data_types(CAT)\n",
    "    print('saving...\\n')\n",
    "    with open(f'pickle/temp/{file}','wb') as f:\n",
    "        pickle.dump(CAT, f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "f169ef1e",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "1bae8869",
   "metadata": {},
   "source": [
    "### Calculate mean field positions"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "fc0c7a3a",
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "field_mean_pos = {}\n",
    "for i in CAT:\n",
    "    length = len(CAT[i]['RA'])\n",
    "    # RA values span from 23h to 2h so we centre the values around 0 (converting 23h into a negative value)\n",
    "    ra_centered = [(a+20)%360-20 for a in CAT[i]['RA']]\n",
    "    mean_ra = sum(ra_centered)/length\n",
    "    mean_dec = sum(CAT[i]['Dec'])/length\n",
    "    field_mean_pos[i] = (mean_ra, mean_dec)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a457a1e7",
   "metadata": {},
   "source": [
    "## Object count"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "237f839b",
   "metadata": {},
   "source": [
    "Find an average object count across the range"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e7b62dea",
   "metadata": {},
   "source": [
    "Count number of each object"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "141af3f4",
   "metadata": {},
   "outputs": [],
   "source": [
    "count_sat = [len(CAT[c][CAT[c]['ig']==-9]) for c in CAT]\n",
    "count_star2 = [len(CAT[c][CAT[c]['ig']==-2]) for c in CAT]\n",
    "count_star1 = [len(CAT[c][CAT[c]['ig']==-1]) for c in CAT]\n",
    "count_noise = [len(CAT[c][CAT[c]['ig']==0]) for c in CAT]\n",
    "count_gal1 = [len(CAT[c][CAT[c]['ig']==1]) for c in CAT]\n",
    "count_gal2 = [len(CAT[c][CAT[c]['ig']==2]) for c in CAT]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "28f715cb",
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "fig = plt.figure()\n",
    "ax1 = fig.add_subplot(111)\n",
    "fig.set_dpi(120)\n",
    "\n",
    "ax1.set_yscale('log')\n",
    "\n",
    "ax1.scatter([field_mean_pos[f][0] for f in field_mean_pos], count_star2, c='g', label='star 2sig')\n",
    "ax1.scatter([field_mean_pos[f][0] for f in field_mean_pos], count_star1, c='b', label='star 1sig')\n",
    "ax1.scatter([field_mean_pos[f][0] for f in field_mean_pos], count_gal1, c='r', label='galaxy 1sig')\n",
    "plt.legend(loc='upper right')\n",
    "plt.xlabel('RA (deg)')\n",
    "plt.ylabel('Object count')\n",
    "plt.title('Object counts across M31 at Dec +41°')\n",
    "plt.xlim(-5,25)\n",
    "plt.gca().invert_xaxis()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3e24d4a4",
   "metadata": {},
   "source": [
    "## Colour\n",
    "Calculate average colour of each class"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "314b8af0",
   "metadata": {},
   "source": [
    "Colours based on ii **and** ig guesses"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3ff355ef",
   "metadata": {},
   "outputs": [],
   "source": [
    "colours = {}\n",
    "#calculate mean g-i colour of each field\n",
    "for n in CAT:\n",
    "    col_sat = np.mean(CAT[n]['g'][(CAT[n]['ig']==-9)&(CAT[n]['ii']==-9)] - CAT[n]['i'][(CAT[n]['ig']==-9)&(CAT[n]['ii']==-9)])\n",
    "    col_2sigstar = np.mean(CAT[n]['g'][(CAT[n]['ig']==-2)&(CAT[n]['ii']==-2)] - CAT[n]['i'][(CAT[n]['ig']==-2)&(CAT[n]['ii']==-2)])\n",
    "    col_1sigstar = np.mean(CAT[n]['g'][(CAT[n]['ig']==-1)&(CAT[n]['ii']==-1)] - CAT[n]['i'][(CAT[n]['ig']==-1)&(CAT[n]['ii']==-1)])\n",
    "    col_1siggal  = np.mean(CAT[n]['g'][(CAT[n]['ig']==1)&(CAT[n]['ii']==1)] - CAT[n]['i'][(CAT[n]['ig']==1)&(CAT[n]['ii']==1)])\n",
    "    col_2siggal = np.mean(CAT[n]['g'][(CAT[n]['ig']==2)&(CAT[n]['ii']==2)] - CAT[n]['i'][(CAT[n]['ig']==2)&(CAT[n]['ii']==2)])\n",
    "    colours[n] = (col_sat,col_2sigstar,col_1sigstar,col_1siggal, col_2siggal)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7442b0b9",
   "metadata": {},
   "source": [
    "Colours based **only** on ig guesses"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "0621bf05",
   "metadata": {},
   "outputs": [],
   "source": [
    "colours = {}\n",
    "#calculate mean g-i colour of each field\n",
    "for n in CAT:\n",
    "    col_sat = np.mean(CAT[n]['g'][CAT[n]['ig']==-9] - CAT[n]['i'][CAT[n]['ig']==-9])\n",
    "    col_2sigstar = np.mean(CAT[n]['g'][CAT[n]['ig']==-2] - CAT[n]['i'][CAT[n]['ig']==-2])\n",
    "    col_1sigstar = np.mean(CAT[n]['g'][CAT[n]['ig']==-1] - CAT[n]['i'][CAT[n]['ig']==-1]) \n",
    "    col_1siggal  = np.mean(CAT[n]['g'][CAT[n]['ig']==1] - CAT[n]['i'][CAT[n]['ig']==1])\n",
    "    col_2siggal = np.mean(CAT[n]['g'][CAT[n]['ig']==2] - CAT[n]['i'][CAT[n]['ig']==2])\n",
    "    colours[n] = (col_sat,col_2sigstar,col_1sigstar,col_1siggal, col_2siggal)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "9297c6db",
   "metadata": {},
   "outputs": [],
   "source": [
    "fig = plt.figure()\n",
    "ax1 = fig.add_subplot(111)\n",
    "fig.set_dpi(120)\n",
    "\n",
    "ax1.scatter([field_mean_pos[f][0] for f in field_mean_pos], [colours[n][1] for n in colours], c='orange', label='2sig star')\n",
    "ax1.scatter([field_mean_pos[f][0] for f in field_mean_pos], [colours[n][2] for n in colours], c='red', label='1sig star')\n",
    "ax1.scatter([field_mean_pos[f][0] for f in field_mean_pos], [colours[n][3] for n in colours], c='fuchsia', label='1sig galaxy')\n",
    "#ax1.scatter([field_mean_pos[f][0] for f in field_mean_pos], [colours[n][4] for n in colours], c='violet', label='2sig galaxy')\n",
    "#ax1.scatter([field_mean_pos[f][0] for f in field_mean_pos], [colours[n][0] for n in colours], c='lightgrey', label='saturated')\n",
    "\n",
    "plt.legend(loc='upper left')\n",
    "plt.xlabel('RA (deg)')\n",
    "plt.ylabel('Colour index (g-i)')\n",
    "#plt.ylim([-1,2])\n",
    "plt.title('Average object colour across M31 at Dec +41°')\n",
    "plt.ylim(0,2)\n",
    "plt.gca().invert_xaxis()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "168eb30d",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}