New_Atari_DQN_image.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "colab": {
      "name": "New_Atari_DQN_image.ipynb",
      "provenance": [],
      "include_colab_link": true
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/abhisheksuran/Atari_DQN/blob/master/New_Atari_DQN_image.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "6EjrArXxRZhB",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# importing some lib...:p\n",
        "\n",
        "import tensorflow as tf \n",
        "from tensorflow.keras.layers import  Dense, Dropout, Conv2D, MaxPooling2D, Activation, Flatten, Input\n",
        "from tensorflow.keras.optimizers import Adam\n",
        "from tensorflow.keras.models import Model\n",
        "from collections import deque\n",
        "import numpy as np\n",
        "import gym\n",
        "import random\n",
        "import os\n",
        "from tensorflow.keras.losses import Huber\n",
        "import tqdm\n",
        "from skimage import transform \n",
        "from skimage.color import rgb2gray"
      ],
      "execution_count": 1,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "o2q8DZyWRZhR",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 103
        },
        "outputId": "9b9fc23c-3c11-4178-e336-5fe8d3c15b3f"
      },
      "source": [
        "# testing gpu availability and tensorflow version\n",
        "print(\"GPU Available: \", tf.test.is_gpu_available())\n",
        "tf.__version__"
      ],
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "WARNING:tensorflow:From <ipython-input-2-423dd355d8fa>:2: is_gpu_available (from tensorflow.python.framework.test_util) is deprecated and will be removed in a future version.\n",
            "Instructions for updating:\n",
            "Use `tf.config.list_physical_devices('GPU')` instead.\n",
            "GPU Available:  True\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "application/vnd.google.colaboratory.intrinsic": {
              "type": "string"
            },
            "text/plain": [
              "'2.2.0'"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 2
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Yqv1m_-2RZhi",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 187
        },
        "outputId": "0c971cb7-cd52-4fba-dac8-2f46ff8f0796"
      },
      "source": [
        "! pip install gym[atari]"
      ],
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Requirement already satisfied: gym[atari] in /usr/local/lib/python3.6/dist-packages (0.17.2)\n",
            "Requirement already satisfied: numpy>=1.10.4 in /usr/local/lib/python3.6/dist-packages (from gym[atari]) (1.18.5)\n",
            "Requirement already satisfied: pyglet<=1.5.0,>=1.4.0 in /usr/local/lib/python3.6/dist-packages (from gym[atari]) (1.5.0)\n",
            "Requirement already satisfied: scipy in /usr/local/lib/python3.6/dist-packages (from gym[atari]) (1.4.1)\n",
            "Requirement already satisfied: cloudpickle<1.4.0,>=1.2.0 in /usr/local/lib/python3.6/dist-packages (from gym[atari]) (1.3.0)\n",
            "Requirement already satisfied: opencv-python; extra == \"atari\" in /usr/local/lib/python3.6/dist-packages (from gym[atari]) (4.1.2.30)\n",
            "Requirement already satisfied: atari-py~=0.2.0; extra == \"atari\" in /usr/local/lib/python3.6/dist-packages (from gym[atari]) (0.2.6)\n",
            "Requirement already satisfied: Pillow; extra == \"atari\" in /usr/local/lib/python3.6/dist-packages (from gym[atari]) (7.0.0)\n",
            "Requirement already satisfied: future in /usr/local/lib/python3.6/dist-packages (from pyglet<=1.5.0,>=1.4.0->gym[atari]) (0.16.0)\n",
            "Requirement already satisfied: six in /usr/local/lib/python3.6/dist-packages (from atari-py~=0.2.0; extra == \"atari\"->gym[atari]) (1.12.0)\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "A7Gw7dSoRZht",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# loading environment\n",
        "env = gym.make('Breakout-v0')"
      ],
      "execution_count": 4,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "tITNde3BRZh4",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 51
        },
        "outputId": "bb10beb7-aa5d-46f1-c7e0-26cc3a8e2ddb"
      },
      "source": [
        "# getting idea about environment\n",
        "print(\"The size of our frame is: \", env.observation_space)\n",
        "print(\"The action size is : \", env.action_space.n)"
      ],
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "The size of our frame is:  Box(210, 160, 3)\n",
            "The action size is :  4\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Mf10FG5fC4Xs",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        },
        "outputId": "875b8cd5-0382-442f-81ca-2c4fd16e60a3"
      },
      "source": [
        "print(env.observation_space.sample)"
      ],
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "<bound method Box.sample of Box(210, 160, 3)>\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "R_QSeLM8RZiA",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 85
        },
        "outputId": "b3128056-fb44-4c2a-d12a-6b4a6c499a4a"
      },
      "source": [
        "# getting different actions\n",
        "possible_actions = np.array(np.identity(env.action_space.n,dtype=int).tolist())\n",
        "print(possible_actions)\n"
      ],
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "[[1 0 0 0]\n",
            " [0 1 0 0]\n",
            " [0 0 1 0]\n",
            " [0 0 0 1]]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "sDKpzZnJmcLk",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        },
        "outputId": "6674c095-eb21-446a-cb28-0b2393da5fa5"
      },
      "source": [
        "env.action_space.sample()"
      ],
      "execution_count": 8,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "2"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 8
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "h8tnL42lRZiI",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "\n",
        "# processing images from environment\n",
        "\n",
        "def image_process(frame):\n",
        "    \n",
        "    gray = rgb2gray(frame)\n",
        "    cropped_frame = gray[8:-12,4:-12]\n",
        "    normalized_frame = cropped_frame/255.0\n",
        "    preprocessed_frame = transform.resize(normalized_frame, [110,80])\n",
        "    #preprocessed_frame =  np.array(preprocessed_frame).reshape(-1, 105, 80, 1)    \n",
        "    return preprocessed_frame \n",
        "    "
      ],
      "execution_count": 9,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "DYkiAtQyRZiN",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# 4 images represents a single state\n",
        "\n",
        "\n",
        "stack_size = 4 \n",
        "\n",
        "\n",
        "stacked_frames  =  deque([np.zeros((110,80), dtype=np.int) for i in range(stack_size)], maxlen=4)\n",
        "\n",
        "\n",
        "def stack_state(stacked_frames, state, is_new_episode):\n",
        "    \n",
        "    frame = image_process(state)\n",
        "    \n",
        "    #print(frame.shape)\n",
        "\n",
        "    if is_new_episode:\n",
        "\n",
        "        stacked_frames = deque([np.zeros((110,80), dtype=np.int) for i in range(stack_size)], maxlen=4)\n",
        "\n",
        "\n",
        "        stacked_frames.append(frame)\n",
        "        stacked_frames.append(frame)\n",
        "        stacked_frames.append(frame)\n",
        "        stacked_frames.append(frame)\n",
        "\n",
        "\n",
        "        stacked_state = np.stack(stacked_frames, axis=0)\n",
        "\n",
        "    else:\n",
        "\n",
        "        stacked_frames.append(frame)\n",
        "\n",
        "\n",
        "        stacked_state = np.stack(stacked_frames, axis=0) \n",
        "    stacked_state =  np.array(stacked_state).reshape(-1,110, 80, 4)   \n",
        "    stac = stacked_state\n",
        "    #print(stac.shape)\n",
        "    return stac, stacked_frames\n",
        "    "
      ],
      "execution_count": 10,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "8AggucarRZiR",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "\n",
        "class model(tf.keras.Model):\n",
        "  def __init__(self):\n",
        "    super().__init__()\n",
        "    self.c1 = Conv2D(filters = 32,kernel_size = [8,8],strides = [4,4],padding = \"VALID\", activation='relu')\n",
        "    self.c2 = Conv2D(filters = 64,kernel_size = [4,4],strides = [2,2],padding = \"VALID\", activation = 'relu')\n",
        "    self.c3 = Conv2D(filters = 64,kernel_size = [3,3],strides = [2,2],padding = \"VALID\", activation = 'relu')\n",
        "    self.d1 = Dense(512, activation = 'relu')\n",
        "    self.f = Flatten()\n",
        "    self.d2 = Dense(4, activation = None)\n",
        "\n",
        "  def call(self, input_data):\n",
        "    x = self.c1(input_data)\n",
        "    x = self.c2(x)\n",
        "    x = self.c3(x)\n",
        "    x = self.d1(x)\n",
        "    x = self.f(x)\n",
        "    x = self.d2(x)\n",
        "    return x\n",
        "\n",
        "  def action_value(self, state):\n",
        "        q_values = self.predict(state)\n",
        "        return q_values  "
      ],
      "execution_count": 11,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "YRAZ6N-RRZiW",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "#our agent 007 :P\n",
        "\n",
        "class my_agent:\n",
        "    def __init__(self,env):\n",
        "        self.env = env\n",
        "        #self.state_input = Input((105,80,4), name='state_input')\n",
        "        #self.action_input = action\n",
        "        self.gamma = 0.99\n",
        "        self.epsilon = 1.0\n",
        "        self.epsilon_decay = 1e-3 \n",
        "        self.memory = deque(maxlen=100000)\n",
        "        self.q_net = model()\n",
        "        self.target_net = model()\n",
        "        optimizer = Adam(learning_rate=0.01)\n",
        "        huber = Huber()\n",
        "        self.q_net.compile(optimizer, loss=huber)\n",
        "        self.target_net.compile(optimizer, loss=huber)\n",
        "        self.alighn_target_model()\n",
        "        self.min_epsilon = 0.01\n",
        "        self.trainstep = 0\n",
        "        self.replace = 100\n",
        "        self.mem_pointer = 0\n",
        "  \n",
        "        \n",
        "    def store(self, state, action, reward, next_state, terminated):\n",
        "        self.memory.append((state, action, reward, next_state, terminated))\n",
        "        \n",
        "    \n",
        "    def _update_epsilon(self):\n",
        "        self.epsilon = self.epsilon - self.epsilon_decay if self.epsilon > self.min_epsilon else self.min_epsilon\n",
        "        #return self.epsilon\n",
        "        \n",
        "        \n",
        "   \n",
        "    def alighn_target_model(self):\n",
        "        self.target_net.set_weights(self.q_net.get_weights())     \n",
        "        \n",
        "     \n",
        "    def act(self, state):\n",
        "        \n",
        "        if np.random.rand() <= self.epsilon:\n",
        "            action = np.random.choice([i for i in range(env.action_space.n)])\n",
        "            \n",
        "            return action\n",
        "\n",
        "        state= state        \n",
        "        q_values = self.q_net.action_value(state)\n",
        "        a = np.argmax(q_values[0])\n",
        "        #print(a)\n",
        "        return a\n",
        "        \n",
        "   \n",
        "    def retrain(self, batch_size):\n",
        "        \n",
        "        if self.trainstep % self.replace == 0:\n",
        "            self.alighn_target_model()\n",
        "\n",
        "\n",
        "        minibatch = random.sample(self.memory, batch_size)\n",
        "        \n",
        "        for state, action, reward, next_state, terminated in minibatch:\n",
        "            \n",
        "            state = state  \n",
        "      \n",
        "            next_state = next_state\n",
        "           \n",
        "            \n",
        "            target = self.q_net.action_value(state)\n",
        "            #target = self.q_net.predict_on_batch(state)\n",
        "            #print(\"target is {}\".format(target))\n",
        "            if terminated:\n",
        "                target[0][action] = reward\n",
        "                #target[action] = reward\n",
        "            else:\n",
        "                t = self.target_net.action_value(next_state)\n",
        "                #t = self.target_net.predict_on_batch(next_state)\n",
        "                target[0][action] = reward + self.gamma * np.amax(t)\n",
        "                #target[action] = reward + self.gamma * np.amax(t)\n",
        "            \n",
        "            self.q_net.fit(state, target, epochs=1, verbose=0)\n",
        "            self._update_epsilon()\n",
        " \n",
        "     \n",
        "    def load(self, path):\n",
        "        self.q_net.load_weights(path)\n",
        "\n",
        "    def save(self, path):\n",
        "        self.q_net.save_weights(path)\n",
        "        "
      ],
      "execution_count": 12,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "C0Rl4jOmRZia",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "state = env.reset()\n",
        "\n",
        "agent = my_agent(env)\n",
        "\n",
        "# some hyperparameter...\n",
        "\n",
        "batch_size = 64                             \n",
        "num_of_episodes = 1000\n",
        "#timesteps_per_episode = 1000\n",
        "#agent.q_net.summary()"
      ],
      "execution_count": 13,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "scrolled": false,
        "id": "xPSTi_BwRZie",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 1000
        },
        "outputId": "ce35d9a4-c766-4a16-b8cd-542e1b70b8e9"
      },
      "source": [
        "# our agent will play and learn\n",
        "\n",
        "\n",
        "for e in tqdm.tqdm(range(0, num_of_episodes)):\n",
        "    \n",
        "    state = env.reset()\n",
        "    state , stacked_frames = stack_state(stacked_frames, state, True)\n",
        "    #print(state.shape)\n",
        "\n",
        "    t_reward = 0\n",
        "    terminated = False\n",
        "    done = False\n",
        "    #for timestep in range(timesteps_per_episode):\n",
        "    while not done:\n",
        "       # env.render()\n",
        "        state = state \n",
        "        #print(state.shape)\n",
        "        action = agent.act(state)\n",
        "        #action = np.array([1])\n",
        "        print(action)\n",
        "        \n",
        "        next_state, reward, terminated, info = env.step(action)\n",
        "        next_state , stacked_frames = stack_state(stacked_frames, next_state , False)\n",
        "\n",
        "        agent.store(state, action, reward, next_state, terminated)\n",
        "        agent.mem_pointer += 1\n",
        "\n",
        "        state  = next_state\n",
        "        t_reward += reward\n",
        "\n",
        "\n",
        "        if terminated:\n",
        "            done = True\n",
        "         \n",
        "            print(\"Total reward is {} and  epsilon is {}\".format(t_reward, agent.epsilon))\n",
        "            break\n",
        "\n",
        "        if len(agent.memory) > batch_size:\n",
        "            agent.retrain(batch_size)"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "\r  0%|          | 0/1000 [00:00<?, ?it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "2\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "2\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "2\n",
            "2\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  0%|          | 1/1000 [18:04<301:02:07, 1084.81s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "2\n",
            "Total reward is 2.0 and  epsilon is 0.01\n",
            "2\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  0%|          | 2/1000 [36:43<303:35:22, 1095.11s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "0\n",
            "Total reward is 1.0 and  epsilon is 0.01\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  0%|          | 3/1000 [1:03:15<344:29:32, 1243.90s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "1\n",
            "Total reward is 3.0 and  epsilon is 0.01\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  0%|          | 4/1000 [1:15:26<301:35:20, 1090.08s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "0\n",
            "Total reward is 0.0 and  epsilon is 0.01\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "1\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  0%|          | 5/1000 [1:28:14<274:37:10, 993.60s/it] "
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "3\n",
            "Total reward is 0.0 and  epsilon is 0.01\n",
            "3\n",
            "2\n",
            "2\n",
            "2\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "2\n",
            "3\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "3\n",
            "2\n",
            "2\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "2\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  1%|          | 6/1000 [1:47:45<289:00:00, 1046.68s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "3\n",
            "Total reward is 2.0 and  epsilon is 0.01\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "2\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  1%|          | 7/1000 [2:06:17<294:08:37, 1066.38s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "3\n",
            "Total reward is 1.0 and  epsilon is 0.01\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "2\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  1%|          | 8/1000 [2:19:17<270:09:06, 980.39s/it] "
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "3\n",
            "Total reward is 0.0 and  epsilon is 0.01\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "3\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "2\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  1%|          | 9/1000 [2:32:00<251:54:16, 915.09s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "2\n",
            "Total reward is 0.0 and  epsilon is 0.01\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "2\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  1%|          | 10/1000 [3:03:11<330:33:48, 1202.05s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "2\n",
            "Total reward is 5.0 and  epsilon is 0.01\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  1%|          | 11/1000 [3:25:10<339:52:06, 1237.13s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "0\n",
            "Total reward is 2.0 and  epsilon is 0.01\n",
            "0\n",
            "2\n",
            "2\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "2\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "2\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  1%|          | 12/1000 [3:42:50<324:53:55, 1183.84s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "0\n",
            "Total reward is 1.0 and  epsilon is 0.01\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "0\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "2\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  1%|▏         | 13/1000 [4:02:53<326:12:05, 1189.79s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "0\n",
            "Total reward is 2.0 and  epsilon is 0.01\n",
            "0\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "2\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "2\n",
            "3\n",
            "3\n",
            "0\n",
            "3\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  1%|▏         | 14/1000 [4:15:39<291:00:09, 1062.48s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "2\n",
            "Total reward is 0.0 and  epsilon is 0.01\n",
            "2\n",
            "2\n",
            "2\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "2\n",
            "2\n",
            "2\n",
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  2%|▏         | 15/1000 [4:29:34<272:04:49, 994.41s/it] "
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "2\n",
            "Total reward is 0.0 and  epsilon is 0.01\n",
            "2\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "2\n",
            "3\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  2%|▏         | 16/1000 [4:48:15<282:11:35, 1032.41s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "0\n",
            "Total reward is 1.0 and  epsilon is 0.01\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  2%|▏         | 17/1000 [5:10:06<304:43:16, 1115.97s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "0\n",
            "Total reward is 2.0 and  epsilon is 0.01\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "2\n",
            "0\n",
            "3\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  2%|▏         | 18/1000 [5:23:13<277:27:24, 1017.15s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "1\n",
            "Total reward is 0.0 and  epsilon is 0.01\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "2\n",
            "0\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "2\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "0\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  2%|▏         | 19/1000 [5:42:42<289:35:15, 1062.71s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "3\n",
            "Total reward is 2.0 and  epsilon is 0.01\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "3\n",
            "0\n",
            "3\n",
            "2\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "2\n",
            "0\n",
            "1\n",
            "3\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "3\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "0\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "3\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "2\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "3\n",
            "2\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "2\n",
            "1\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\r  2%|▏         | 20/1000 [6:00:54<291:39:55, 1071.42s/it]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "0\n",
            "Total reward is 1.0 and  epsilon is 0.01\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "0\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "1\n",
            "0\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "2\n",
            "0\n",
            "2\n",
            "2\n",
            "2\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "0\n",
            "3\n",
            "3\n",
            "2\n",
            "2\n",
            "3\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "2\n",
            "1\n",
            "3\n",
            "2\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "0\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "3\n",
            "0\n",
            "1\n",
            "1\n",
            "1\n",
            "2\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "1\n",
            "3\n",
            "1\n",
            "3\n",
            "1\n",
            "2\n",
            "0\n",
            "0\n",
            "0\n",
            "2\n",
            "3\n",
            "0\n",
            "0\n",
            "1\n",
            "2\n",
            "2\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "3\n",
            "0\n",
            "2\n",
            "1\n",
            "0\n",
            "1\n",
            "1\n",
            "2\n",
            "0\n",
            "2\n",
            "0\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Cs1kWMd4ThFz",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Pqnj90ZLRZii",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "total_epochs, total_penalties = 0, 0\n",
        "num_of_episodes = 10\n",
        "env.reset()\n",
        "\n",
        "for e in range(num_of_episodes):\n",
        "    state = env.reset()\n",
        "    state , stacked_frames = stack_state(stacked_frames, state, True)\n",
        "    \n",
        "    epochs = 0\n",
        "    penalties = 0\n",
        "    reward = 0\n",
        "    total_reward = 0\n",
        "    \n",
        "    terminated = False\n",
        "    \n",
        "    for timesteps in tqdm.tqdm(range(timesteps_per_episode)):\n",
        "        env.render()\n",
        "        action = agent.act(state)\n",
        "        state, reward, terminated, info = enviroment.step(action)\n",
        "        state , stacked_frames = stack_state(stacked_frames, state, True)\n",
        "        \n",
        "        if reward == -10:\n",
        "            penalties += 1\n",
        "        \n",
        "        total_reward += reward\n",
        "        epochs += 1\n",
        "        \n",
        "    \n",
        "        \n",
        "    total_penalties += penalties\n",
        "    total_epochs += epochs\n",
        "\n",
        "\n",
        "\n",
        "print(\"**********************************\")\n",
        "print(\"Done!\")\n",
        "print(\"**********************************\")"
      ],
      "execution_count": null,
      "outputs": []
    }
  ]
}