3_nltk_PLN.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "3_nltk_PLN.ipynb",
      "provenance": [],
      "mount_file_id": "1R9oBZkBJwqFl4t-4nLG9Z2VYDtsXhBIl",
      "authorship_tag": "ABX9TyP3V1F3YQOneWRlJrto3IeQ"
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Og_5ILUlPxcw"
      },
      "source": [
        "## **Introdução ao NLTK**\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "wPGM6Nb41hp3"
      },
      "source": [
        "Documentação: [Natural Language Processing with Python](http://www.nltk.org/book/)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Ck9ggnbV1t15"
      },
      "source": [
        "É uma **biblioteca de ferramentas** úteis para os princípios de Processamento de Linguagem Natural e possui funcionalidades para **manipulação de strings**. "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "V2Z3OfMaL_F2"
      },
      "source": [
        "Dentro do NLTK, contém vários [corpora](https://www.nltk.org/book/ch02.html). "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "iSb7LBVwLdzl"
      },
      "source": [
        "Como usar o NLTK no Google Colab: \n",
        "- importar módulo;\n",
        "- baixar ferramentas;"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ZkFIciwwPr_6"
      },
      "source": [
        "import nltk"
      ],
      "execution_count": 93,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "iU_NnMYKL3FJ",
        "outputId": "45f95ce8-5a34-438c-fa76-a2484dc5d7fc"
      },
      "source": [
        "nltk.download()"
      ],
      "execution_count": 94,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "NLTK Downloader\n",
            "---------------------------------------------------------------------------\n",
            "    d) Download   l) List    u) Update   c) Config   h) Help   q) Quit\n",
            "---------------------------------------------------------------------------\n",
            "Downloader> d\n",
            "\n",
            "Download which package (l=list; x=cancel)?\n",
            "  Identifier> all\n",
            "    Downloading collection 'all'\n",
            "       | \n",
            "       | Downloading package abc to /root/nltk_data...\n",
            "       |   Package abc is already up-to-date!\n",
            "       | Downloading package alpino to /root/nltk_data...\n",
            "       |   Package alpino is already up-to-date!\n",
            "       | Downloading package biocreative_ppi to /root/nltk_data...\n",
            "       |   Package biocreative_ppi is already up-to-date!\n",
            "       | Downloading package brown to /root/nltk_data...\n",
            "       |   Package brown is already up-to-date!\n",
            "       | Downloading package brown_tei to /root/nltk_data...\n",
            "       |   Package brown_tei is already up-to-date!\n",
            "       | Downloading package cess_cat to /root/nltk_data...\n",
            "       |   Package cess_cat is already up-to-date!\n",
            "       | Downloading package cess_esp to /root/nltk_data...\n",
            "       |   Package cess_esp is already up-to-date!\n",
            "       | Downloading package chat80 to /root/nltk_data...\n",
            "       |   Package chat80 is already up-to-date!\n",
            "       | Downloading package city_database to /root/nltk_data...\n",
            "       |   Package city_database is already up-to-date!\n",
            "       | Downloading package cmudict to /root/nltk_data...\n",
            "       |   Package cmudict is already up-to-date!\n",
            "       | Downloading package comparative_sentences to\n",
            "       |     /root/nltk_data...\n",
            "       |   Package comparative_sentences is already up-to-date!\n",
            "       | Downloading package comtrans to /root/nltk_data...\n",
            "       |   Package comtrans is already up-to-date!\n",
            "       | Downloading package conll2000 to /root/nltk_data...\n",
            "       |   Package conll2000 is already up-to-date!\n",
            "       | Downloading package conll2002 to /root/nltk_data...\n",
            "       |   Package conll2002 is already up-to-date!\n",
            "       | Downloading package conll2007 to /root/nltk_data...\n",
            "       |   Package conll2007 is already up-to-date!\n",
            "       | Downloading package crubadan to /root/nltk_data...\n",
            "       |   Package crubadan is already up-to-date!\n",
            "       | Downloading package dependency_treebank to /root/nltk_data...\n",
            "       |   Package dependency_treebank is already up-to-date!\n",
            "       | Downloading package dolch to /root/nltk_data...\n",
            "       |   Package dolch is already up-to-date!\n",
            "       | Downloading package europarl_raw to /root/nltk_data...\n",
            "       |   Package europarl_raw is already up-to-date!\n",
            "       | Downloading package floresta to /root/nltk_data...\n",
            "       |   Package floresta is already up-to-date!\n",
            "       | Downloading package framenet_v15 to /root/nltk_data...\n",
            "       |   Package framenet_v15 is already up-to-date!\n",
            "       | Downloading package framenet_v17 to /root/nltk_data...\n",
            "       |   Package framenet_v17 is already up-to-date!\n",
            "       | Downloading package gazetteers to /root/nltk_data...\n",
            "       |   Package gazetteers is already up-to-date!\n",
            "       | Downloading package genesis to /root/nltk_data...\n",
            "       |   Package genesis is already up-to-date!\n",
            "       | Downloading package gutenberg to /root/nltk_data...\n",
            "       |   Package gutenberg is already up-to-date!\n",
            "       | Downloading package ieer to /root/nltk_data...\n",
            "       |   Package ieer is already up-to-date!\n",
            "       | Downloading package inaugural to /root/nltk_data...\n",
            "       |   Package inaugural is already up-to-date!\n",
            "       | Downloading package indian to /root/nltk_data...\n",
            "       |   Package indian is already up-to-date!\n",
            "       | Downloading package jeita to /root/nltk_data...\n",
            "       |   Package jeita is already up-to-date!\n",
            "       | Downloading package kimmo to /root/nltk_data...\n",
            "       |   Package kimmo is already up-to-date!\n",
            "       | Downloading package knbc to /root/nltk_data...\n",
            "       |   Package knbc is already up-to-date!\n",
            "       | Downloading package lin_thesaurus to /root/nltk_data...\n",
            "       |   Package lin_thesaurus is already up-to-date!\n",
            "       | Downloading package mac_morpho to /root/nltk_data...\n",
            "       |   Package mac_morpho is already up-to-date!\n",
            "       | Downloading package machado to /root/nltk_data...\n",
            "       |   Package machado is already up-to-date!\n",
            "       | Downloading package masc_tagged to /root/nltk_data...\n",
            "       |   Package masc_tagged is already up-to-date!\n",
            "       | Downloading package moses_sample to /root/nltk_data...\n",
            "       |   Package moses_sample is already up-to-date!\n",
            "       | Downloading package movie_reviews to /root/nltk_data...\n",
            "       |   Package movie_reviews is already up-to-date!\n",
            "       | Downloading package names to /root/nltk_data...\n",
            "       |   Package names is already up-to-date!\n",
            "       | Downloading package nombank.1.0 to /root/nltk_data...\n",
            "       |   Package nombank.1.0 is already up-to-date!\n",
            "       | Downloading package nps_chat to /root/nltk_data...\n",
            "       |   Package nps_chat is already up-to-date!\n",
            "       | Downloading package omw to /root/nltk_data...\n",
            "       |   Package omw is already up-to-date!\n",
            "       | Downloading package opinion_lexicon to /root/nltk_data...\n",
            "       |   Package opinion_lexicon is already up-to-date!\n",
            "       | Downloading package paradigms to /root/nltk_data...\n",
            "       |   Package paradigms is already up-to-date!\n",
            "       | Downloading package pil to /root/nltk_data...\n",
            "       |   Package pil is already up-to-date!\n",
            "       | Downloading package pl196x to /root/nltk_data...\n",
            "       |   Package pl196x is already up-to-date!\n",
            "       | Downloading package ppattach to /root/nltk_data...\n",
            "       |   Package ppattach is already up-to-date!\n",
            "       | Downloading package problem_reports to /root/nltk_data...\n",
            "       |   Package problem_reports is already up-to-date!\n",
            "       | Downloading package propbank to /root/nltk_data...\n",
            "       |   Package propbank is already up-to-date!\n",
            "       | Downloading package ptb to /root/nltk_data...\n",
            "       |   Package ptb is already up-to-date!\n",
            "       | Downloading package product_reviews_1 to /root/nltk_data...\n",
            "       |   Package product_reviews_1 is already up-to-date!\n",
            "       | Downloading package product_reviews_2 to /root/nltk_data...\n",
            "       |   Package product_reviews_2 is already up-to-date!\n",
            "       | Downloading package pros_cons to /root/nltk_data...\n",
            "       |   Package pros_cons is already up-to-date!\n",
            "       | Downloading package qc to /root/nltk_data...\n",
            "       |   Package qc is already up-to-date!\n",
            "       | Downloading package reuters to /root/nltk_data...\n",
            "       |   Package reuters is already up-to-date!\n",
            "       | Downloading package rte to /root/nltk_data...\n",
            "       |   Package rte is already up-to-date!\n",
            "       | Downloading package semcor to /root/nltk_data...\n",
            "       |   Package semcor is already up-to-date!\n",
            "       | Downloading package senseval to /root/nltk_data...\n",
            "       |   Package senseval is already up-to-date!\n",
            "       | Downloading package sentiwordnet to /root/nltk_data...\n",
            "       |   Package sentiwordnet is already up-to-date!\n",
            "       | Downloading package sentence_polarity to /root/nltk_data...\n",
            "       |   Package sentence_polarity is already up-to-date!\n",
            "       | Downloading package shakespeare to /root/nltk_data...\n",
            "       |   Package shakespeare is already up-to-date!\n",
            "       | Downloading package sinica_treebank to /root/nltk_data...\n",
            "       |   Package sinica_treebank is already up-to-date!\n",
            "       | Downloading package smultron to /root/nltk_data...\n",
            "       |   Package smultron is already up-to-date!\n",
            "       | Downloading package state_union to /root/nltk_data...\n",
            "       |   Package state_union is already up-to-date!\n",
            "       | Downloading package stopwords to /root/nltk_data...\n",
            "       |   Package stopwords is already up-to-date!\n",
            "       | Downloading package subjectivity to /root/nltk_data...\n",
            "       |   Package subjectivity is already up-to-date!\n",
            "       | Downloading package swadesh to /root/nltk_data...\n",
            "       |   Package swadesh is already up-to-date!\n",
            "       | Downloading package switchboard to /root/nltk_data...\n",
            "       |   Package switchboard is already up-to-date!\n",
            "       | Downloading package timit to /root/nltk_data...\n",
            "       |   Package timit is already up-to-date!\n",
            "       | Downloading package toolbox to /root/nltk_data...\n",
            "       |   Package toolbox is already up-to-date!\n",
            "       | Downloading package treebank to /root/nltk_data...\n",
            "       |   Package treebank is already up-to-date!\n",
            "       | Downloading package twitter_samples to /root/nltk_data...\n",
            "       |   Package twitter_samples is already up-to-date!\n",
            "       | Downloading package udhr to /root/nltk_data...\n",
            "       |   Package udhr is already up-to-date!\n",
            "       | Downloading package udhr2 to /root/nltk_data...\n",
            "       |   Package udhr2 is already up-to-date!\n",
            "       | Downloading package unicode_samples to /root/nltk_data...\n",
            "       |   Package unicode_samples is already up-to-date!\n",
            "       | Downloading package universal_treebanks_v20 to\n",
            "       |     /root/nltk_data...\n",
            "       |   Package universal_treebanks_v20 is already up-to-date!\n",
            "       | Downloading package verbnet to /root/nltk_data...\n",
            "       |   Package verbnet is already up-to-date!\n",
            "       | Downloading package verbnet3 to /root/nltk_data...\n",
            "       |   Package verbnet3 is already up-to-date!\n",
            "       | Downloading package webtext to /root/nltk_data...\n",
            "       |   Package webtext is already up-to-date!\n",
            "       | Downloading package wordnet to /root/nltk_data...\n",
            "       |   Package wordnet is already up-to-date!\n",
            "       | Downloading package wordnet_ic to /root/nltk_data...\n",
            "       |   Package wordnet_ic is already up-to-date!\n",
            "       | Downloading package words to /root/nltk_data...\n",
            "       |   Package words is already up-to-date!\n",
            "       | Downloading package ycoe to /root/nltk_data...\n",
            "       |   Package ycoe is already up-to-date!\n",
            "       | Downloading package rslp to /root/nltk_data...\n",
            "       |   Package rslp is already up-to-date!\n",
            "       | Downloading package maxent_treebank_pos_tagger to\n",
            "       |     /root/nltk_data...\n",
            "       |   Package maxent_treebank_pos_tagger is already up-to-date!\n",
            "       | Downloading package universal_tagset to /root/nltk_data...\n",
            "       |   Package universal_tagset is already up-to-date!\n",
            "       | Downloading package maxent_ne_chunker to /root/nltk_data...\n",
            "       |   Package maxent_ne_chunker is already up-to-date!\n",
            "       | Downloading package punkt to /root/nltk_data...\n",
            "       |   Package punkt is already up-to-date!\n",
            "       | Downloading package book_grammars to /root/nltk_data...\n",
            "       |   Package book_grammars is already up-to-date!\n",
            "       | Downloading package sample_grammars to /root/nltk_data...\n",
            "       |   Package sample_grammars is already up-to-date!\n",
            "       | Downloading package spanish_grammars to /root/nltk_data...\n",
            "       |   Package spanish_grammars is already up-to-date!\n",
            "       | Downloading package basque_grammars to /root/nltk_data...\n",
            "       |   Package basque_grammars is already up-to-date!\n",
            "       | Downloading package large_grammars to /root/nltk_data...\n",
            "       |   Package large_grammars is already up-to-date!\n",
            "       | Downloading package tagsets to /root/nltk_data...\n",
            "       |   Package tagsets is already up-to-date!\n",
            "       | Downloading package snowball_data to /root/nltk_data...\n",
            "       |   Package snowball_data is already up-to-date!\n",
            "       | Downloading package bllip_wsj_no_aux to /root/nltk_data...\n",
            "       |   Package bllip_wsj_no_aux is already up-to-date!\n",
            "       | Downloading package word2vec_sample to /root/nltk_data...\n",
            "       |   Package word2vec_sample is already up-to-date!\n",
            "       | Downloading package panlex_swadesh to /root/nltk_data...\n",
            "       |   Package panlex_swadesh is already up-to-date!\n",
            "       | Downloading package mte_teip5 to /root/nltk_data...\n",
            "       |   Package mte_teip5 is already up-to-date!\n",
            "       | Downloading package averaged_perceptron_tagger to\n",
            "       |     /root/nltk_data...\n",
            "       |   Package averaged_perceptron_tagger is already up-to-date!\n",
            "       | Downloading package averaged_perceptron_tagger_ru to\n",
            "       |     /root/nltk_data...\n",
            "       |   Package averaged_perceptron_tagger_ru is already up-to-\n",
            "       |       date!\n",
            "       | Downloading package perluniprops to /root/nltk_data...\n",
            "       |   Package perluniprops is already up-to-date!\n",
            "       | Downloading package nonbreaking_prefixes to\n",
            "       |     /root/nltk_data...\n",
            "       |   Package nonbreaking_prefixes is already up-to-date!\n",
            "       | Downloading package vader_lexicon to /root/nltk_data...\n",
            "       |   Package vader_lexicon is already up-to-date!\n",
            "       | Downloading package porter_test to /root/nltk_data...\n",
            "       |   Package porter_test is already up-to-date!\n",
            "       | Downloading package wmt15_eval to /root/nltk_data...\n",
            "       |   Package wmt15_eval is already up-to-date!\n",
            "       | Downloading package mwa_ppdb to /root/nltk_data...\n",
            "       |   Package mwa_ppdb is already up-to-date!\n",
            "       | \n",
            "     Done downloading collection all\n",
            "\n",
            "---------------------------------------------------------------------------\n",
            "    d) Download   l) List    u) Update   c) Config   h) Help   q) Quit\n",
            "---------------------------------------------------------------------------\n",
            "Downloader> q\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "True"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 94
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "22Vx0oQINYxr"
      },
      "source": [
        "### Utilizando o **mac_morpho** como exemplo:"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "V_B1g0ZPNsp6"
      },
      "source": [
        "http://nilc.icmc.usp.br/macmorpho/"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Hr1nVf8xOHJW"
      },
      "source": [
        "Lista de palavras:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "7YcbXAKCM2SW",
        "outputId": "3838bb64-2dfd-44b8-d36d-87db36e40d3f"
      },
      "source": [
        "nltk.corpus.mac_morpho.words()"
      ],
      "execution_count": 95,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['Jersei', 'atinge', 'média', 'de', 'Cr$', '1,4', ...]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 95
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "NG3e_4BnOImI"
      },
      "source": [
        "Lista de sentenças:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "5_c1YwRmN9V8",
        "outputId": "9cd77d67-3545-41ad-ac66-0abd2dd5b3d1"
      },
      "source": [
        "nltk.corpus.mac_morpho.sents()"
      ],
      "execution_count": 96,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[['Jersei', 'atinge', 'média', 'de', 'Cr$', '1,4', 'milhão', 'em', 'a', 'venda', 'de', 'a', 'Pinhal', 'em', 'São', 'Paulo'], ['Programe', 'sua', 'viagem', 'a', 'a', 'Exposição', 'Nacional', 'do', 'Zebu', ',', 'que', 'começa', 'dia', '25'], ...]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 96
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "4bIT3-xFQuWv"
      },
      "source": [
        "Classe gramatical (por palavra):"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "OK2-pV0JOFM6",
        "outputId": "c47b43ff-f2e0-4e87-d605-b32f15eb6c5f"
      },
      "source": [
        "nltk.corpus.mac_morpho.tagged_words()"
      ],
      "execution_count": 97,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[('Jersei', 'N'), ('atinge', 'V'), ('média', 'N'), ...]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 97
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "134xFEqRQ47g"
      },
      "source": [
        "Classe gramatical (por sentença):"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "p4x9Ly6PQqbg",
        "outputId": "2aa9970c-f72a-4b46-8985-e0d6e17ab978"
      },
      "source": [
        "nltk.corpus.mac_morpho.tagged_sents()"
      ],
      "execution_count": 98,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[[('Jersei', 'N'), ('atinge', 'V'), ('média', 'N'), ('de', 'PREP'), ('Cr$', 'CUR'), ('1,4', 'NUM'), ('milhão', 'N'), ('em', 'PREP|+'), ('a', 'ART'), ('venda', 'N'), ('de', 'PREP|+'), ('a', 'ART'), ('Pinhal', 'NPROP'), ('em', 'PREP'), ('São', 'NPROP'), ('Paulo', 'NPROP')], [('Programe', 'V'), ('sua', 'PROADJ'), ('viagem', 'N'), ('a', 'PREP|+'), ('a', 'ART'), ('Exposição', 'NPROP'), ('Nacional', 'NPROP'), ('do', 'NPROP'), ('Zebu', 'NPROP'), (',', ','), ('que', 'PRO-KS-REL'), ('começa', 'V'), ('dia', 'N'), ('25', 'N|AP')], ...]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 98
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "SDRWrLvYSM0q"
      },
      "source": [
        "### Algumas funções do NLTK:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "9d3t3HzmRC3m"
      },
      "source": [
        "import nltk"
      ],
      "execution_count": 99,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "iv266EnOSZZ-"
      },
      "source": [
        "Utilizando o arquivo '*corpus_teste.txt*' como base:"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "9Y2BYotcRoB-"
      },
      "source": [
        "- **tokenizar** = separar as palavras do texto - nível linguístico lexixal;\n",
        "```\n",
        "nltk.word_tokenize(...)\n",
        "```"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "mi1gYzm-Q1bJ",
        "outputId": "a23b3a87-8431-43fe-df20-e6cc36e98350"
      },
      "source": [
        "texto = \"Com um passe de Eli Manning para Plaxico Burress a 39 segundos do fim, o New York Giants anotou o touchdown decisivo e derrubou o favorito New England Patriots por 17 a 14 neste domingo, em Glendale, no Super Bowl XLII.\"\n",
        "tokens = nltk.word_tokenize(texto)\n",
        "print(tokens)\n",
        "\n",
        "# utilizando a função 'split()' não seria possível pegar símbolos, vírgulas, pontuação, etc."
      ],
      "execution_count": 100,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "['Com', 'um', 'passe', 'de', 'Eli', 'Manning', 'para', 'Plaxico', 'Burress', 'a', '39', 'segundos', 'do', 'fim', ',', 'o', 'New', 'York', 'Giants', 'anotou', 'o', 'touchdown', 'decisivo', 'e', 'derrubou', 'o', 'favorito', 'New', 'England', 'Patriots', 'por', '17', 'a', '14', 'neste', 'domingo', ',', 'em', 'Glendale', ',', 'no', 'Super', 'Bowl', 'XLII', '.']\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "eEi8wK5STmGN"
      },
      "source": [
        "Também podemos usar as **expressões regulares** para fazer a tokenização dos textos:"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ONSLVLG4Uz_E"
      },
      "source": [
        "Excluindo pontuação:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "S3RECZ40Q6hh",
        "outputId": "cc05e25d-c65d-47ec-852a-be3bb969d872"
      },
      "source": [
        "from nltk.tokenize import RegexpTokenizer\n",
        "tokenizer = RegexpTokenizer(r'\\w+')\n",
        "tokens = tokenizer.tokenize(texto)\n",
        "print(tokens)"
      ],
      "execution_count": 101,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "['Com', 'um', 'passe', 'de', 'Eli', 'Manning', 'para', 'Plaxico', 'Burress', 'a', '39', 'segundos', 'do', 'fim', 'o', 'New', 'York', 'Giants', 'anotou', 'o', 'touchdown', 'decisivo', 'e', 'derrubou', 'o', 'favorito', 'New', 'England', 'Patriots', 'por', '17', 'a', '14', 'neste', 'domingo', 'em', 'Glendale', 'no', 'Super', 'Bowl', 'XLII']\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "1REE1gbHU2BO"
      },
      "source": [
        "Excluindo números:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "kaRRzCSdT7w3",
        "outputId": "7ce329f0-0b16-4719-9479-7829b8354ed8"
      },
      "source": [
        "from nltk.tokenize import RegexpTokenizer\n",
        "tokenizer = RegexpTokenizer(r'[A-z]\\w+')\n",
        "tokens = tokenizer.tokenize(texto)\n",
        "print(tokens)\n",
        "\n",
        "# [A-z] = A maiúsculo ao z minúsculo"
      ],
      "execution_count": 102,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "['Com', 'um', 'passe', 'de', 'Eli', 'Manning', 'para', 'Plaxico', 'Burress', 'segundos', 'do', 'fim', 'New', 'York', 'Giants', 'anotou', 'touchdown', 'decisivo', 'derrubou', 'favorito', 'New', 'England', 'Patriots', 'por', 'neste', 'domingo', 'em', 'Glendale', 'no', 'Super', 'Bowl', 'XLII']\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "q1AjiBpxV0Uh"
      },
      "source": [
        "Links úteis: \n",
        "\n",
        "1.  https://www.w3schools.com/python/python_regex.asp\n",
        "2. https://pythex.org/"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "xyGwcOC2WjAJ"
      },
      "source": [
        "- **FreqDist()** = contagem de ocorrência de tokens;\n",
        "- **most_common** = ordena a frequência;\n",
        "\n",
        "```\n",
        "nltk.FreqDist(...)\n",
        "```\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "4MN3WYrDU7Yh",
        "outputId": "1de2bbb5-79e0-4f42-be13-7bd56a48df30"
      },
      "source": [
        "tokenizer = RegexpTokenizer(r'\\w+')\n",
        "tokens = tokenizer.tokenize(texto)\n",
        "# usando esse tokenizador para não aparecer a pontuação na lista de mais frequentes\n",
        "frequencia = nltk.FreqDist(tokens)\n",
        "frequencia.most_common()"
      ],
      "execution_count": 103,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[('o', 3),\n",
              " ('a', 2),\n",
              " ('New', 2),\n",
              " ('Com', 1),\n",
              " ('um', 1),\n",
              " ('passe', 1),\n",
              " ('de', 1),\n",
              " ('Eli', 1),\n",
              " ('Manning', 1),\n",
              " ('para', 1),\n",
              " ('Plaxico', 1),\n",
              " ('Burress', 1),\n",
              " ('39', 1),\n",
              " ('segundos', 1),\n",
              " ('do', 1),\n",
              " ('fim', 1),\n",
              " ('York', 1),\n",
              " ('Giants', 1),\n",
              " ('anotou', 1),\n",
              " ('touchdown', 1),\n",
              " ('decisivo', 1),\n",
              " ('e', 1),\n",
              " ('derrubou', 1),\n",
              " ('favorito', 1),\n",
              " ('England', 1),\n",
              " ('Patriots', 1),\n",
              " ('por', 1),\n",
              " ('17', 1),\n",
              " ('14', 1),\n",
              " ('neste', 1),\n",
              " ('domingo', 1),\n",
              " ('em', 1),\n",
              " ('Glendale', 1),\n",
              " ('no', 1),\n",
              " ('Super', 1),\n",
              " ('Bowl', 1),\n",
              " ('XLII', 1)]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 103
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "lxtKIKNlXD_k",
        "outputId": "3e09d3f9-49a4-428b-f77f-0857614b85f2"
      },
      "source": [
        "frequencia.most_common(5)"
      ],
      "execution_count": 104,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[('o', 3), ('a', 2), ('New', 2), ('Com', 1), ('um', 1)]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 104
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "1lQTwX0YYnnb"
      },
      "source": [
        "Novo princípio: **list comprehension**"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "gelAgnOyZC7N"
      },
      "source": [
        "- **lower()**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "zh9JMDV5XH8L",
        "outputId": "ef0cadac-7e3b-4158-d2e1-b068b6180817"
      },
      "source": [
        "nova_lista = []\n",
        "for palavra in tokens: \n",
        "  nova_lista.append(palavra.lower())\n",
        "print(nova_lista)"
      ],
      "execution_count": 105,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "['com', 'um', 'passe', 'de', 'eli', 'manning', 'para', 'plaxico', 'burress', 'a', '39', 'segundos', 'do', 'fim', 'o', 'new', 'york', 'giants', 'anotou', 'o', 'touchdown', 'decisivo', 'e', 'derrubou', 'o', 'favorito', 'new', 'england', 'patriots', 'por', '17', 'a', '14', 'neste', 'domingo', 'em', 'glendale', 'no', 'super', 'bowl', 'xlii']\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "WH-xMoT9ZWHg",
        "outputId": "68fe9c15-218e-4a13-9a0d-19c955cc5e8c"
      },
      "source": [
        "frequencia = nltk.FreqDist([palavra.lower() for palavra in tokens ])\n",
        "frequencia.most_common(10)"
      ],
      "execution_count": 106,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[('o', 3),\n",
              " ('a', 2),\n",
              " ('new', 2),\n",
              " ('com', 1),\n",
              " ('um', 1),\n",
              " ('passe', 1),\n",
              " ('de', 1),\n",
              " ('eli', 1),\n",
              " ('manning', 1),\n",
              " ('para', 1)]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 106
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "7dGajOKjbNuV"
      },
      "source": [
        "- **stopwords** = palavras que podem ser consideradas irrelevantes para um certo resultado buscado;\n",
        "\n",
        "\n",
        "```\n",
        "nltk.corpus.stopwords.words('...')\n",
        "```\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "sgrIahozZg9_",
        "outputId": "e9beba1f-b8b0-435d-980d-cf4e06c30937"
      },
      "source": [
        "nltk.corpus.stopwords.words('portuguese')"
      ],
      "execution_count": 107,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['de',\n",
              " 'a',\n",
              " 'o',\n",
              " 'que',\n",
              " 'e',\n",
              " 'é',\n",
              " 'do',\n",
              " 'da',\n",
              " 'em',\n",
              " 'um',\n",
              " 'para',\n",
              " 'com',\n",
              " 'não',\n",
              " 'uma',\n",
              " 'os',\n",
              " 'no',\n",
              " 'se',\n",
              " 'na',\n",
              " 'por',\n",
              " 'mais',\n",
              " 'as',\n",
              " 'dos',\n",
              " 'como',\n",
              " 'mas',\n",
              " 'ao',\n",
              " 'ele',\n",
              " 'das',\n",
              " 'à',\n",
              " 'seu',\n",
              " 'sua',\n",
              " 'ou',\n",
              " 'quando',\n",
              " 'muito',\n",
              " 'nos',\n",
              " 'já',\n",
              " 'eu',\n",
              " 'também',\n",
              " 'só',\n",
              " 'pelo',\n",
              " 'pela',\n",
              " 'até',\n",
              " 'isso',\n",
              " 'ela',\n",
              " 'entre',\n",
              " 'depois',\n",
              " 'sem',\n",
              " 'mesmo',\n",
              " 'aos',\n",
              " 'seus',\n",
              " 'quem',\n",
              " 'nas',\n",
              " 'me',\n",
              " 'esse',\n",
              " 'eles',\n",
              " 'você',\n",
              " 'essa',\n",
              " 'num',\n",
              " 'nem',\n",
              " 'suas',\n",
              " 'meu',\n",
              " 'às',\n",
              " 'minha',\n",
              " 'numa',\n",
              " 'pelos',\n",
              " 'elas',\n",
              " 'qual',\n",
              " 'nós',\n",
              " 'lhe',\n",
              " 'deles',\n",
              " 'essas',\n",
              " 'esses',\n",
              " 'pelas',\n",
              " 'este',\n",
              " 'dele',\n",
              " 'tu',\n",
              " 'te',\n",
              " 'vocês',\n",
              " 'vos',\n",
              " 'lhes',\n",
              " 'meus',\n",
              " 'minhas',\n",
              " 'teu',\n",
              " 'tua',\n",
              " 'teus',\n",
              " 'tuas',\n",
              " 'nosso',\n",
              " 'nossa',\n",
              " 'nossos',\n",
              " 'nossas',\n",
              " 'dela',\n",
              " 'delas',\n",
              " 'esta',\n",
              " 'estes',\n",
              " 'estas',\n",
              " 'aquele',\n",
              " 'aquela',\n",
              " 'aqueles',\n",
              " 'aquelas',\n",
              " 'isto',\n",
              " 'aquilo',\n",
              " 'estou',\n",
              " 'está',\n",
              " 'estamos',\n",
              " 'estão',\n",
              " 'estive',\n",
              " 'esteve',\n",
              " 'estivemos',\n",
              " 'estiveram',\n",
              " 'estava',\n",
              " 'estávamos',\n",
              " 'estavam',\n",
              " 'estivera',\n",
              " 'estivéramos',\n",
              " 'esteja',\n",
              " 'estejamos',\n",
              " 'estejam',\n",
              " 'estivesse',\n",
              " 'estivéssemos',\n",
              " 'estivessem',\n",
              " 'estiver',\n",
              " 'estivermos',\n",
              " 'estiverem',\n",
              " 'hei',\n",
              " 'há',\n",
              " 'havemos',\n",
              " 'hão',\n",
              " 'houve',\n",
              " 'houvemos',\n",
              " 'houveram',\n",
              " 'houvera',\n",
              " 'houvéramos',\n",
              " 'haja',\n",
              " 'hajamos',\n",
              " 'hajam',\n",
              " 'houvesse',\n",
              " 'houvéssemos',\n",
              " 'houvessem',\n",
              " 'houver',\n",
              " 'houvermos',\n",
              " 'houverem',\n",
              " 'houverei',\n",
              " 'houverá',\n",
              " 'houveremos',\n",
              " 'houverão',\n",
              " 'houveria',\n",
              " 'houveríamos',\n",
              " 'houveriam',\n",
              " 'sou',\n",
              " 'somos',\n",
              " 'são',\n",
              " 'era',\n",
              " 'éramos',\n",
              " 'eram',\n",
              " 'fui',\n",
              " 'foi',\n",
              " 'fomos',\n",
              " 'foram',\n",
              " 'fora',\n",
              " 'fôramos',\n",
              " 'seja',\n",
              " 'sejamos',\n",
              " 'sejam',\n",
              " 'fosse',\n",
              " 'fôssemos',\n",
              " 'fossem',\n",
              " 'for',\n",
              " 'formos',\n",
              " 'forem',\n",
              " 'serei',\n",
              " 'será',\n",
              " 'seremos',\n",
              " 'serão',\n",
              " 'seria',\n",
              " 'seríamos',\n",
              " 'seriam',\n",
              " 'tenho',\n",
              " 'tem',\n",
              " 'temos',\n",
              " 'tém',\n",
              " 'tinha',\n",
              " 'tínhamos',\n",
              " 'tinham',\n",
              " 'tive',\n",
              " 'teve',\n",
              " 'tivemos',\n",
              " 'tiveram',\n",
              " 'tivera',\n",
              " 'tivéramos',\n",
              " 'tenha',\n",
              " 'tenhamos',\n",
              " 'tenham',\n",
              " 'tivesse',\n",
              " 'tivéssemos',\n",
              " 'tivessem',\n",
              " 'tiver',\n",
              " 'tivermos',\n",
              " 'tiverem',\n",
              " 'terei',\n",
              " 'terá',\n",
              " 'teremos',\n",
              " 'terão',\n",
              " 'teria',\n",
              " 'teríamos',\n",
              " 'teriam']"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 107
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Ci9Wn2FGcPtv"
      },
      "source": [
        "*obs: é uma lista sugerida.*"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "fz7PxPh9by0j",
        "outputId": "a0e4e3df-2853-48eb-d5c2-4a5615811b55"
      },
      "source": [
        "from nltk.tokenize import RegexpTokenizer\n",
        "tokenizer = RegexpTokenizer(r'[A-z]\\w+')\n",
        "texto = \"Com um passe de Eli Manning para Plaxico Burress a 39 segundos do fim, o New York Giants anotou o touchdown decisivo e derrubou o favorito New England Patriots por 17 a 14 neste domingo, em Glendale, no Super Bowl XLII.\"\n",
        "tokens = tokenizer.tokenize(texto)\n",
        "\n",
        "stopwords = nltk.corpus.stopwords.words('portuguese')\n",
        "\n",
        "tokens_sem_stopwords = [w.lower() for w in tokens if w.lower() not in stopwords]\n",
        "\n",
        "print(tokens_sem_stopwords)"
      ],
      "execution_count": 108,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "['passe', 'eli', 'manning', 'plaxico', 'burress', 'segundos', 'fim', 'new', 'york', 'giants', 'anotou', 'touchdown', 'decisivo', 'derrubou', 'favorito', 'new', 'england', 'patriots', 'neste', 'domingo', 'glendale', 'super', 'bowl', 'xlii']\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "FqzZYXLcdtu5",
        "outputId": "cf5a3486-5962-4972-8ac2-4bd21bcaf1f6"
      },
      "source": [
        "frequencia = nltk.FreqDist(tokens_sem_stopwords)\n",
        "print(frequencia.most_common(10))"
      ],
      "execution_count": 109,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "[('new', 2), ('passe', 1), ('eli', 1), ('manning', 1), ('plaxico', 1), ('burress', 1), ('segundos', 1), ('fim', 1), ('york', 1), ('giants', 1)]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "bXS7OvRNeYLQ"
      },
      "source": [
        "**Rodando o código no texto base:**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "9Z9O8fRaeD3g"
      },
      "source": [
        "arquivo_texto = open('/content/drive/MyDrive/Cursos/PLN_USP/corpus_teste.txt')"
      ],
      "execution_count": 110,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "wtvq9DE4etKl",
        "outputId": "1475b45b-f0c1-4901-a991-e85ecabc32ea"
      },
      "source": [
        "txt = arquivo_texto.read()\n",
        "print(txt)"
      ],
      "execution_count": 111,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Giants batem os Patriots no Super Bowl XLII\n",
            "Azarões acabam com a invencibilidade de New England e ficam com o título da temporada\n",
            "04/02/2008 - 01h07m - Atualizado em 04/02/2008 - 09h49m\n",
            "\n",
            "Com um passe de Eli Manning para Plaxico Burress a 39 segundos do fim, o New York Giants anotou o touchdown decisivo e derrubou o favorito New England Patriots por 17 a 14 neste domingo, em Glendale, no Super Bowl XLII. O resultado, uma das maiores zebras da história do Super Bowl, acabou com a temporada perfeita de Tom Brady e companhia, que esperavam fazer história ao levantar o troféu da NFL sem sofrer uma derrota no ano. \n",
            "\n",
            "A vitória dos Giants, porém, também ficará para a história. Pela primeira vez, irmãos quarterbacks triunfam no Super Bowl em temporadas consecutivas. No ano passado, Peyton Manning, irmão de Eli, chegou ao título máximo da NFL pelo Indianapolis Colts.\n",
            "\n",
            "A partida\n",
            "\n",
            "Os Giants começaram com a posse de bola, e mostraram logo que iriam alongar ao máximo suas posses de bola. Misturando corridas com Brandon Jacobs e passes curtos, o time de Nova York chegou à red zone logo na primeira campanha. O avanço, no entanto, parou na linha de 17 jardas e Lawrence Tynes converteu o field goal de 32 jardas para abrir o placar.\n",
            "\n",
            "Eli Manning e companhia ficaram 9m54s com a bola, mas o ataque dos Patriots não entrou em campo frio. Logo no retorno do kickoff, o running back Laurence Maroney avançou 43 jardas, deixando Tom Brady em boa posição. Com passes curtos, os Patriots chegaram à linha de 17 jardas e, graças a uma penalidade (interferência de passe) do linebacker Antonio Pierce, alcançaram a linha de uma jarda. Maroney avançou pelo chão e anotou o primeiro touchdown do jogo.\n",
            "\n",
            "Os Giants pareciam rumo à virada na campanha seguinte. Manning achou Amani Toomer para um avanço de 38 jardas, e o time de Nova York entrou novamente na red zone. Com a bola na linha de 14 jardas dos Patriots, os Giants sofreram um revés. Manning passou para Steve Smith, que soltou a bola. Ellis Hobbs aproveitou, tomou a posse para os Patriots, e avançou 23 jardas. \n",
            "\n",
            "A defesa de Nova York manteve o jogo equilibrado. Com dois sacks seguidos, os Giants forçaram o punt e recuperaram a bola. Mas a campanha seguinte provou ser outra decepção para Nova York. O time chegou à linha de 25 jardas, mas Manning sofreu um sack e cometeu um fumble, e o ataque voltou para a linha de 39 jardas, não conseguindo pontuar mais uma vez.\n",
            "\n",
            "Os Patriots tiveram uma última chance de marcar antes do intervalo, mas, a 22 segundos do fim do segundo período, Brady foi novamente sacado. Desta vez, ele cometeu o fumble e os Giants tomaram a posse de bola. Manning tentou um passe longo, de 50 jardas, nos últimos segundos, mas não teve sucesso. \n",
            "\n",
            "O jogo continuou amarrado no terceiro quarto, com as defesas levando a melhor sobre os ataques. A única chance de pontuar do período foi dos Patriots, que chegaram à linha de 31 jardas dos Giants. O técnico Bill Bellichick, porém, optou por uma quarta descida em vez de um field goal. Brady tentou um passe para Jabar Gaffney, mas não conseguiu completar.\n",
            "\n",
            "O último período começou arrasador para os Giants. na primeira jogada, Manning achou o tight end Kevin Boss, para um incrível avanço de 45 jardas, que deixou o time na linha de 35 dos Patriots. Outro lançamento, desta vez para Steve Smith, marcou o avanço até a linha de 12 jardas. Duas jogadas depois, David Tyree pegou um passe de cinco jardas na end zone para anotar o touchdown e virar o jogo.\n",
            "\n",
            "Na hora da decisão, o ataque dos Patriots voltou a funcionar. Com uma série de passes curtos e variados, Brady achou Wes Welker, Randy Moss e Kevin Faulk seguidas vezes até chegar à red zone. A 2m45s do fim, o quarterback conectou mais uma vez com Moss, que se desmarcou e ficou livre na lateral direita da end zone.\n",
            "\n",
            "Quando os fãs de New England já comemoravam a vitória, o inesperado aconteceu. Em uma jogada incrível, Eli Manning se soltou de dois marcadores que o seguravam pela camisa e, na corrida, lançou para Amani Toomer. O wide receiver, bem marcado, saltou e conseguiu a fazer recepção para um avanço de 32 jardas, deixando os Giants na linha de 24 de New England.\n",
            "\n",
            "Quatro jogadas depois, a 39 segundos do fim, Manning achou Plaxico Burress na end zone para conseguir o touchdown do título.\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "_jmoUNJVevrc",
        "outputId": "bdda6d68-efee-4782-8712-cda0860e2a4b"
      },
      "source": [
        "arquivo_texto = open('/content/drive/MyDrive/Cursos/PLN_USP/corpus_teste.txt')\n",
        "txt = arquivo_texto.read()\n",
        "\n",
        "tokenizer = RegexpTokenizer(r'[A-z]\\w+')\n",
        "tokens = tokenizer.tokenize(txt)\n",
        "\n",
        "stopwords = nltk.corpus.stopwords.words('portuguese')\n",
        "\n",
        "tokens_sem_stopwords = [w.lower() for w in tokens if w.lower() not in stopwords]\n",
        "\n",
        "print(tokens_sem_stopwords)"
      ],
      "execution_count": 112,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "['giants', 'batem', 'patriots', 'super', 'bowl', 'xlii', 'azarões', 'acabam', 'invencibilidade', 'new', 'england', 'ficam', 'título', 'temporada', 'h07m', 'atualizado', 'h49m', 'passe', 'eli', 'manning', 'plaxico', 'burress', 'segundos', 'fim', 'new', 'york', 'giants', 'anotou', 'touchdown', 'decisivo', 'derrubou', 'favorito', 'new', 'england', 'patriots', 'neste', 'domingo', 'glendale', 'super', 'bowl', 'xlii', 'resultado', 'maiores', 'zebras', 'história', 'super', 'bowl', 'acabou', 'temporada', 'perfeita', 'tom', 'brady', 'companhia', 'esperavam', 'fazer', 'história', 'levantar', 'troféu', 'nfl', 'sofrer', 'derrota', 'ano', 'vitória', 'giants', 'porém', 'ficará', 'história', 'primeira', 'vez', 'irmãos', 'quarterbacks', 'triunfam', 'super', 'bowl', 'temporadas', 'consecutivas', 'ano', 'passado', 'peyton', 'manning', 'irmão', 'eli', 'chegou', 'título', 'máximo', 'nfl', 'indianapolis', 'colts', 'partida', 'giants', 'começaram', 'posse', 'bola', 'mostraram', 'logo', 'iriam', 'alongar', 'máximo', 'posses', 'bola', 'misturando', 'corridas', 'brandon', 'jacobs', 'passes', 'curtos', 'time', 'nova', 'york', 'chegou', 'red', 'zone', 'logo', 'primeira', 'campanha', 'avanço', 'entanto', 'parou', 'linha', 'jardas', 'lawrence', 'tynes', 'converteu', 'field', 'goal', 'jardas', 'abrir', 'placar', 'eli', 'manning', 'companhia', 'ficaram', 'm54s', 'bola', 'ataque', 'patriots', 'entrou', 'campo', 'frio', 'logo', 'retorno', 'kickoff', 'running', 'back', 'laurence', 'maroney', 'avançou', 'jardas', 'deixando', 'tom', 'brady', 'boa', 'posição', 'passes', 'curtos', 'patriots', 'chegaram', 'linha', 'jardas', 'graças', 'penalidade', 'interferência', 'passe', 'linebacker', 'antonio', 'pierce', 'alcançaram', 'linha', 'jarda', 'maroney', 'avançou', 'chão', 'anotou', 'primeiro', 'touchdown', 'jogo', 'giants', 'pareciam', 'rumo', 'virada', 'campanha', 'seguinte', 'manning', 'achou', 'amani', 'toomer', 'avanço', 'jardas', 'time', 'nova', 'york', 'entrou', 'novamente', 'red', 'zone', 'bola', 'linha', 'jardas', 'patriots', 'giants', 'sofreram', 'revés', 'manning', 'passou', 'steve', 'smith', 'soltou', 'bola', 'ellis', 'hobbs', 'aproveitou', 'tomou', 'posse', 'patriots', 'avançou', 'jardas', 'defesa', 'nova', 'york', 'manteve', 'jogo', 'equilibrado', 'dois', 'sacks', 'seguidos', 'giants', 'forçaram', 'punt', 'recuperaram', 'bola', 'campanha', 'seguinte', 'provou', 'ser', 'outra', 'decepção', 'nova', 'york', 'time', 'chegou', 'linha', 'jardas', 'manning', 'sofreu', 'sack', 'cometeu', 'fumble', 'ataque', 'voltou', 'linha', 'jardas', 'conseguindo', 'pontuar', 'vez', 'patriots', 'ltima', 'chance', 'marcar', 'antes', 'intervalo', 'segundos', 'fim', 'segundo', 'período', 'brady', 'novamente', 'sacado', 'desta', 'vez', 'cometeu', 'fumble', 'giants', 'tomaram', 'posse', 'bola', 'manning', 'tentou', 'passe', 'longo', 'jardas', 'ltimos', 'segundos', 'sucesso', 'jogo', 'continuou', 'amarrado', 'terceiro', 'quarto', 'defesas', 'levando', 'melhor', 'sobre', 'ataques', 'nica', 'chance', 'pontuar', 'período', 'patriots', 'chegaram', 'linha', 'jardas', 'giants', 'técnico', 'bill', 'bellichick', 'porém', 'optou', 'quarta', 'descida', 'vez', 'field', 'goal', 'brady', 'tentou', 'passe', 'jabar', 'gaffney', 'conseguiu', 'completar', 'ltimo', 'período', 'começou', 'arrasador', 'giants', 'primeira', 'jogada', 'manning', 'achou', 'tight', 'end', 'kevin', 'boss', 'incrível', 'avanço', 'jardas', 'deixou', 'time', 'linha', 'patriots', 'outro', 'lançamento', 'desta', 'vez', 'steve', 'smith', 'marcou', 'avanço', 'linha', 'jardas', 'duas', 'jogadas', 'david', 'tyree', 'pegou', 'passe', 'cinco', 'jardas', 'end', 'zone', 'anotar', 'touchdown', 'virar', 'jogo', 'hora', 'decisão', 'ataque', 'patriots', 'voltou', 'funcionar', 'série', 'passes', 'curtos', 'variados', 'brady', 'achou', 'wes', 'welker', 'randy', 'moss', 'kevin', 'faulk', 'seguidas', 'vezes', 'chegar', 'red', 'zone', 'm45s', 'fim', 'quarterback', 'conectou', 'vez', 'moss', 'desmarcou', 'ficou', 'livre', 'lateral', 'direita', 'end', 'zone', 'fãs', 'new', 'england', 'comemoravam', 'vitória', 'inesperado', 'aconteceu', 'jogada', 'incrível', 'eli', 'manning', 'soltou', 'dois', 'marcadores', 'seguravam', 'camisa', 'corrida', 'lançou', 'amani', 'toomer', 'wide', 'receiver', 'bem', 'marcado', 'saltou', 'conseguiu', 'fazer', 'recepção', 'avanço', 'jardas', 'deixando', 'giants', 'linha', 'new', 'england', 'quatro', 'jogadas', 'segundos', 'fim', 'manning', 'achou', 'plaxico', 'burress', 'end', 'zone', 'conseguir', 'touchdown', 'título']\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "OmkTREXQfqh4"
      },
      "source": [
        "10 palavras mais comuns:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "y8WIglrCfVft",
        "outputId": "577c1b58-b10c-40e5-e967-a640f0fe825a"
      },
      "source": [
        "frequencia = nltk.FreqDist(tokens_sem_stopwords)\n",
        "print(frequencia.most_common(10))"
      ],
      "execution_count": 113,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "[('jardas', 15), ('giants', 11), ('patriots', 10), ('manning', 10), ('linha', 10), ('bola', 7), ('vez', 6), ('zone', 6), ('new', 5), ('passe', 5)]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Qng8Enamgdsl"
      },
      "source": [
        "**N-Gramas** = conjuntos de palavras que aparecem sequencialmente;\n",
        "- bigramas:\n",
        "\n",
        "\n",
        "```\n",
        "from nltk import bigrams\n",
        "```\n",
        "- trigramas:\n",
        "\n",
        "\n",
        "```\n",
        "from nltk import trigrams\n",
        "```\n",
        "- 4-gramas ou mais:\n",
        "\n",
        "\n",
        "```\n",
        "from nltk import ngrams\n",
        "```\n",
        "\n",
        "\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "An3N6VTEfbf7"
      },
      "source": [
        "from nltk import bigrams\n",
        "from nltk import trigrams\n",
        "from nltk import ngrams"
      ],
      "execution_count": 114,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nIoJkra4jG1x"
      },
      "source": [
        "tokens = nltk.word_tokenize(txt)"
      ],
      "execution_count": 115,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "pkzQ6TrHkQrt",
        "outputId": "a1f6b11c-0479-487e-e6d7-239767ed264e"
      },
      "source": [
        "list(bigrams(tokens))"
      ],
      "execution_count": 116,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[('Giants', 'batem'),\n",
              " ('batem', 'os'),\n",
              " ('os', 'Patriots'),\n",
              " ('Patriots', 'no'),\n",
              " ('no', 'Super'),\n",
              " ('Super', 'Bowl'),\n",
              " ('Bowl', 'XLII'),\n",
              " ('XLII', 'Azarões'),\n",
              " ('Azarões', 'acabam'),\n",
              " ('acabam', 'com'),\n",
              " ('com', 'a'),\n",
              " ('a', 'invencibilidade'),\n",
              " ('invencibilidade', 'de'),\n",
              " ('de', 'New'),\n",
              " ('New', 'England'),\n",
              " ('England', 'e'),\n",
              " ('e', 'ficam'),\n",
              " ('ficam', 'com'),\n",
              " ('com', 'o'),\n",
              " ('o', 'título'),\n",
              " ('título', 'da'),\n",
              " ('da', 'temporada'),\n",
              " ('temporada', '04/02/2008'),\n",
              " ('04/02/2008', '-'),\n",
              " ('-', '01h07m'),\n",
              " ('01h07m', '-'),\n",
              " ('-', 'Atualizado'),\n",
              " ('Atualizado', 'em'),\n",
              " ('em', '04/02/2008'),\n",
              " ('04/02/2008', '-'),\n",
              " ('-', '09h49m'),\n",
              " ('09h49m', 'Com'),\n",
              " ('Com', 'um'),\n",
              " ('um', 'passe'),\n",
              " ('passe', 'de'),\n",
              " ('de', 'Eli'),\n",
              " ('Eli', 'Manning'),\n",
              " ('Manning', 'para'),\n",
              " ('para', 'Plaxico'),\n",
              " ('Plaxico', 'Burress'),\n",
              " ('Burress', 'a'),\n",
              " ('a', '39'),\n",
              " ('39', 'segundos'),\n",
              " ('segundos', 'do'),\n",
              " ('do', 'fim'),\n",
              " ('fim', ','),\n",
              " (',', 'o'),\n",
              " ('o', 'New'),\n",
              " ('New', 'York'),\n",
              " ('York', 'Giants'),\n",
              " ('Giants', 'anotou'),\n",
              " ('anotou', 'o'),\n",
              " ('o', 'touchdown'),\n",
              " ('touchdown', 'decisivo'),\n",
              " ('decisivo', 'e'),\n",
              " ('e', 'derrubou'),\n",
              " ('derrubou', 'o'),\n",
              " ('o', 'favorito'),\n",
              " ('favorito', 'New'),\n",
              " ('New', 'England'),\n",
              " ('England', 'Patriots'),\n",
              " ('Patriots', 'por'),\n",
              " ('por', '17'),\n",
              " ('17', 'a'),\n",
              " ('a', '14'),\n",
              " ('14', 'neste'),\n",
              " ('neste', 'domingo'),\n",
              " ('domingo', ','),\n",
              " (',', 'em'),\n",
              " ('em', 'Glendale'),\n",
              " ('Glendale', ','),\n",
              " (',', 'no'),\n",
              " ('no', 'Super'),\n",
              " ('Super', 'Bowl'),\n",
              " ('Bowl', 'XLII'),\n",
              " ('XLII', '.'),\n",
              " ('.', 'O'),\n",
              " ('O', 'resultado'),\n",
              " ('resultado', ','),\n",
              " (',', 'uma'),\n",
              " ('uma', 'das'),\n",
              " ('das', 'maiores'),\n",
              " ('maiores', 'zebras'),\n",
              " ('zebras', 'da'),\n",
              " ('da', 'história'),\n",
              " ('história', 'do'),\n",
              " ('do', 'Super'),\n",
              " ('Super', 'Bowl'),\n",
              " ('Bowl', ','),\n",
              " (',', 'acabou'),\n",
              " ('acabou', 'com'),\n",
              " ('com', 'a'),\n",
              " ('a', 'temporada'),\n",
              " ('temporada', 'perfeita'),\n",
              " ('perfeita', 'de'),\n",
              " ('de', 'Tom'),\n",
              " ('Tom', 'Brady'),\n",
              " ('Brady', 'e'),\n",
              " ('e', 'companhia'),\n",
              " ('companhia', ','),\n",
              " (',', 'que'),\n",
              " ('que', 'esperavam'),\n",
              " ('esperavam', 'fazer'),\n",
              " ('fazer', 'história'),\n",
              " ('história', 'ao'),\n",
              " ('ao', 'levantar'),\n",
              " ('levantar', 'o'),\n",
              " ('o', 'troféu'),\n",
              " ('troféu', 'da'),\n",
              " ('da', 'NFL'),\n",
              " ('NFL', 'sem'),\n",
              " ('sem', 'sofrer'),\n",
              " ('sofrer', 'uma'),\n",
              " ('uma', 'derrota'),\n",
              " ('derrota', 'no'),\n",
              " ('no', 'ano'),\n",
              " ('ano', '.'),\n",
              " ('.', 'A'),\n",
              " ('A', 'vitória'),\n",
              " ('vitória', 'dos'),\n",
              " ('dos', 'Giants'),\n",
              " ('Giants', ','),\n",
              " (',', 'porém'),\n",
              " ('porém', ','),\n",
              " (',', 'também'),\n",
              " ('também', 'ficará'),\n",
              " ('ficará', 'para'),\n",
              " ('para', 'a'),\n",
              " ('a', 'história'),\n",
              " ('história', '.'),\n",
              " ('.', 'Pela'),\n",
              " ('Pela', 'primeira'),\n",
              " ('primeira', 'vez'),\n",
              " ('vez', ','),\n",
              " (',', 'irmãos'),\n",
              " ('irmãos', 'quarterbacks'),\n",
              " ('quarterbacks', 'triunfam'),\n",
              " ('triunfam', 'no'),\n",
              " ('no', 'Super'),\n",
              " ('Super', 'Bowl'),\n",
              " ('Bowl', 'em'),\n",
              " ('em', 'temporadas'),\n",
              " ('temporadas', 'consecutivas'),\n",
              " ('consecutivas', '.'),\n",
              " ('.', 'No'),\n",
              " ('No', 'ano'),\n",
              " ('ano', 'passado'),\n",
              " ('passado', ','),\n",
              " (',', 'Peyton'),\n",
              " ('Peyton', 'Manning'),\n",
              " ('Manning', ','),\n",
              " (',', 'irmão'),\n",
              " ('irmão', 'de'),\n",
              " ('de', 'Eli'),\n",
              " ('Eli', ','),\n",
              " (',', 'chegou'),\n",
              " ('chegou', 'ao'),\n",
              " ('ao', 'título'),\n",
              " ('título', 'máximo'),\n",
              " ('máximo', 'da'),\n",
              " ('da', 'NFL'),\n",
              " ('NFL', 'pelo'),\n",
              " ('pelo', 'Indianapolis'),\n",
              " ('Indianapolis', 'Colts'),\n",
              " ('Colts', '.'),\n",
              " ('.', 'A'),\n",
              " ('A', 'partida'),\n",
              " ('partida', 'Os'),\n",
              " ('Os', 'Giants'),\n",
              " ('Giants', 'começaram'),\n",
              " ('começaram', 'com'),\n",
              " ('com', 'a'),\n",
              " ('a', 'posse'),\n",
              " ('posse', 'de'),\n",
              " ('de', 'bola'),\n",
              " ('bola', ','),\n",
              " (',', 'e'),\n",
              " ('e', 'mostraram'),\n",
              " ('mostraram', 'logo'),\n",
              " ('logo', 'que'),\n",
              " ('que', 'iriam'),\n",
              " ('iriam', 'alongar'),\n",
              " ('alongar', 'ao'),\n",
              " ('ao', 'máximo'),\n",
              " ('máximo', 'suas'),\n",
              " ('suas', 'posses'),\n",
              " ('posses', 'de'),\n",
              " ('de', 'bola'),\n",
              " ('bola', '.'),\n",
              " ('.', 'Misturando'),\n",
              " ('Misturando', 'corridas'),\n",
              " ('corridas', 'com'),\n",
              " ('com', 'Brandon'),\n",
              " ('Brandon', 'Jacobs'),\n",
              " ('Jacobs', 'e'),\n",
              " ('e', 'passes'),\n",
              " ('passes', 'curtos'),\n",
              " ('curtos', ','),\n",
              " (',', 'o'),\n",
              " ('o', 'time'),\n",
              " ('time', 'de'),\n",
              " ('de', 'Nova'),\n",
              " ('Nova', 'York'),\n",
              " ('York', 'chegou'),\n",
              " ('chegou', 'à'),\n",
              " ('à', 'red'),\n",
              " ('red', 'zone'),\n",
              " ('zone', 'logo'),\n",
              " ('logo', 'na'),\n",
              " ('na', 'primeira'),\n",
              " ('primeira', 'campanha'),\n",
              " ('campanha', '.'),\n",
              " ('.', 'O'),\n",
              " ('O', 'avanço'),\n",
              " ('avanço', ','),\n",
              " (',', 'no'),\n",
              " ('no', 'entanto'),\n",
              " ('entanto', ','),\n",
              " (',', 'parou'),\n",
              " ('parou', 'na'),\n",
              " ('na', 'linha'),\n",
              " ('linha', 'de'),\n",
              " ('de', '17'),\n",
              " ('17', 'jardas'),\n",
              " ('jardas', 'e'),\n",
              " ('e', 'Lawrence'),\n",
              " ('Lawrence', 'Tynes'),\n",
              " ('Tynes', 'converteu'),\n",
              " ('converteu', 'o'),\n",
              " ('o', 'field'),\n",
              " ('field', 'goal'),\n",
              " ('goal', 'de'),\n",
              " ('de', '32'),\n",
              " ('32', 'jardas'),\n",
              " ('jardas', 'para'),\n",
              " ('para', 'abrir'),\n",
              " ('abrir', 'o'),\n",
              " ('o', 'placar'),\n",
              " ('placar', '.'),\n",
              " ('.', 'Eli'),\n",
              " ('Eli', 'Manning'),\n",
              " ('Manning', 'e'),\n",
              " ('e', 'companhia'),\n",
              " ('companhia', 'ficaram'),\n",
              " ('ficaram', '9m54s'),\n",
              " ('9m54s', 'com'),\n",
              " ('com', 'a'),\n",
              " ('a', 'bola'),\n",
              " ('bola', ','),\n",
              " (',', 'mas'),\n",
              " ('mas', 'o'),\n",
              " ('o', 'ataque'),\n",
              " ('ataque', 'dos'),\n",
              " ('dos', 'Patriots'),\n",
              " ('Patriots', 'não'),\n",
              " ('não', 'entrou'),\n",
              " ('entrou', 'em'),\n",
              " ('em', 'campo'),\n",
              " ('campo', 'frio'),\n",
              " ('frio', '.'),\n",
              " ('.', 'Logo'),\n",
              " ('Logo', 'no'),\n",
              " ('no', 'retorno'),\n",
              " ('retorno', 'do'),\n",
              " ('do', 'kickoff'),\n",
              " ('kickoff', ','),\n",
              " (',', 'o'),\n",
              " ('o', 'running'),\n",
              " ('running', 'back'),\n",
              " ('back', 'Laurence'),\n",
              " ('Laurence', 'Maroney'),\n",
              " ('Maroney', 'avançou'),\n",
              " ('avançou', '43'),\n",
              " ('43', 'jardas'),\n",
              " ('jardas', ','),\n",
              " (',', 'deixando'),\n",
              " ('deixando', 'Tom'),\n",
              " ('Tom', 'Brady'),\n",
              " ('Brady', 'em'),\n",
              " ('em', 'boa'),\n",
              " ('boa', 'posição'),\n",
              " ('posição', '.'),\n",
              " ('.', 'Com'),\n",
              " ('Com', 'passes'),\n",
              " ('passes', 'curtos'),\n",
              " ('curtos', ','),\n",
              " (',', 'os'),\n",
              " ('os', 'Patriots'),\n",
              " ('Patriots', 'chegaram'),\n",
              " ('chegaram', 'à'),\n",
              " ('à', 'linha'),\n",
              " ('linha', 'de'),\n",
              " ('de', '17'),\n",
              " ('17', 'jardas'),\n",
              " ('jardas', 'e'),\n",
              " ('e', ','),\n",
              " (',', 'graças'),\n",
              " ('graças', 'a'),\n",
              " ('a', 'uma'),\n",
              " ('uma', 'penalidade'),\n",
              " ('penalidade', '('),\n",
              " ('(', 'interferência'),\n",
              " ('interferência', 'de'),\n",
              " ('de', 'passe'),\n",
              " ('passe', ')'),\n",
              " (')', 'do'),\n",
              " ('do', 'linebacker'),\n",
              " ('linebacker', 'Antonio'),\n",
              " ('Antonio', 'Pierce'),\n",
              " ('Pierce', ','),\n",
              " (',', 'alcançaram'),\n",
              " ('alcançaram', 'a'),\n",
              " ('a', 'linha'),\n",
              " ('linha', 'de'),\n",
              " ('de', 'uma'),\n",
              " ('uma', 'jarda'),\n",
              " ('jarda', '.'),\n",
              " ('.', 'Maroney'),\n",
              " ('Maroney', 'avançou'),\n",
              " ('avançou', 'pelo'),\n",
              " ('pelo', 'chão'),\n",
              " ('chão', 'e'),\n",
              " ('e', 'anotou'),\n",
              " ('anotou', 'o'),\n",
              " ('o', 'primeiro'),\n",
              " ('primeiro', 'touchdown'),\n",
              " ('touchdown', 'do'),\n",
              " ('do', 'jogo'),\n",
              " ('jogo', '.'),\n",
              " ('.', 'Os'),\n",
              " ('Os', 'Giants'),\n",
              " ('Giants', 'pareciam'),\n",
              " ('pareciam', 'rumo'),\n",
              " ('rumo', 'à'),\n",
              " ('à', 'virada'),\n",
              " ('virada', 'na'),\n",
              " ('na', 'campanha'),\n",
              " ('campanha', 'seguinte'),\n",
              " ('seguinte', '.'),\n",
              " ('.', 'Manning'),\n",
              " ('Manning', 'achou'),\n",
              " ('achou', 'Amani'),\n",
              " ('Amani', 'Toomer'),\n",
              " ('Toomer', 'para'),\n",
              " ('para', 'um'),\n",
              " ('um', 'avanço'),\n",
              " ('avanço', 'de'),\n",
              " ('de', '38'),\n",
              " ('38', 'jardas'),\n",
              " ('jardas', ','),\n",
              " (',', 'e'),\n",
              " ('e', 'o'),\n",
              " ('o', 'time'),\n",
              " ('time', 'de'),\n",
              " ('de', 'Nova'),\n",
              " ('Nova', 'York'),\n",
              " ('York', 'entrou'),\n",
              " ('entrou', 'novamente'),\n",
              " ('novamente', 'na'),\n",
              " ('na', 'red'),\n",
              " ('red', 'zone'),\n",
              " ('zone', '.'),\n",
              " ('.', 'Com'),\n",
              " ('Com', 'a'),\n",
              " ('a', 'bola'),\n",
              " ('bola', 'na'),\n",
              " ('na', 'linha'),\n",
              " ('linha', 'de'),\n",
              " ('de', '14'),\n",
              " ('14', 'jardas'),\n",
              " ('jardas', 'dos'),\n",
              " ('dos', 'Patriots'),\n",
              " ('Patriots', ','),\n",
              " (',', 'os'),\n",
              " ('os', 'Giants'),\n",
              " ('Giants', 'sofreram'),\n",
              " ('sofreram', 'um'),\n",
              " ('um', 'revés'),\n",
              " ('revés', '.'),\n",
              " ('.', 'Manning'),\n",
              " ('Manning', 'passou'),\n",
              " ('passou', 'para'),\n",
              " ('para', 'Steve'),\n",
              " ('Steve', 'Smith'),\n",
              " ('Smith', ','),\n",
              " (',', 'que'),\n",
              " ('que', 'soltou'),\n",
              " ('soltou', 'a'),\n",
              " ('a', 'bola'),\n",
              " ('bola', '.'),\n",
              " ('.', 'Ellis'),\n",
              " ('Ellis', 'Hobbs'),\n",
              " ('Hobbs', 'aproveitou'),\n",
              " ('aproveitou', ','),\n",
              " (',', 'tomou'),\n",
              " ('tomou', 'a'),\n",
              " ('a', 'posse'),\n",
              " ('posse', 'para'),\n",
              " ('para', 'os'),\n",
              " ('os', 'Patriots'),\n",
              " ('Patriots', ','),\n",
              " (',', 'e'),\n",
              " ('e', 'avançou'),\n",
              " ('avançou', '23'),\n",
              " ('23', 'jardas'),\n",
              " ('jardas', '.'),\n",
              " ('.', 'A'),\n",
              " ('A', 'defesa'),\n",
              " ('defesa', 'de'),\n",
              " ('de', 'Nova'),\n",
              " ('Nova', 'York'),\n",
              " ('York', 'manteve'),\n",
              " ('manteve', 'o'),\n",
              " ('o', 'jogo'),\n",
              " ('jogo', 'equilibrado'),\n",
              " ('equilibrado', '.'),\n",
              " ('.', 'Com'),\n",
              " ('Com', 'dois'),\n",
              " ('dois', 'sacks'),\n",
              " ('sacks', 'seguidos'),\n",
              " ('seguidos', ','),\n",
              " (',', 'os'),\n",
              " ('os', 'Giants'),\n",
              " ('Giants', 'forçaram'),\n",
              " ('forçaram', 'o'),\n",
              " ('o', 'punt'),\n",
              " ('punt', 'e'),\n",
              " ('e', 'recuperaram'),\n",
              " ('recuperaram', 'a'),\n",
              " ('a', 'bola'),\n",
              " ('bola', '.'),\n",
              " ('.', 'Mas'),\n",
              " ('Mas', 'a'),\n",
              " ('a', 'campanha'),\n",
              " ('campanha', 'seguinte'),\n",
              " ('seguinte', 'provou'),\n",
              " ('provou', 'ser'),\n",
              " ('ser', 'outra'),\n",
              " ('outra', 'decepção'),\n",
              " ('decepção', 'para'),\n",
              " ('para', 'Nova'),\n",
              " ('Nova', 'York'),\n",
              " ('York', '.'),\n",
              " ('.', 'O'),\n",
              " ('O', 'time'),\n",
              " ('time', 'chegou'),\n",
              " ('chegou', 'à'),\n",
              " ('à', 'linha'),\n",
              " ('linha', 'de'),\n",
              " ('de', '25'),\n",
              " ('25', 'jardas'),\n",
              " ('jardas', ','),\n",
              " (',', 'mas'),\n",
              " ('mas', 'Manning'),\n",
              " ('Manning', 'sofreu'),\n",
              " ('sofreu', 'um'),\n",
              " ('um', 'sack'),\n",
              " ('sack', 'e'),\n",
              " ('e', 'cometeu'),\n",
              " ('cometeu', 'um'),\n",
              " ('um', 'fumble'),\n",
              " ('fumble', ','),\n",
              " (',', 'e'),\n",
              " ('e', 'o'),\n",
              " ('o', 'ataque'),\n",
              " ('ataque', 'voltou'),\n",
              " ('voltou', 'para'),\n",
              " ('para', 'a'),\n",
              " ('a', 'linha'),\n",
              " ('linha', 'de'),\n",
              " ('de', '39'),\n",
              " ('39', 'jardas'),\n",
              " ('jardas', ','),\n",
              " (',', 'não'),\n",
              " ('não', 'conseguindo'),\n",
              " ('conseguindo', 'pontuar'),\n",
              " ('pontuar', 'mais'),\n",
              " ('mais', 'uma'),\n",
              " ('uma', 'vez'),\n",
              " ('vez', '.'),\n",
              " ('.', 'Os'),\n",
              " ('Os', 'Patriots'),\n",
              " ('Patriots', 'tiveram'),\n",
              " ('tiveram', 'uma'),\n",
              " ('uma', 'última'),\n",
              " ('última', 'chance'),\n",
              " ('chance', 'de'),\n",
              " ('de', 'marcar'),\n",
              " ('marcar', 'antes'),\n",
              " ('antes', 'do'),\n",
              " ('do', 'intervalo'),\n",
              " ('intervalo', ','),\n",
              " (',', 'mas'),\n",
              " ('mas', ','),\n",
              " (',', 'a'),\n",
              " ('a', '22'),\n",
              " ('22', 'segundos'),\n",
              " ('segundos', 'do'),\n",
              " ('do', 'fim'),\n",
              " ('fim', 'do'),\n",
              " ('do', 'segundo'),\n",
              " ('segundo', 'período'),\n",
              " ('período', ','),\n",
              " (',', 'Brady'),\n",
              " ('Brady', 'foi'),\n",
              " ('foi', 'novamente'),\n",
              " ('novamente', 'sacado'),\n",
              " ('sacado', '.'),\n",
              " ('.', 'Desta'),\n",
              " ('Desta', 'vez'),\n",
              " ('vez', ','),\n",
              " (',', 'ele'),\n",
              " ('ele', 'cometeu'),\n",
              " ('cometeu', 'o'),\n",
              " ('o', 'fumble'),\n",
              " ('fumble', 'e'),\n",
              " ('e', 'os'),\n",
              " ('os', 'Giants'),\n",
              " ('Giants', 'tomaram'),\n",
              " ('tomaram', 'a'),\n",
              " ('a', 'posse'),\n",
              " ('posse', 'de'),\n",
              " ('de', 'bola'),\n",
              " ('bola', '.'),\n",
              " ('.', 'Manning'),\n",
              " ('Manning', 'tentou'),\n",
              " ('tentou', 'um'),\n",
              " ('um', 'passe'),\n",
              " ('passe', 'longo'),\n",
              " ('longo', ','),\n",
              " (',', 'de'),\n",
              " ('de', '50'),\n",
              " ('50', 'jardas'),\n",
              " ('jardas', ','),\n",
              " (',', 'nos'),\n",
              " ('nos', 'últimos'),\n",
              " ('últimos', 'segundos'),\n",
              " ('segundos', ','),\n",
              " (',', 'mas'),\n",
              " ('mas', 'não'),\n",
              " ('não', 'teve'),\n",
              " ('teve', 'sucesso'),\n",
              " ('sucesso', '.'),\n",
              " ('.', 'O'),\n",
              " ('O', 'jogo'),\n",
              " ('jogo', 'continuou'),\n",
              " ('continuou', 'amarrado'),\n",
              " ('amarrado', 'no'),\n",
              " ('no', 'terceiro'),\n",
              " ('terceiro', 'quarto'),\n",
              " ('quarto', ','),\n",
              " (',', 'com'),\n",
              " ('com', 'as'),\n",
              " ('as', 'defesas'),\n",
              " ('defesas', 'levando'),\n",
              " ('levando', 'a'),\n",
              " ('a', 'melhor'),\n",
              " ('melhor', 'sobre'),\n",
              " ('sobre', 'os'),\n",
              " ('os', 'ataques'),\n",
              " ('ataques', '.'),\n",
              " ('.', 'A'),\n",
              " ('A', 'única'),\n",
              " ('única', 'chance'),\n",
              " ('chance', 'de'),\n",
              " ('de', 'pontuar'),\n",
              " ('pontuar', 'do'),\n",
              " ('do', 'período'),\n",
              " ('período', 'foi'),\n",
              " ('foi', 'dos'),\n",
              " ('dos', 'Patriots'),\n",
              " ('Patriots', ','),\n",
              " (',', 'que'),\n",
              " ('que', 'chegaram'),\n",
              " ('chegaram', 'à'),\n",
              " ('à', 'linha'),\n",
              " ('linha', 'de'),\n",
              " ('de', '31'),\n",
              " ('31', 'jardas'),\n",
              " ('jardas', 'dos'),\n",
              " ('dos', 'Giants'),\n",
              " ('Giants', '.'),\n",
              " ('.', 'O'),\n",
              " ('O', 'técnico'),\n",
              " ('técnico', 'Bill'),\n",
              " ('Bill', 'Bellichick'),\n",
              " ('Bellichick', ','),\n",
              " (',', 'porém'),\n",
              " ('porém', ','),\n",
              " (',', 'optou'),\n",
              " ('optou', 'por'),\n",
              " ('por', 'uma'),\n",
              " ('uma', 'quarta'),\n",
              " ('quarta', 'descida'),\n",
              " ('descida', 'em'),\n",
              " ('em', 'vez'),\n",
              " ('vez', 'de'),\n",
              " ('de', 'um'),\n",
              " ('um', 'field'),\n",
              " ('field', 'goal'),\n",
              " ('goal', '.'),\n",
              " ('.', 'Brady'),\n",
              " ('Brady', 'tentou'),\n",
              " ('tentou', 'um'),\n",
              " ('um', 'passe'),\n",
              " ('passe', 'para'),\n",
              " ('para', 'Jabar'),\n",
              " ('Jabar', 'Gaffney'),\n",
              " ('Gaffney', ','),\n",
              " (',', 'mas'),\n",
              " ('mas', 'não'),\n",
              " ('não', 'conseguiu'),\n",
              " ('conseguiu', 'completar'),\n",
              " ('completar', '.'),\n",
              " ('.', 'O'),\n",
              " ('O', 'último'),\n",
              " ('último', 'período'),\n",
              " ('período', 'começou'),\n",
              " ('começou', 'arrasador'),\n",
              " ('arrasador', 'para'),\n",
              " ('para', 'os'),\n",
              " ('os', 'Giants'),\n",
              " ('Giants', '.'),\n",
              " ('.', 'na'),\n",
              " ('na', 'primeira'),\n",
              " ('primeira', 'jogada'),\n",
              " ('jogada', ','),\n",
              " (',', 'Manning'),\n",
              " ('Manning', 'achou'),\n",
              " ('achou', 'o'),\n",
              " ('o', 'tight'),\n",
              " ('tight', 'end'),\n",
              " ('end', 'Kevin'),\n",
              " ('Kevin', 'Boss'),\n",
              " ('Boss', ','),\n",
              " (',', 'para'),\n",
              " ('para', 'um'),\n",
              " ('um', 'incrível'),\n",
              " ('incrível', 'avanço'),\n",
              " ('avanço', 'de'),\n",
              " ('de', '45'),\n",
              " ('45', 'jardas'),\n",
              " ('jardas', ','),\n",
              " (',', 'que'),\n",
              " ('que', 'deixou'),\n",
              " ('deixou', 'o'),\n",
              " ('o', 'time'),\n",
              " ('time', 'na'),\n",
              " ('na', 'linha'),\n",
              " ('linha', 'de'),\n",
              " ('de', '35'),\n",
              " ('35', 'dos'),\n",
              " ('dos', 'Patriots'),\n",
              " ('Patriots', '.'),\n",
              " ('.', 'Outro'),\n",
              " ('Outro', 'lançamento'),\n",
              " ('lançamento', ','),\n",
              " (',', 'desta'),\n",
              " ('desta', 'vez'),\n",
              " ('vez', 'para'),\n",
              " ('para', 'Steve'),\n",
              " ('Steve', 'Smith'),\n",
              " ('Smith', ','),\n",
              " (',', 'marcou'),\n",
              " ('marcou', 'o'),\n",
              " ('o', 'avanço'),\n",
              " ('avanço', 'até'),\n",
              " ('até', 'a'),\n",
              " ('a', 'linha'),\n",
              " ('linha', 'de'),\n",
              " ('de', '12'),\n",
              " ('12', 'jardas'),\n",
              " ('jardas', '.'),\n",
              " ('.', 'Duas'),\n",
              " ('Duas', 'jogadas'),\n",
              " ('jogadas', 'depois'),\n",
              " ('depois', ','),\n",
              " (',', 'David'),\n",
              " ('David', 'Tyree'),\n",
              " ('Tyree', 'pegou'),\n",
              " ('pegou', 'um'),\n",
              " ('um', 'passe'),\n",
              " ('passe', 'de'),\n",
              " ('de', 'cinco'),\n",
              " ('cinco', 'jardas'),\n",
              " ('jardas', 'na'),\n",
              " ('na', 'end'),\n",
              " ('end', 'zone'),\n",
              " ('zone', 'para'),\n",
              " ('para', 'anotar'),\n",
              " ('anotar', 'o'),\n",
              " ('o', 'touchdown'),\n",
              " ('touchdown', 'e'),\n",
              " ('e', 'virar'),\n",
              " ('virar', 'o'),\n",
              " ('o', 'jogo'),\n",
              " ('jogo', '.'),\n",
              " ('.', 'Na'),\n",
              " ('Na', 'hora'),\n",
              " ('hora', 'da'),\n",
              " ('da', 'decisão'),\n",
              " ('decisão', ','),\n",
              " (',', 'o'),\n",
              " ('o', 'ataque'),\n",
              " ('ataque', 'dos'),\n",
              " ('dos', 'Patriots'),\n",
              " ('Patriots', 'voltou'),\n",
              " ('voltou', 'a'),\n",
              " ('a', 'funcionar'),\n",
              " ('funcionar', '.'),\n",
              " ('.', 'Com'),\n",
              " ('Com', 'uma'),\n",
              " ('uma', 'série'),\n",
              " ('série', 'de'),\n",
              " ('de', 'passes'),\n",
              " ('passes', 'curtos'),\n",
              " ('curtos', 'e'),\n",
              " ('e', 'variados'),\n",
              " ('variados', ','),\n",
              " (',', 'Brady'),\n",
              " ('Brady', 'achou'),\n",
              " ('achou', 'Wes'),\n",
              " ('Wes', 'Welker'),\n",
              " ('Welker', ','),\n",
              " (',', 'Randy'),\n",
              " ('Randy', 'Moss'),\n",
              " ('Moss', 'e'),\n",
              " ('e', 'Kevin'),\n",
              " ('Kevin', 'Faulk'),\n",
              " ('Faulk', 'seguidas'),\n",
              " ('seguidas', 'vezes'),\n",
              " ('vezes', 'até'),\n",
              " ('até', 'chegar'),\n",
              " ('chegar', 'à'),\n",
              " ('à', 'red'),\n",
              " ('red', 'zone'),\n",
              " ('zone', '.'),\n",
              " ('.', 'A'),\n",
              " ('A', '2m45s'),\n",
              " ('2m45s', 'do'),\n",
              " ('do', 'fim'),\n",
              " ('fim', ','),\n",
              " (',', 'o'),\n",
              " ('o', 'quarterback'),\n",
              " ('quarterback', 'conectou'),\n",
              " ('conectou', 'mais'),\n",
              " ('mais', 'uma'),\n",
              " ('uma', 'vez'),\n",
              " ('vez', 'com'),\n",
              " ('com', 'Moss'),\n",
              " ('Moss', ','),\n",
              " (',', 'que'),\n",
              " ('que', 'se'),\n",
              " ('se', 'desmarcou'),\n",
              " ('desmarcou', 'e'),\n",
              " ('e', 'ficou'),\n",
              " ('ficou', 'livre'),\n",
              " ('livre', 'na'),\n",
              " ('na', 'lateral'),\n",
              " ('lateral', 'direita'),\n",
              " ('direita', 'da'),\n",
              " ('da', 'end'),\n",
              " ('end', 'zone'),\n",
              " ('zone', '.'),\n",
              " ('.', 'Quando'),\n",
              " ('Quando', 'os'),\n",
              " ('os', 'fãs'),\n",
              " ('fãs', 'de'),\n",
              " ('de', 'New'),\n",
              " ('New', 'England'),\n",
              " ('England', 'já'),\n",
              " ('já', 'comemoravam'),\n",
              " ('comemoravam', 'a'),\n",
              " ('a', 'vitória'),\n",
              " ('vitória', ','),\n",
              " (',', 'o'),\n",
              " ('o', 'inesperado'),\n",
              " ('inesperado', 'aconteceu'),\n",
              " ('aconteceu', '.'),\n",
              " ('.', 'Em'),\n",
              " ('Em', 'uma'),\n",
              " ('uma', 'jogada'),\n",
              " ('jogada', 'incrível'),\n",
              " ('incrível', ','),\n",
              " (',', 'Eli'),\n",
              " ('Eli', 'Manning'),\n",
              " ('Manning', 'se'),\n",
              " ('se', 'soltou'),\n",
              " ('soltou', 'de'),\n",
              " ('de', 'dois'),\n",
              " ('dois', 'marcadores'),\n",
              " ('marcadores', 'que'),\n",
              " ('que', 'o'),\n",
              " ('o', 'seguravam'),\n",
              " ('seguravam', 'pela'),\n",
              " ('pela', 'camisa'),\n",
              " ('camisa', 'e'),\n",
              " ('e', ','),\n",
              " (',', 'na'),\n",
              " ('na', 'corrida'),\n",
              " ('corrida', ','),\n",
              " (',', 'lançou'),\n",
              " ('lançou', 'para'),\n",
              " ('para', 'Amani'),\n",
              " ('Amani', 'Toomer'),\n",
              " ('Toomer', '.'),\n",
              " ('.', 'O'),\n",
              " ('O', 'wide'),\n",
              " ('wide', 'receiver'),\n",
              " ('receiver', ','),\n",
              " (',', 'bem'),\n",
              " ('bem', 'marcado'),\n",
              " ('marcado', ','),\n",
              " (',', 'saltou'),\n",
              " ('saltou', 'e'),\n",
              " ('e', 'conseguiu'),\n",
              " ('conseguiu', 'a'),\n",
              " ('a', 'fazer'),\n",
              " ('fazer', 'recepção'),\n",
              " ('recepção', 'para'),\n",
              " ('para', 'um'),\n",
              " ('um', 'avanço'),\n",
              " ('avanço', 'de'),\n",
              " ('de', '32'),\n",
              " ('32', 'jardas'),\n",
              " ('jardas', ','),\n",
              " (',', 'deixando'),\n",
              " ('deixando', 'os'),\n",
              " ('os', 'Giants'),\n",
              " ('Giants', 'na'),\n",
              " ('na', 'linha'),\n",
              " ('linha', 'de'),\n",
              " ('de', '24'),\n",
              " ('24', 'de'),\n",
              " ('de', 'New'),\n",
              " ('New', 'England'),\n",
              " ('England', '.'),\n",
              " ('.', 'Quatro'),\n",
              " ('Quatro', 'jogadas'),\n",
              " ('jogadas', 'depois'),\n",
              " ('depois', ','),\n",
              " (',', 'a'),\n",
              " ('a', '39'),\n",
              " ('39', 'segundos'),\n",
              " ('segundos', 'do'),\n",
              " ('do', 'fim'),\n",
              " ('fim', ','),\n",
              " (',', 'Manning'),\n",
              " ('Manning', 'achou'),\n",
              " ('achou', 'Plaxico'),\n",
              " ('Plaxico', 'Burress'),\n",
              " ('Burress', 'na'),\n",
              " ('na', 'end'),\n",
              " ('end', 'zone'),\n",
              " ('zone', 'para'),\n",
              " ('para', 'conseguir'),\n",
              " ('conseguir', 'o'),\n",
              " ('o', 'touchdown'),\n",
              " ('touchdown', 'do'),\n",
              " ('do', 'título'),\n",
              " ('título', '.')]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 116
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "DAisg6s5jL8H",
        "outputId": "a9d49073-4004-40da-ad38-184589bfc435"
      },
      "source": [
        "list(trigrams(tokens))"
      ],
      "execution_count": 117,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[('Giants', 'batem', 'os'),\n",
              " ('batem', 'os', 'Patriots'),\n",
              " ('os', 'Patriots', 'no'),\n",
              " ('Patriots', 'no', 'Super'),\n",
              " ('no', 'Super', 'Bowl'),\n",
              " ('Super', 'Bowl', 'XLII'),\n",
              " ('Bowl', 'XLII', 'Azarões'),\n",
              " ('XLII', 'Azarões', 'acabam'),\n",
              " ('Azarões', 'acabam', 'com'),\n",
              " ('acabam', 'com', 'a'),\n",
              " ('com', 'a', 'invencibilidade'),\n",
              " ('a', 'invencibilidade', 'de'),\n",
              " ('invencibilidade', 'de', 'New'),\n",
              " ('de', 'New', 'England'),\n",
              " ('New', 'England', 'e'),\n",
              " ('England', 'e', 'ficam'),\n",
              " ('e', 'ficam', 'com'),\n",
              " ('ficam', 'com', 'o'),\n",
              " ('com', 'o', 'título'),\n",
              " ('o', 'título', 'da'),\n",
              " ('título', 'da', 'temporada'),\n",
              " ('da', 'temporada', '04/02/2008'),\n",
              " ('temporada', '04/02/2008', '-'),\n",
              " ('04/02/2008', '-', '01h07m'),\n",
              " ('-', '01h07m', '-'),\n",
              " ('01h07m', '-', 'Atualizado'),\n",
              " ('-', 'Atualizado', 'em'),\n",
              " ('Atualizado', 'em', '04/02/2008'),\n",
              " ('em', '04/02/2008', '-'),\n",
              " ('04/02/2008', '-', '09h49m'),\n",
              " ('-', '09h49m', 'Com'),\n",
              " ('09h49m', 'Com', 'um'),\n",
              " ('Com', 'um', 'passe'),\n",
              " ('um', 'passe', 'de'),\n",
              " ('passe', 'de', 'Eli'),\n",
              " ('de', 'Eli', 'Manning'),\n",
              " ('Eli', 'Manning', 'para'),\n",
              " ('Manning', 'para', 'Plaxico'),\n",
              " ('para', 'Plaxico', 'Burress'),\n",
              " ('Plaxico', 'Burress', 'a'),\n",
              " ('Burress', 'a', '39'),\n",
              " ('a', '39', 'segundos'),\n",
              " ('39', 'segundos', 'do'),\n",
              " ('segundos', 'do', 'fim'),\n",
              " ('do', 'fim', ','),\n",
              " ('fim', ',', 'o'),\n",
              " (',', 'o', 'New'),\n",
              " ('o', 'New', 'York'),\n",
              " ('New', 'York', 'Giants'),\n",
              " ('York', 'Giants', 'anotou'),\n",
              " ('Giants', 'anotou', 'o'),\n",
              " ('anotou', 'o', 'touchdown'),\n",
              " ('o', 'touchdown', 'decisivo'),\n",
              " ('touchdown', 'decisivo', 'e'),\n",
              " ('decisivo', 'e', 'derrubou'),\n",
              " ('e', 'derrubou', 'o'),\n",
              " ('derrubou', 'o', 'favorito'),\n",
              " ('o', 'favorito', 'New'),\n",
              " ('favorito', 'New', 'England'),\n",
              " ('New', 'England', 'Patriots'),\n",
              " ('England', 'Patriots', 'por'),\n",
              " ('Patriots', 'por', '17'),\n",
              " ('por', '17', 'a'),\n",
              " ('17', 'a', '14'),\n",
              " ('a', '14', 'neste'),\n",
              " ('14', 'neste', 'domingo'),\n",
              " ('neste', 'domingo', ','),\n",
              " ('domingo', ',', 'em'),\n",
              " (',', 'em', 'Glendale'),\n",
              " ('em', 'Glendale', ','),\n",
              " ('Glendale', ',', 'no'),\n",
              " (',', 'no', 'Super'),\n",
              " ('no', 'Super', 'Bowl'),\n",
              " ('Super', 'Bowl', 'XLII'),\n",
              " ('Bowl', 'XLII', '.'),\n",
              " ('XLII', '.', 'O'),\n",
              " ('.', 'O', 'resultado'),\n",
              " ('O', 'resultado', ','),\n",
              " ('resultado', ',', 'uma'),\n",
              " (',', 'uma', 'das'),\n",
              " ('uma', 'das', 'maiores'),\n",
              " ('das', 'maiores', 'zebras'),\n",
              " ('maiores', 'zebras', 'da'),\n",
              " ('zebras', 'da', 'história'),\n",
              " ('da', 'história', 'do'),\n",
              " ('história', 'do', 'Super'),\n",
              " ('do', 'Super', 'Bowl'),\n",
              " ('Super', 'Bowl', ','),\n",
              " ('Bowl', ',', 'acabou'),\n",
              " (',', 'acabou', 'com'),\n",
              " ('acabou', 'com', 'a'),\n",
              " ('com', 'a', 'temporada'),\n",
              " ('a', 'temporada', 'perfeita'),\n",
              " ('temporada', 'perfeita', 'de'),\n",
              " ('perfeita', 'de', 'Tom'),\n",
              " ('de', 'Tom', 'Brady'),\n",
              " ('Tom', 'Brady', 'e'),\n",
              " ('Brady', 'e', 'companhia'),\n",
              " ('e', 'companhia', ','),\n",
              " ('companhia', ',', 'que'),\n",
              " (',', 'que', 'esperavam'),\n",
              " ('que', 'esperavam', 'fazer'),\n",
              " ('esperavam', 'fazer', 'história'),\n",
              " ('fazer', 'história', 'ao'),\n",
              " ('história', 'ao', 'levantar'),\n",
              " ('ao', 'levantar', 'o'),\n",
              " ('levantar', 'o', 'troféu'),\n",
              " ('o', 'troféu', 'da'),\n",
              " ('troféu', 'da', 'NFL'),\n",
              " ('da', 'NFL', 'sem'),\n",
              " ('NFL', 'sem', 'sofrer'),\n",
              " ('sem', 'sofrer', 'uma'),\n",
              " ('sofrer', 'uma', 'derrota'),\n",
              " ('uma', 'derrota', 'no'),\n",
              " ('derrota', 'no', 'ano'),\n",
              " ('no', 'ano', '.'),\n",
              " ('ano', '.', 'A'),\n",
              " ('.', 'A', 'vitória'),\n",
              " ('A', 'vitória', 'dos'),\n",
              " ('vitória', 'dos', 'Giants'),\n",
              " ('dos', 'Giants', ','),\n",
              " ('Giants', ',', 'porém'),\n",
              " (',', 'porém', ','),\n",
              " ('porém', ',', 'também'),\n",
              " (',', 'também', 'ficará'),\n",
              " ('também', 'ficará', 'para'),\n",
              " ('ficará', 'para', 'a'),\n",
              " ('para', 'a', 'história'),\n",
              " ('a', 'história', '.'),\n",
              " ('história', '.', 'Pela'),\n",
              " ('.', 'Pela', 'primeira'),\n",
              " ('Pela', 'primeira', 'vez'),\n",
              " ('primeira', 'vez', ','),\n",
              " ('vez', ',', 'irmãos'),\n",
              " (',', 'irmãos', 'quarterbacks'),\n",
              " ('irmãos', 'quarterbacks', 'triunfam'),\n",
              " ('quarterbacks', 'triunfam', 'no'),\n",
              " ('triunfam', 'no', 'Super'),\n",
              " ('no', 'Super', 'Bowl'),\n",
              " ('Super', 'Bowl', 'em'),\n",
              " ('Bowl', 'em', 'temporadas'),\n",
              " ('em', 'temporadas', 'consecutivas'),\n",
              " ('temporadas', 'consecutivas', '.'),\n",
              " ('consecutivas', '.', 'No'),\n",
              " ('.', 'No', 'ano'),\n",
              " ('No', 'ano', 'passado'),\n",
              " ('ano', 'passado', ','),\n",
              " ('passado', ',', 'Peyton'),\n",
              " (',', 'Peyton', 'Manning'),\n",
              " ('Peyton', 'Manning', ','),\n",
              " ('Manning', ',', 'irmão'),\n",
              " (',', 'irmão', 'de'),\n",
              " ('irmão', 'de', 'Eli'),\n",
              " ('de', 'Eli', ','),\n",
              " ('Eli', ',', 'chegou'),\n",
              " (',', 'chegou', 'ao'),\n",
              " ('chegou', 'ao', 'título'),\n",
              " ('ao', 'título', 'máximo'),\n",
              " ('título', 'máximo', 'da'),\n",
              " ('máximo', 'da', 'NFL'),\n",
              " ('da', 'NFL', 'pelo'),\n",
              " ('NFL', 'pelo', 'Indianapolis'),\n",
              " ('pelo', 'Indianapolis', 'Colts'),\n",
              " ('Indianapolis', 'Colts', '.'),\n",
              " ('Colts', '.', 'A'),\n",
              " ('.', 'A', 'partida'),\n",
              " ('A', 'partida', 'Os'),\n",
              " ('partida', 'Os', 'Giants'),\n",
              " ('Os', 'Giants', 'começaram'),\n",
              " ('Giants', 'começaram', 'com'),\n",
              " ('começaram', 'com', 'a'),\n",
              " ('com', 'a', 'posse'),\n",
              " ('a', 'posse', 'de'),\n",
              " ('posse', 'de', 'bola'),\n",
              " ('de', 'bola', ','),\n",
              " ('bola', ',', 'e'),\n",
              " (',', 'e', 'mostraram'),\n",
              " ('e', 'mostraram', 'logo'),\n",
              " ('mostraram', 'logo', 'que'),\n",
              " ('logo', 'que', 'iriam'),\n",
              " ('que', 'iriam', 'alongar'),\n",
              " ('iriam', 'alongar', 'ao'),\n",
              " ('alongar', 'ao', 'máximo'),\n",
              " ('ao', 'máximo', 'suas'),\n",
              " ('máximo', 'suas', 'posses'),\n",
              " ('suas', 'posses', 'de'),\n",
              " ('posses', 'de', 'bola'),\n",
              " ('de', 'bola', '.'),\n",
              " ('bola', '.', 'Misturando'),\n",
              " ('.', 'Misturando', 'corridas'),\n",
              " ('Misturando', 'corridas', 'com'),\n",
              " ('corridas', 'com', 'Brandon'),\n",
              " ('com', 'Brandon', 'Jacobs'),\n",
              " ('Brandon', 'Jacobs', 'e'),\n",
              " ('Jacobs', 'e', 'passes'),\n",
              " ('e', 'passes', 'curtos'),\n",
              " ('passes', 'curtos', ','),\n",
              " ('curtos', ',', 'o'),\n",
              " (',', 'o', 'time'),\n",
              " ('o', 'time', 'de'),\n",
              " ('time', 'de', 'Nova'),\n",
              " ('de', 'Nova', 'York'),\n",
              " ('Nova', 'York', 'chegou'),\n",
              " ('York', 'chegou', 'à'),\n",
              " ('chegou', 'à', 'red'),\n",
              " ('à', 'red', 'zone'),\n",
              " ('red', 'zone', 'logo'),\n",
              " ('zone', 'logo', 'na'),\n",
              " ('logo', 'na', 'primeira'),\n",
              " ('na', 'primeira', 'campanha'),\n",
              " ('primeira', 'campanha', '.'),\n",
              " ('campanha', '.', 'O'),\n",
              " ('.', 'O', 'avanço'),\n",
              " ('O', 'avanço', ','),\n",
              " ('avanço', ',', 'no'),\n",
              " (',', 'no', 'entanto'),\n",
              " ('no', 'entanto', ','),\n",
              " ('entanto', ',', 'parou'),\n",
              " (',', 'parou', 'na'),\n",
              " ('parou', 'na', 'linha'),\n",
              " ('na', 'linha', 'de'),\n",
              " ('linha', 'de', '17'),\n",
              " ('de', '17', 'jardas'),\n",
              " ('17', 'jardas', 'e'),\n",
              " ('jardas', 'e', 'Lawrence'),\n",
              " ('e', 'Lawrence', 'Tynes'),\n",
              " ('Lawrence', 'Tynes', 'converteu'),\n",
              " ('Tynes', 'converteu', 'o'),\n",
              " ('converteu', 'o', 'field'),\n",
              " ('o', 'field', 'goal'),\n",
              " ('field', 'goal', 'de'),\n",
              " ('goal', 'de', '32'),\n",
              " ('de', '32', 'jardas'),\n",
              " ('32', 'jardas', 'para'),\n",
              " ('jardas', 'para', 'abrir'),\n",
              " ('para', 'abrir', 'o'),\n",
              " ('abrir', 'o', 'placar'),\n",
              " ('o', 'placar', '.'),\n",
              " ('placar', '.', 'Eli'),\n",
              " ('.', 'Eli', 'Manning'),\n",
              " ('Eli', 'Manning', 'e'),\n",
              " ('Manning', 'e', 'companhia'),\n",
              " ('e', 'companhia', 'ficaram'),\n",
              " ('companhia', 'ficaram', '9m54s'),\n",
              " ('ficaram', '9m54s', 'com'),\n",
              " ('9m54s', 'com', 'a'),\n",
              " ('com', 'a', 'bola'),\n",
              " ('a', 'bola', ','),\n",
              " ('bola', ',', 'mas'),\n",
              " (',', 'mas', 'o'),\n",
              " ('mas', 'o', 'ataque'),\n",
              " ('o', 'ataque', 'dos'),\n",
              " ('ataque', 'dos', 'Patriots'),\n",
              " ('dos', 'Patriots', 'não'),\n",
              " ('Patriots', 'não', 'entrou'),\n",
              " ('não', 'entrou', 'em'),\n",
              " ('entrou', 'em', 'campo'),\n",
              " ('em', 'campo', 'frio'),\n",
              " ('campo', 'frio', '.'),\n",
              " ('frio', '.', 'Logo'),\n",
              " ('.', 'Logo', 'no'),\n",
              " ('Logo', 'no', 'retorno'),\n",
              " ('no', 'retorno', 'do'),\n",
              " ('retorno', 'do', 'kickoff'),\n",
              " ('do', 'kickoff', ','),\n",
              " ('kickoff', ',', 'o'),\n",
              " (',', 'o', 'running'),\n",
              " ('o', 'running', 'back'),\n",
              " ('running', 'back', 'Laurence'),\n",
              " ('back', 'Laurence', 'Maroney'),\n",
              " ('Laurence', 'Maroney', 'avançou'),\n",
              " ('Maroney', 'avançou', '43'),\n",
              " ('avançou', '43', 'jardas'),\n",
              " ('43', 'jardas', ','),\n",
              " ('jardas', ',', 'deixando'),\n",
              " (',', 'deixando', 'Tom'),\n",
              " ('deixando', 'Tom', 'Brady'),\n",
              " ('Tom', 'Brady', 'em'),\n",
              " ('Brady', 'em', 'boa'),\n",
              " ('em', 'boa', 'posição'),\n",
              " ('boa', 'posição', '.'),\n",
              " ('posição', '.', 'Com'),\n",
              " ('.', 'Com', 'passes'),\n",
              " ('Com', 'passes', 'curtos'),\n",
              " ('passes', 'curtos', ','),\n",
              " ('curtos', ',', 'os'),\n",
              " (',', 'os', 'Patriots'),\n",
              " ('os', 'Patriots', 'chegaram'),\n",
              " ('Patriots', 'chegaram', 'à'),\n",
              " ('chegaram', 'à', 'linha'),\n",
              " ('à', 'linha', 'de'),\n",
              " ('linha', 'de', '17'),\n",
              " ('de', '17', 'jardas'),\n",
              " ('17', 'jardas', 'e'),\n",
              " ('jardas', 'e', ','),\n",
              " ('e', ',', 'graças'),\n",
              " (',', 'graças', 'a'),\n",
              " ('graças', 'a', 'uma'),\n",
              " ('a', 'uma', 'penalidade'),\n",
              " ('uma', 'penalidade', '('),\n",
              " ('penalidade', '(', 'interferência'),\n",
              " ('(', 'interferência', 'de'),\n",
              " ('interferência', 'de', 'passe'),\n",
              " ('de', 'passe', ')'),\n",
              " ('passe', ')', 'do'),\n",
              " (')', 'do', 'linebacker'),\n",
              " ('do', 'linebacker', 'Antonio'),\n",
              " ('linebacker', 'Antonio', 'Pierce'),\n",
              " ('Antonio', 'Pierce', ','),\n",
              " ('Pierce', ',', 'alcançaram'),\n",
              " (',', 'alcançaram', 'a'),\n",
              " ('alcançaram', 'a', 'linha'),\n",
              " ('a', 'linha', 'de'),\n",
              " ('linha', 'de', 'uma'),\n",
              " ('de', 'uma', 'jarda'),\n",
              " ('uma', 'jarda', '.'),\n",
              " ('jarda', '.', 'Maroney'),\n",
              " ('.', 'Maroney', 'avançou'),\n",
              " ('Maroney', 'avançou', 'pelo'),\n",
              " ('avançou', 'pelo', 'chão'),\n",
              " ('pelo', 'chão', 'e'),\n",
              " ('chão', 'e', 'anotou'),\n",
              " ('e', 'anotou', 'o'),\n",
              " ('anotou', 'o', 'primeiro'),\n",
              " ('o', 'primeiro', 'touchdown'),\n",
              " ('primeiro', 'touchdown', 'do'),\n",
              " ('touchdown', 'do', 'jogo'),\n",
              " ('do', 'jogo', '.'),\n",
              " ('jogo', '.', 'Os'),\n",
              " ('.', 'Os', 'Giants'),\n",
              " ('Os', 'Giants', 'pareciam'),\n",
              " ('Giants', 'pareciam', 'rumo'),\n",
              " ('pareciam', 'rumo', 'à'),\n",
              " ('rumo', 'à', 'virada'),\n",
              " ('à', 'virada', 'na'),\n",
              " ('virada', 'na', 'campanha'),\n",
              " ('na', 'campanha', 'seguinte'),\n",
              " ('campanha', 'seguinte', '.'),\n",
              " ('seguinte', '.', 'Manning'),\n",
              " ('.', 'Manning', 'achou'),\n",
              " ('Manning', 'achou', 'Amani'),\n",
              " ('achou', 'Amani', 'Toomer'),\n",
              " ('Amani', 'Toomer', 'para'),\n",
              " ('Toomer', 'para', 'um'),\n",
              " ('para', 'um', 'avanço'),\n",
              " ('um', 'avanço', 'de'),\n",
              " ('avanço', 'de', '38'),\n",
              " ('de', '38', 'jardas'),\n",
              " ('38', 'jardas', ','),\n",
              " ('jardas', ',', 'e'),\n",
              " (',', 'e', 'o'),\n",
              " ('e', 'o', 'time'),\n",
              " ('o', 'time', 'de'),\n",
              " ('time', 'de', 'Nova'),\n",
              " ('de', 'Nova', 'York'),\n",
              " ('Nova', 'York', 'entrou'),\n",
              " ('York', 'entrou', 'novamente'),\n",
              " ('entrou', 'novamente', 'na'),\n",
              " ('novamente', 'na', 'red'),\n",
              " ('na', 'red', 'zone'),\n",
              " ('red', 'zone', '.'),\n",
              " ('zone', '.', 'Com'),\n",
              " ('.', 'Com', 'a'),\n",
              " ('Com', 'a', 'bola'),\n",
              " ('a', 'bola', 'na'),\n",
              " ('bola', 'na', 'linha'),\n",
              " ('na', 'linha', 'de'),\n",
              " ('linha', 'de', '14'),\n",
              " ('de', '14', 'jardas'),\n",
              " ('14', 'jardas', 'dos'),\n",
              " ('jardas', 'dos', 'Patriots'),\n",
              " ('dos', 'Patriots', ','),\n",
              " ('Patriots', ',', 'os'),\n",
              " (',', 'os', 'Giants'),\n",
              " ('os', 'Giants', 'sofreram'),\n",
              " ('Giants', 'sofreram', 'um'),\n",
              " ('sofreram', 'um', 'revés'),\n",
              " ('um', 'revés', '.'),\n",
              " ('revés', '.', 'Manning'),\n",
              " ('.', 'Manning', 'passou'),\n",
              " ('Manning', 'passou', 'para'),\n",
              " ('passou', 'para', 'Steve'),\n",
              " ('para', 'Steve', 'Smith'),\n",
              " ('Steve', 'Smith', ','),\n",
              " ('Smith', ',', 'que'),\n",
              " (',', 'que', 'soltou'),\n",
              " ('que', 'soltou', 'a'),\n",
              " ('soltou', 'a', 'bola'),\n",
              " ('a', 'bola', '.'),\n",
              " ('bola', '.', 'Ellis'),\n",
              " ('.', 'Ellis', 'Hobbs'),\n",
              " ('Ellis', 'Hobbs', 'aproveitou'),\n",
              " ('Hobbs', 'aproveitou', ','),\n",
              " ('aproveitou', ',', 'tomou'),\n",
              " (',', 'tomou', 'a'),\n",
              " ('tomou', 'a', 'posse'),\n",
              " ('a', 'posse', 'para'),\n",
              " ('posse', 'para', 'os'),\n",
              " ('para', 'os', 'Patriots'),\n",
              " ('os', 'Patriots', ','),\n",
              " ('Patriots', ',', 'e'),\n",
              " (',', 'e', 'avançou'),\n",
              " ('e', 'avançou', '23'),\n",
              " ('avançou', '23', 'jardas'),\n",
              " ('23', 'jardas', '.'),\n",
              " ('jardas', '.', 'A'),\n",
              " ('.', 'A', 'defesa'),\n",
              " ('A', 'defesa', 'de'),\n",
              " ('defesa', 'de', 'Nova'),\n",
              " ('de', 'Nova', 'York'),\n",
              " ('Nova', 'York', 'manteve'),\n",
              " ('York', 'manteve', 'o'),\n",
              " ('manteve', 'o', 'jogo'),\n",
              " ('o', 'jogo', 'equilibrado'),\n",
              " ('jogo', 'equilibrado', '.'),\n",
              " ('equilibrado', '.', 'Com'),\n",
              " ('.', 'Com', 'dois'),\n",
              " ('Com', 'dois', 'sacks'),\n",
              " ('dois', 'sacks', 'seguidos'),\n",
              " ('sacks', 'seguidos', ','),\n",
              " ('seguidos', ',', 'os'),\n",
              " (',', 'os', 'Giants'),\n",
              " ('os', 'Giants', 'forçaram'),\n",
              " ('Giants', 'forçaram', 'o'),\n",
              " ('forçaram', 'o', 'punt'),\n",
              " ('o', 'punt', 'e'),\n",
              " ('punt', 'e', 'recuperaram'),\n",
              " ('e', 'recuperaram', 'a'),\n",
              " ('recuperaram', 'a', 'bola'),\n",
              " ('a', 'bola', '.'),\n",
              " ('bola', '.', 'Mas'),\n",
              " ('.', 'Mas', 'a'),\n",
              " ('Mas', 'a', 'campanha'),\n",
              " ('a', 'campanha', 'seguinte'),\n",
              " ('campanha', 'seguinte', 'provou'),\n",
              " ('seguinte', 'provou', 'ser'),\n",
              " ('provou', 'ser', 'outra'),\n",
              " ('ser', 'outra', 'decepção'),\n",
              " ('outra', 'decepção', 'para'),\n",
              " ('decepção', 'para', 'Nova'),\n",
              " ('para', 'Nova', 'York'),\n",
              " ('Nova', 'York', '.'),\n",
              " ('York', '.', 'O'),\n",
              " ('.', 'O', 'time'),\n",
              " ('O', 'time', 'chegou'),\n",
              " ('time', 'chegou', 'à'),\n",
              " ('chegou', 'à', 'linha'),\n",
              " ('à', 'linha', 'de'),\n",
              " ('linha', 'de', '25'),\n",
              " ('de', '25', 'jardas'),\n",
              " ('25', 'jardas', ','),\n",
              " ('jardas', ',', 'mas'),\n",
              " (',', 'mas', 'Manning'),\n",
              " ('mas', 'Manning', 'sofreu'),\n",
              " ('Manning', 'sofreu', 'um'),\n",
              " ('sofreu', 'um', 'sack'),\n",
              " ('um', 'sack', 'e'),\n",
              " ('sack', 'e', 'cometeu'),\n",
              " ('e', 'cometeu', 'um'),\n",
              " ('cometeu', 'um', 'fumble'),\n",
              " ('um', 'fumble', ','),\n",
              " ('fumble', ',', 'e'),\n",
              " (',', 'e', 'o'),\n",
              " ('e', 'o', 'ataque'),\n",
              " ('o', 'ataque', 'voltou'),\n",
              " ('ataque', 'voltou', 'para'),\n",
              " ('voltou', 'para', 'a'),\n",
              " ('para', 'a', 'linha'),\n",
              " ('a', 'linha', 'de'),\n",
              " ('linha', 'de', '39'),\n",
              " ('de', '39', 'jardas'),\n",
              " ('39', 'jardas', ','),\n",
              " ('jardas', ',', 'não'),\n",
              " (',', 'não', 'conseguindo'),\n",
              " ('não', 'conseguindo', 'pontuar'),\n",
              " ('conseguindo', 'pontuar', 'mais'),\n",
              " ('pontuar', 'mais', 'uma'),\n",
              " ('mais', 'uma', 'vez'),\n",
              " ('uma', 'vez', '.'),\n",
              " ('vez', '.', 'Os'),\n",
              " ('.', 'Os', 'Patriots'),\n",
              " ('Os', 'Patriots', 'tiveram'),\n",
              " ('Patriots', 'tiveram', 'uma'),\n",
              " ('tiveram', 'uma', 'última'),\n",
              " ('uma', 'última', 'chance'),\n",
              " ('última', 'chance', 'de'),\n",
              " ('chance', 'de', 'marcar'),\n",
              " ('de', 'marcar', 'antes'),\n",
              " ('marcar', 'antes', 'do'),\n",
              " ('antes', 'do', 'intervalo'),\n",
              " ('do', 'intervalo', ','),\n",
              " ('intervalo', ',', 'mas'),\n",
              " (',', 'mas', ','),\n",
              " ('mas', ',', 'a'),\n",
              " (',', 'a', '22'),\n",
              " ('a', '22', 'segundos'),\n",
              " ('22', 'segundos', 'do'),\n",
              " ('segundos', 'do', 'fim'),\n",
              " ('do', 'fim', 'do'),\n",
              " ('fim', 'do', 'segundo'),\n",
              " ('do', 'segundo', 'período'),\n",
              " ('segundo', 'período', ','),\n",
              " ('período', ',', 'Brady'),\n",
              " (',', 'Brady', 'foi'),\n",
              " ('Brady', 'foi', 'novamente'),\n",
              " ('foi', 'novamente', 'sacado'),\n",
              " ('novamente', 'sacado', '.'),\n",
              " ('sacado', '.', 'Desta'),\n",
              " ('.', 'Desta', 'vez'),\n",
              " ('Desta', 'vez', ','),\n",
              " ('vez', ',', 'ele'),\n",
              " (',', 'ele', 'cometeu'),\n",
              " ('ele', 'cometeu', 'o'),\n",
              " ('cometeu', 'o', 'fumble'),\n",
              " ('o', 'fumble', 'e'),\n",
              " ('fumble', 'e', 'os'),\n",
              " ('e', 'os', 'Giants'),\n",
              " ('os', 'Giants', 'tomaram'),\n",
              " ('Giants', 'tomaram', 'a'),\n",
              " ('tomaram', 'a', 'posse'),\n",
              " ('a', 'posse', 'de'),\n",
              " ('posse', 'de', 'bola'),\n",
              " ('de', 'bola', '.'),\n",
              " ('bola', '.', 'Manning'),\n",
              " ('.', 'Manning', 'tentou'),\n",
              " ('Manning', 'tentou', 'um'),\n",
              " ('tentou', 'um', 'passe'),\n",
              " ('um', 'passe', 'longo'),\n",
              " ('passe', 'longo', ','),\n",
              " ('longo', ',', 'de'),\n",
              " (',', 'de', '50'),\n",
              " ('de', '50', 'jardas'),\n",
              " ('50', 'jardas', ','),\n",
              " ('jardas', ',', 'nos'),\n",
              " (',', 'nos', 'últimos'),\n",
              " ('nos', 'últimos', 'segundos'),\n",
              " ('últimos', 'segundos', ','),\n",
              " ('segundos', ',', 'mas'),\n",
              " (',', 'mas', 'não'),\n",
              " ('mas', 'não', 'teve'),\n",
              " ('não', 'teve', 'sucesso'),\n",
              " ('teve', 'sucesso', '.'),\n",
              " ('sucesso', '.', 'O'),\n",
              " ('.', 'O', 'jogo'),\n",
              " ('O', 'jogo', 'continuou'),\n",
              " ('jogo', 'continuou', 'amarrado'),\n",
              " ('continuou', 'amarrado', 'no'),\n",
              " ('amarrado', 'no', 'terceiro'),\n",
              " ('no', 'terceiro', 'quarto'),\n",
              " ('terceiro', 'quarto', ','),\n",
              " ('quarto', ',', 'com'),\n",
              " (',', 'com', 'as'),\n",
              " ('com', 'as', 'defesas'),\n",
              " ('as', 'defesas', 'levando'),\n",
              " ('defesas', 'levando', 'a'),\n",
              " ('levando', 'a', 'melhor'),\n",
              " ('a', 'melhor', 'sobre'),\n",
              " ('melhor', 'sobre', 'os'),\n",
              " ('sobre', 'os', 'ataques'),\n",
              " ('os', 'ataques', '.'),\n",
              " ('ataques', '.', 'A'),\n",
              " ('.', 'A', 'única'),\n",
              " ('A', 'única', 'chance'),\n",
              " ('única', 'chance', 'de'),\n",
              " ('chance', 'de', 'pontuar'),\n",
              " ('de', 'pontuar', 'do'),\n",
              " ('pontuar', 'do', 'período'),\n",
              " ('do', 'período', 'foi'),\n",
              " ('período', 'foi', 'dos'),\n",
              " ('foi', 'dos', 'Patriots'),\n",
              " ('dos', 'Patriots', ','),\n",
              " ('Patriots', ',', 'que'),\n",
              " (',', 'que', 'chegaram'),\n",
              " ('que', 'chegaram', 'à'),\n",
              " ('chegaram', 'à', 'linha'),\n",
              " ('à', 'linha', 'de'),\n",
              " ('linha', 'de', '31'),\n",
              " ('de', '31', 'jardas'),\n",
              " ('31', 'jardas', 'dos'),\n",
              " ('jardas', 'dos', 'Giants'),\n",
              " ('dos', 'Giants', '.'),\n",
              " ('Giants', '.', 'O'),\n",
              " ('.', 'O', 'técnico'),\n",
              " ('O', 'técnico', 'Bill'),\n",
              " ('técnico', 'Bill', 'Bellichick'),\n",
              " ('Bill', 'Bellichick', ','),\n",
              " ('Bellichick', ',', 'porém'),\n",
              " (',', 'porém', ','),\n",
              " ('porém', ',', 'optou'),\n",
              " (',', 'optou', 'por'),\n",
              " ('optou', 'por', 'uma'),\n",
              " ('por', 'uma', 'quarta'),\n",
              " ('uma', 'quarta', 'descida'),\n",
              " ('quarta', 'descida', 'em'),\n",
              " ('descida', 'em', 'vez'),\n",
              " ('em', 'vez', 'de'),\n",
              " ('vez', 'de', 'um'),\n",
              " ('de', 'um', 'field'),\n",
              " ('um', 'field', 'goal'),\n",
              " ('field', 'goal', '.'),\n",
              " ('goal', '.', 'Brady'),\n",
              " ('.', 'Brady', 'tentou'),\n",
              " ('Brady', 'tentou', 'um'),\n",
              " ('tentou', 'um', 'passe'),\n",
              " ('um', 'passe', 'para'),\n",
              " ('passe', 'para', 'Jabar'),\n",
              " ('para', 'Jabar', 'Gaffney'),\n",
              " ('Jabar', 'Gaffney', ','),\n",
              " ('Gaffney', ',', 'mas'),\n",
              " (',', 'mas', 'não'),\n",
              " ('mas', 'não', 'conseguiu'),\n",
              " ('não', 'conseguiu', 'completar'),\n",
              " ('conseguiu', 'completar', '.'),\n",
              " ('completar', '.', 'O'),\n",
              " ('.', 'O', 'último'),\n",
              " ('O', 'último', 'período'),\n",
              " ('último', 'período', 'começou'),\n",
              " ('período', 'começou', 'arrasador'),\n",
              " ('começou', 'arrasador', 'para'),\n",
              " ('arrasador', 'para', 'os'),\n",
              " ('para', 'os', 'Giants'),\n",
              " ('os', 'Giants', '.'),\n",
              " ('Giants', '.', 'na'),\n",
              " ('.', 'na', 'primeira'),\n",
              " ('na', 'primeira', 'jogada'),\n",
              " ('primeira', 'jogada', ','),\n",
              " ('jogada', ',', 'Manning'),\n",
              " (',', 'Manning', 'achou'),\n",
              " ('Manning', 'achou', 'o'),\n",
              " ('achou', 'o', 'tight'),\n",
              " ('o', 'tight', 'end'),\n",
              " ('tight', 'end', 'Kevin'),\n",
              " ('end', 'Kevin', 'Boss'),\n",
              " ('Kevin', 'Boss', ','),\n",
              " ('Boss', ',', 'para'),\n",
              " (',', 'para', 'um'),\n",
              " ('para', 'um', 'incrível'),\n",
              " ('um', 'incrível', 'avanço'),\n",
              " ('incrível', 'avanço', 'de'),\n",
              " ('avanço', 'de', '45'),\n",
              " ('de', '45', 'jardas'),\n",
              " ('45', 'jardas', ','),\n",
              " ('jardas', ',', 'que'),\n",
              " (',', 'que', 'deixou'),\n",
              " ('que', 'deixou', 'o'),\n",
              " ('deixou', 'o', 'time'),\n",
              " ('o', 'time', 'na'),\n",
              " ('time', 'na', 'linha'),\n",
              " ('na', 'linha', 'de'),\n",
              " ('linha', 'de', '35'),\n",
              " ('de', '35', 'dos'),\n",
              " ('35', 'dos', 'Patriots'),\n",
              " ('dos', 'Patriots', '.'),\n",
              " ('Patriots', '.', 'Outro'),\n",
              " ('.', 'Outro', 'lançamento'),\n",
              " ('Outro', 'lançamento', ','),\n",
              " ('lançamento', ',', 'desta'),\n",
              " (',', 'desta', 'vez'),\n",
              " ('desta', 'vez', 'para'),\n",
              " ('vez', 'para', 'Steve'),\n",
              " ('para', 'Steve', 'Smith'),\n",
              " ('Steve', 'Smith', ','),\n",
              " ('Smith', ',', 'marcou'),\n",
              " (',', 'marcou', 'o'),\n",
              " ('marcou', 'o', 'avanço'),\n",
              " ('o', 'avanço', 'até'),\n",
              " ('avanço', 'até', 'a'),\n",
              " ('até', 'a', 'linha'),\n",
              " ('a', 'linha', 'de'),\n",
              " ('linha', 'de', '12'),\n",
              " ('de', '12', 'jardas'),\n",
              " ('12', 'jardas', '.'),\n",
              " ('jardas', '.', 'Duas'),\n",
              " ('.', 'Duas', 'jogadas'),\n",
              " ('Duas', 'jogadas', 'depois'),\n",
              " ('jogadas', 'depois', ','),\n",
              " ('depois', ',', 'David'),\n",
              " (',', 'David', 'Tyree'),\n",
              " ('David', 'Tyree', 'pegou'),\n",
              " ('Tyree', 'pegou', 'um'),\n",
              " ('pegou', 'um', 'passe'),\n",
              " ('um', 'passe', 'de'),\n",
              " ('passe', 'de', 'cinco'),\n",
              " ('de', 'cinco', 'jardas'),\n",
              " ('cinco', 'jardas', 'na'),\n",
              " ('jardas', 'na', 'end'),\n",
              " ('na', 'end', 'zone'),\n",
              " ('end', 'zone', 'para'),\n",
              " ('zone', 'para', 'anotar'),\n",
              " ('para', 'anotar', 'o'),\n",
              " ('anotar', 'o', 'touchdown'),\n",
              " ('o', 'touchdown', 'e'),\n",
              " ('touchdown', 'e', 'virar'),\n",
              " ('e', 'virar', 'o'),\n",
              " ('virar', 'o', 'jogo'),\n",
              " ('o', 'jogo', '.'),\n",
              " ('jogo', '.', 'Na'),\n",
              " ('.', 'Na', 'hora'),\n",
              " ('Na', 'hora', 'da'),\n",
              " ('hora', 'da', 'decisão'),\n",
              " ('da', 'decisão', ','),\n",
              " ('decisão', ',', 'o'),\n",
              " (',', 'o', 'ataque'),\n",
              " ('o', 'ataque', 'dos'),\n",
              " ('ataque', 'dos', 'Patriots'),\n",
              " ('dos', 'Patriots', 'voltou'),\n",
              " ('Patriots', 'voltou', 'a'),\n",
              " ('voltou', 'a', 'funcionar'),\n",
              " ('a', 'funcionar', '.'),\n",
              " ('funcionar', '.', 'Com'),\n",
              " ('.', 'Com', 'uma'),\n",
              " ('Com', 'uma', 'série'),\n",
              " ('uma', 'série', 'de'),\n",
              " ('série', 'de', 'passes'),\n",
              " ('de', 'passes', 'curtos'),\n",
              " ('passes', 'curtos', 'e'),\n",
              " ('curtos', 'e', 'variados'),\n",
              " ('e', 'variados', ','),\n",
              " ('variados', ',', 'Brady'),\n",
              " (',', 'Brady', 'achou'),\n",
              " ('Brady', 'achou', 'Wes'),\n",
              " ('achou', 'Wes', 'Welker'),\n",
              " ('Wes', 'Welker', ','),\n",
              " ('Welker', ',', 'Randy'),\n",
              " (',', 'Randy', 'Moss'),\n",
              " ('Randy', 'Moss', 'e'),\n",
              " ('Moss', 'e', 'Kevin'),\n",
              " ('e', 'Kevin', 'Faulk'),\n",
              " ('Kevin', 'Faulk', 'seguidas'),\n",
              " ('Faulk', 'seguidas', 'vezes'),\n",
              " ('seguidas', 'vezes', 'até'),\n",
              " ('vezes', 'até', 'chegar'),\n",
              " ('até', 'chegar', 'à'),\n",
              " ('chegar', 'à', 'red'),\n",
              " ('à', 'red', 'zone'),\n",
              " ('red', 'zone', '.'),\n",
              " ('zone', '.', 'A'),\n",
              " ('.', 'A', '2m45s'),\n",
              " ('A', '2m45s', 'do'),\n",
              " ('2m45s', 'do', 'fim'),\n",
              " ('do', 'fim', ','),\n",
              " ('fim', ',', 'o'),\n",
              " (',', 'o', 'quarterback'),\n",
              " ('o', 'quarterback', 'conectou'),\n",
              " ('quarterback', 'conectou', 'mais'),\n",
              " ('conectou', 'mais', 'uma'),\n",
              " ('mais', 'uma', 'vez'),\n",
              " ('uma', 'vez', 'com'),\n",
              " ('vez', 'com', 'Moss'),\n",
              " ('com', 'Moss', ','),\n",
              " ('Moss', ',', 'que'),\n",
              " (',', 'que', 'se'),\n",
              " ('que', 'se', 'desmarcou'),\n",
              " ('se', 'desmarcou', 'e'),\n",
              " ('desmarcou', 'e', 'ficou'),\n",
              " ('e', 'ficou', 'livre'),\n",
              " ('ficou', 'livre', 'na'),\n",
              " ('livre', 'na', 'lateral'),\n",
              " ('na', 'lateral', 'direita'),\n",
              " ('lateral', 'direita', 'da'),\n",
              " ('direita', 'da', 'end'),\n",
              " ('da', 'end', 'zone'),\n",
              " ('end', 'zone', '.'),\n",
              " ('zone', '.', 'Quando'),\n",
              " ('.', 'Quando', 'os'),\n",
              " ('Quando', 'os', 'fãs'),\n",
              " ('os', 'fãs', 'de'),\n",
              " ('fãs', 'de', 'New'),\n",
              " ('de', 'New', 'England'),\n",
              " ('New', 'England', 'já'),\n",
              " ('England', 'já', 'comemoravam'),\n",
              " ('já', 'comemoravam', 'a'),\n",
              " ('comemoravam', 'a', 'vitória'),\n",
              " ('a', 'vitória', ','),\n",
              " ('vitória', ',', 'o'),\n",
              " (',', 'o', 'inesperado'),\n",
              " ('o', 'inesperado', 'aconteceu'),\n",
              " ('inesperado', 'aconteceu', '.'),\n",
              " ('aconteceu', '.', 'Em'),\n",
              " ('.', 'Em', 'uma'),\n",
              " ('Em', 'uma', 'jogada'),\n",
              " ('uma', 'jogada', 'incrível'),\n",
              " ('jogada', 'incrível', ','),\n",
              " ('incrível', ',', 'Eli'),\n",
              " (',', 'Eli', 'Manning'),\n",
              " ('Eli', 'Manning', 'se'),\n",
              " ('Manning', 'se', 'soltou'),\n",
              " ('se', 'soltou', 'de'),\n",
              " ('soltou', 'de', 'dois'),\n",
              " ('de', 'dois', 'marcadores'),\n",
              " ('dois', 'marcadores', 'que'),\n",
              " ('marcadores', 'que', 'o'),\n",
              " ('que', 'o', 'seguravam'),\n",
              " ('o', 'seguravam', 'pela'),\n",
              " ('seguravam', 'pela', 'camisa'),\n",
              " ('pela', 'camisa', 'e'),\n",
              " ('camisa', 'e', ','),\n",
              " ('e', ',', 'na'),\n",
              " (',', 'na', 'corrida'),\n",
              " ('na', 'corrida', ','),\n",
              " ('corrida', ',', 'lançou'),\n",
              " (',', 'lançou', 'para'),\n",
              " ('lançou', 'para', 'Amani'),\n",
              " ('para', 'Amani', 'Toomer'),\n",
              " ('Amani', 'Toomer', '.'),\n",
              " ('Toomer', '.', 'O'),\n",
              " ('.', 'O', 'wide'),\n",
              " ('O', 'wide', 'receiver'),\n",
              " ('wide', 'receiver', ','),\n",
              " ('receiver', ',', 'bem'),\n",
              " (',', 'bem', 'marcado'),\n",
              " ('bem', 'marcado', ','),\n",
              " ('marcado', ',', 'saltou'),\n",
              " (',', 'saltou', 'e'),\n",
              " ('saltou', 'e', 'conseguiu'),\n",
              " ('e', 'conseguiu', 'a'),\n",
              " ('conseguiu', 'a', 'fazer'),\n",
              " ('a', 'fazer', 'recepção'),\n",
              " ('fazer', 'recepção', 'para'),\n",
              " ('recepção', 'para', 'um'),\n",
              " ('para', 'um', 'avanço'),\n",
              " ('um', 'avanço', 'de'),\n",
              " ('avanço', 'de', '32'),\n",
              " ('de', '32', 'jardas'),\n",
              " ('32', 'jardas', ','),\n",
              " ('jardas', ',', 'deixando'),\n",
              " (',', 'deixando', 'os'),\n",
              " ('deixando', 'os', 'Giants'),\n",
              " ('os', 'Giants', 'na'),\n",
              " ('Giants', 'na', 'linha'),\n",
              " ('na', 'linha', 'de'),\n",
              " ('linha', 'de', '24'),\n",
              " ('de', '24', 'de'),\n",
              " ('24', 'de', 'New'),\n",
              " ('de', 'New', 'England'),\n",
              " ('New', 'England', '.'),\n",
              " ('England', '.', 'Quatro'),\n",
              " ('.', 'Quatro', 'jogadas'),\n",
              " ('Quatro', 'jogadas', 'depois'),\n",
              " ('jogadas', 'depois', ','),\n",
              " ('depois', ',', 'a'),\n",
              " (',', 'a', '39'),\n",
              " ('a', '39', 'segundos'),\n",
              " ('39', 'segundos', 'do'),\n",
              " ('segundos', 'do', 'fim'),\n",
              " ('do', 'fim', ','),\n",
              " ('fim', ',', 'Manning'),\n",
              " (',', 'Manning', 'achou'),\n",
              " ('Manning', 'achou', 'Plaxico'),\n",
              " ('achou', 'Plaxico', 'Burress'),\n",
              " ('Plaxico', 'Burress', 'na'),\n",
              " ('Burress', 'na', 'end'),\n",
              " ('na', 'end', 'zone'),\n",
              " ('end', 'zone', 'para'),\n",
              " ('zone', 'para', 'conseguir'),\n",
              " ('para', 'conseguir', 'o'),\n",
              " ('conseguir', 'o', 'touchdown'),\n",
              " ('o', 'touchdown', 'do'),\n",
              " ('touchdown', 'do', 'título'),\n",
              " ('do', 'título', '.')]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 117
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "0DV2xFgEjuC5"
      },
      "source": [
        "Exemplo: gerar um detector de entidades nomeadas."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "1CZd5zRcjO0y",
        "outputId": "7aee3149-e95d-4948-c37c-a2717e4249eb"
      },
      "source": [
        "from nltk import bigrams\n",
        "from nltk import trigrams\n",
        "\n",
        "bigramas = list(bigrams(tokens))\n",
        "trigramas = list(trigrams(tokens))\n",
        "\n",
        "print('Bigramas:')\n",
        "for bigrama in bigramas:\n",
        "  if bigrama[0][0].isupper() and bigrama[1][0].isupper():   # primeiro e segundo elemento, sempre primeira letra maiúscula\n",
        "    print(bigrama)"
      ],
      "execution_count": 118,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Bigramas:\n",
            "('Super', 'Bowl')\n",
            "('Bowl', 'XLII')\n",
            "('XLII', 'Azarões')\n",
            "('New', 'England')\n",
            "('Eli', 'Manning')\n",
            "('Plaxico', 'Burress')\n",
            "('New', 'York')\n",
            "('York', 'Giants')\n",
            "('New', 'England')\n",
            "('England', 'Patriots')\n",
            "('Super', 'Bowl')\n",
            "('Bowl', 'XLII')\n",
            "('Super', 'Bowl')\n",
            "('Tom', 'Brady')\n",
            "('Super', 'Bowl')\n",
            "('Peyton', 'Manning')\n",
            "('Indianapolis', 'Colts')\n",
            "('Os', 'Giants')\n",
            "('Brandon', 'Jacobs')\n",
            "('Nova', 'York')\n",
            "('Lawrence', 'Tynes')\n",
            "('Eli', 'Manning')\n",
            "('Laurence', 'Maroney')\n",
            "('Tom', 'Brady')\n",
            "('Antonio', 'Pierce')\n",
            "('Os', 'Giants')\n",
            "('Amani', 'Toomer')\n",
            "('Nova', 'York')\n",
            "('Steve', 'Smith')\n",
            "('Ellis', 'Hobbs')\n",
            "('Nova', 'York')\n",
            "('Nova', 'York')\n",
            "('Os', 'Patriots')\n",
            "('Bill', 'Bellichick')\n",
            "('Jabar', 'Gaffney')\n",
            "('Kevin', 'Boss')\n",
            "('Steve', 'Smith')\n",
            "('David', 'Tyree')\n",
            "('Wes', 'Welker')\n",
            "('Randy', 'Moss')\n",
            "('Kevin', 'Faulk')\n",
            "('New', 'England')\n",
            "('Eli', 'Manning')\n",
            "('Amani', 'Toomer')\n",
            "('New', 'England')\n",
            "('Plaxico', 'Burress')\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "nwfVxadjkHAk",
        "outputId": "7d73fb5b-4859-4920-d935-04ee71358cb0"
      },
      "source": [
        "print('Trigramas:')\n",
        "for trigrama in trigramas:\n",
        "  if trigrama[0][0].isupper() and trigrama[1][0].isupper() and trigrama[2][0].isupper():   # primeiro, segundo e terceiro elemento, sempre primeira letra maiúscula\n",
        "    print(trigrama)"
      ],
      "execution_count": 119,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Trigramas:\n",
            "('Super', 'Bowl', 'XLII')\n",
            "('Bowl', 'XLII', 'Azarões')\n",
            "('New', 'York', 'Giants')\n",
            "('New', 'England', 'Patriots')\n",
            "('Super', 'Bowl', 'XLII')\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "b2MRUZoml5bA"
      },
      "source": [
        "- **stemming** = reduz a palavra ao seu radical;\n",
        "> *gato, gata = gat*\n",
        "- **lematização** = reduz a palavra a sua forma canônica, levando em conta sua classe gramatical;\n",
        "> *propoem, propuseram = propor*\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ZUV7f8KLoEEW"
      },
      "source": [
        "Importando o módulo que remove o sufixo da língua portuguesa: **RSLP**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "5Dw5RliMlagh"
      },
      "source": [
        "import nltk "
      ],
      "execution_count": 120,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "Iun6C89roMsB",
        "outputId": "ad4fe62b-c935-4073-ba7d-0511b56ab43b"
      },
      "source": [
        "stemmer = nltk.RSLPStemmer()\n",
        "\n",
        "print(stemmer.stem('Amigão'))\n",
        "print(stemmer.stem('Amigo'))\n",
        "print(stemmer.stem('Amiga'))\n",
        "print(stemmer.stem('amiguinhos'))\n",
        "print(stemmer.stem('propuseram'))\n",
        "print(stemmer.stem('Propõem'))\n",
        "print(stemmer.stem('Propondo'))"
      ],
      "execution_count": 121,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "amig\n",
            "amig\n",
            "amig\n",
            "amig\n",
            "propus\n",
            "propõ\n",
            "prop\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Nt-qvNotpGRD"
      },
      "source": [
        "Obs: O lematizador do NLTK só funciona bem para o idioma inglês → exemplo de como usar:\n",
        "\n",
        "```\n",
        "lemmatizer = nltk.stem.WordNetLemmatizer()\n",
        "lemmatizer.lemmatize('propõem', pos = 'V')\n",
        "```\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "gNehtllQpvyV"
      },
      "source": [
        "Para o português, existem dois corpus que funcionam muito bem: \n",
        "- **Floresta**\n",
        "- **Marco Morpho**\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "B8Cluj0cp-qu"
      },
      "source": [
        "Para o *inglês* existe um etiquetador padrão treinado:\n",
        "\n",
        "\n",
        "```\n",
        "nltk.pos_tag()\n",
        "```\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "xQQ4_ZBQqGIJ"
      },
      "source": [
        "Os etiquetadores sempre retornam uma tupla com ('palavra', 'classe gramatical') e essa classe gramatical vai depender do treinamento que é realizado."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "JWeYLhHvqSX7"
      },
      "source": [
        "### Etiquetador **mac_morpho**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "8JgTe_AQpc5M"
      },
      "source": [
        "from nltk.corpus import mac_morpho\n",
        "from nltk.tag import UnigramTagger\n",
        "from nltk.tag import DefaultTagger"
      ],
      "execution_count": 126,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "aSuVC3lMqfpu",
        "outputId": "d680841d-d56c-49b6-b101-22668de69a12"
      },
      "source": [
        "tokens = nltk.word_tokenize(txt)\n",
        "\n",
        "etiq_padrao = DefaultTagger('N') # substantivo\n",
        "sentencas_treino = mac_morpho.tagged_sents()\n",
        "etiquetador = UnigramTagger(sentencas_treino, backoff = etiq_padrao)\n",
        "etiquetado = etiquetador.tag(tokens)\n",
        "print(etiquetado)"
      ],
      "execution_count": 127,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "[('Giants', 'NPROP'), ('batem', 'V'), ('os', 'ART'), ('Patriots', 'N'), ('no', 'KC'), ('Super', 'NPROP'), ('Bowl', 'NPROP'), ('XLII', 'N'), ('Azarões', 'N'), ('acabam', 'VAUX'), ('com', 'PREP'), ('a', 'ART'), ('invencibilidade', 'N'), ('de', 'PREP'), ('New', 'NPROP'), ('England', 'NPROP'), ('e', 'KC'), ('ficam', 'V'), ('com', 'PREP'), ('o', 'ART'), ('título', 'N'), ('da', 'NPROP'), ('temporada', 'N'), ('04/02/2008', 'N'), ('-', '-'), ('01h07m', 'N'), ('-', '-'), ('Atualizado', 'N'), ('em', 'PREP|+'), ('04/02/2008', 'N'), ('-', '-'), ('09h49m', 'N'), ('Com', 'PREP'), ('um', 'ART'), ('passe', 'N'), ('de', 'PREP'), ('Eli', 'NPROP'), ('Manning', 'NPROP'), ('para', 'PREP'), ('Plaxico', 'N'), ('Burress', 'N'), ('a', 'ART'), ('39', 'NUM'), ('segundos', 'N'), ('do', 'NPROP'), ('fim', 'N'), (',', ','), ('o', 'ART'), ('New', 'NPROP'), ('York', 'NPROP'), ('Giants', 'NPROP'), ('anotou', 'V'), ('o', 'ART'), ('touchdown', 'N|EST'), ('decisivo', 'ADJ'), ('e', 'KC'), ('derrubou', 'V'), ('o', 'ART'), ('favorito', 'N'), ('New', 'NPROP'), ('England', 'NPROP'), ('Patriots', 'N'), ('por', 'PREP|+'), ('17', 'NUM'), ('a', 'ART'), ('14', 'NUM'), ('neste', 'N'), ('domingo', 'N'), (',', ','), ('em', 'PREP|+'), ('Glendale', 'N'), (',', ','), ('no', 'KC'), ('Super', 'NPROP'), ('Bowl', 'NPROP'), ('XLII', 'N'), ('.', '.'), ('O', 'ART'), ('resultado', 'N'), (',', ','), ('uma', 'ART'), ('das', 'NPROP'), ('maiores', 'ADJ'), ('zebras', 'N'), ('da', 'NPROP'), ('história', 'N'), ('do', 'NPROP'), ('Super', 'NPROP'), ('Bowl', 'NPROP'), (',', ','), ('acabou', 'VAUX'), ('com', 'PREP'), ('a', 'ART'), ('temporada', 'N'), ('perfeita', 'ADJ'), ('de', 'PREP'), ('Tom', 'NPROP'), ('Brady', 'NPROP'), ('e', 'KC'), ('companhia', 'N'), (',', ','), ('que', 'PRO-KS-REL'), ('esperavam', 'V'), ('fazer', 'V'), ('história', 'N'), ('ao', 'PREP'), ('levantar', 'V'), ('o', 'ART'), ('troféu', 'N'), ('da', 'NPROP'), ('NFL', 'N'), ('sem', 'PREP'), ('sofrer', 'V'), ('uma', 'ART'), ('derrota', 'N'), ('no', 'KC'), ('ano', 'N'), ('.', '.'), ('A', 'ART'), ('vitória', 'N'), ('dos', 'NPROP'), ('Giants', 'NPROP'), (',', ','), ('porém', 'KC'), (',', ','), ('também', 'PDEN'), ('ficará', 'V'), ('para', 'PREP'), ('a', 'ART'), ('história', 'N'), ('.', '.'), ('Pela', 'NPROP'), ('primeira', 'ADJ'), ('vez', 'N'), (',', ','), ('irmãos', 'N'), ('quarterbacks', 'N'), ('triunfam', 'N'), ('no', 'KC'), ('Super', 'NPROP'), ('Bowl', 'NPROP'), ('em', 'PREP|+'), ('temporadas', 'N'), ('consecutivas', 'ADJ'), ('.', '.'), ('No', 'KC'), ('ano', 'N'), ('passado', 'PCP'), (',', ','), ('Peyton', 'N'), ('Manning', 'NPROP'), (',', ','), ('irmão', 'N'), ('de', 'PREP'), ('Eli', 'NPROP'), (',', ','), ('chegou', 'V'), ('ao', 'PREP'), ('título', 'N'), ('máximo', 'N'), ('da', 'NPROP'), ('NFL', 'N'), ('pelo', 'PDEN'), ('Indianapolis', 'N'), ('Colts', 'N'), ('.', '.'), ('A', 'ART'), ('partida', 'N'), ('Os', 'ART'), ('Giants', 'NPROP'), ('começaram', 'VAUX'), ('com', 'PREP'), ('a', 'ART'), ('posse', 'N'), ('de', 'PREP'), ('bola', 'N'), (',', ','), ('e', 'KC'), ('mostraram', 'V'), ('logo', 'ADV'), ('que', 'PRO-KS-REL'), ('iriam', 'VAUX'), ('alongar', 'V'), ('ao', 'PREP'), ('máximo', 'N'), ('suas', 'PROADJ'), ('posses', 'N'), ('de', 'PREP'), ('bola', 'N'), ('.', '.'), ('Misturando', 'N'), ('corridas', 'N'), ('com', 'PREP'), ('Brandon', 'N'), ('Jacobs', 'NPROP'), ('e', 'KC'), ('passes', 'N'), ('curtos', 'ADJ'), (',', ','), ('o', 'ART'), ('time', 'N'), ('de', 'PREP'), ('Nova', 'NPROP'), ('York', 'NPROP'), ('chegou', 'V'), ('à', 'NPROP'), ('red', 'N|EST'), ('zone', 'N'), ('logo', 'ADV'), ('na', 'NPROP'), ('primeira', 'ADJ'), ('campanha', 'N'), ('.', '.'), ('O', 'ART'), ('avanço', 'N'), (',', ','), ('no', 'KC'), ('entanto', 'KC'), (',', ','), ('parou', 'V'), ('na', 'NPROP'), ('linha', 'N'), ('de', 'PREP'), ('17', 'NUM'), ('jardas', 'N'), ('e', 'KC'), ('Lawrence', 'NPROP'), ('Tynes', 'N'), ('converteu', 'V'), ('o', 'ART'), ('field', 'N|EST'), ('goal', 'N|EST'), ('de', 'PREP'), ('32', 'NUM'), ('jardas', 'N'), ('para', 'PREP'), ('abrir', 'V'), ('o', 'ART'), ('placar', 'N'), ('.', '.'), ('Eli', 'NPROP'), ('Manning', 'NPROP'), ('e', 'KC'), ('companhia', 'N'), ('ficaram', 'V'), ('9m54s', 'N'), ('com', 'PREP'), ('a', 'ART'), ('bola', 'N'), (',', ','), ('mas', 'KC'), ('o', 'ART'), ('ataque', 'N'), ('dos', 'NPROP'), ('Patriots', 'N'), ('não', 'ADV'), ('entrou', 'V'), ('em', 'PREP|+'), ('campo', 'N'), ('frio', 'N'), ('.', '.'), ('Logo', 'ADV'), ('no', 'KC'), ('retorno', 'N'), ('do', 'NPROP'), ('kickoff', 'N'), (',', ','), ('o', 'ART'), ('running', 'N|EST'), ('back', 'N|EST'), ('Laurence', 'NPROP'), ('Maroney', 'N'), ('avançou', 'V'), ('43', 'NUM'), ('jardas', 'N'), (',', ','), ('deixando', 'V'), ('Tom', 'NPROP'), ('Brady', 'NPROP'), ('em', 'PREP|+'), ('boa', 'ADJ'), ('posição', 'N'), ('.', '.'), ('Com', 'PREP'), ('passes', 'N'), ('curtos', 'ADJ'), (',', ','), ('os', 'ART'), ('Patriots', 'N'), ('chegaram', 'V'), ('à', 'NPROP'), ('linha', 'N'), ('de', 'PREP'), ('17', 'NUM'), ('jardas', 'N'), ('e', 'KC'), (',', ','), ('graças', 'PREP|+'), ('a', 'ART'), ('uma', 'ART'), ('penalidade', 'N'), ('(', '('), ('interferência', 'N'), ('de', 'PREP'), ('passe', 'N'), (')', ')'), ('do', 'NPROP'), ('linebacker', 'N'), ('Antonio', 'NPROP'), ('Pierce', 'NPROP'), (',', ','), ('alcançaram', 'V'), ('a', 'ART'), ('linha', 'N'), ('de', 'PREP'), ('uma', 'ART'), ('jarda', 'N'), ('.', '.'), ('Maroney', 'N'), ('avançou', 'V'), ('pelo', 'PDEN'), ('chão', 'N'), ('e', 'KC'), ('anotou', 'V'), ('o', 'ART'), ('primeiro', 'ADJ'), ('touchdown', 'N|EST'), ('do', 'NPROP'), ('jogo', 'N'), ('.', '.'), ('Os', 'ART'), ('Giants', 'NPROP'), ('pareciam', 'V'), ('rumo', 'PREP|+'), ('à', 'NPROP'), ('virada', 'N'), ('na', 'NPROP'), ('campanha', 'N'), ('seguinte', 'ADJ'), ('.', '.'), ('Manning', 'NPROP'), ('achou', 'V'), ('Amani', 'N'), ('Toomer', 'N'), ('para', 'PREP'), ('um', 'ART'), ('avanço', 'N'), ('de', 'PREP'), ('38', 'NUM'), ('jardas', 'N'), (',', ','), ('e', 'KC'), ('o', 'ART'), ('time', 'N'), ('de', 'PREP'), ('Nova', 'NPROP'), ('York', 'NPROP'), ('entrou', 'V'), ('novamente', 'ADV'), ('na', 'NPROP'), ('red', 'N|EST'), ('zone', 'N'), ('.', '.'), ('Com', 'PREP'), ('a', 'ART'), ('bola', 'N'), ('na', 'NPROP'), ('linha', 'N'), ('de', 'PREP'), ('14', 'NUM'), ('jardas', 'N'), ('dos', 'NPROP'), ('Patriots', 'N'), (',', ','), ('os', 'ART'), ('Giants', 'NPROP'), ('sofreram', 'V'), ('um', 'ART'), ('revés', 'N'), ('.', '.'), ('Manning', 'NPROP'), ('passou', 'V'), ('para', 'PREP'), ('Steve', 'NPROP'), ('Smith', 'NPROP'), (',', ','), ('que', 'PRO-KS-REL'), ('soltou', 'V'), ('a', 'ART'), ('bola', 'N'), ('.', '.'), ('Ellis', 'NPROP'), ('Hobbs', 'N'), ('aproveitou', 'V'), (',', ','), ('tomou', 'V'), ('a', 'ART'), ('posse', 'N'), ('para', 'PREP'), ('os', 'ART'), ('Patriots', 'N'), (',', ','), ('e', 'KC'), ('avançou', 'V'), ('23', 'NUM'), ('jardas', 'N'), ('.', '.'), ('A', 'ART'), ('defesa', 'N'), ('de', 'PREP'), ('Nova', 'NPROP'), ('York', 'NPROP'), ('manteve', 'V'), ('o', 'ART'), ('jogo', 'N'), ('equilibrado', 'PCP'), ('.', '.'), ('Com', 'PREP'), ('dois', 'NUM'), ('sacks', 'N'), ('seguidos', 'PCP'), (',', ','), ('os', 'ART'), ('Giants', 'NPROP'), ('forçaram', 'V'), ('o', 'ART'), ('punt', 'N'), ('e', 'KC'), ('recuperaram', 'N'), ('a', 'ART'), ('bola', 'N'), ('.', '.'), ('Mas', 'KC'), ('a', 'ART'), ('campanha', 'N'), ('seguinte', 'ADJ'), ('provou', 'V'), ('ser', 'VAUX'), ('outra', 'PROADJ'), ('decepção', 'N'), ('para', 'PREP'), ('Nova', 'NPROP'), ('York', 'NPROP'), ('.', '.'), ('O', 'ART'), ('time', 'N'), ('chegou', 'V'), ('à', 'NPROP'), ('linha', 'N'), ('de', 'PREP'), ('25', 'NUM'), ('jardas', 'N'), (',', ','), ('mas', 'KC'), ('Manning', 'NPROP'), ('sofreu', 'V'), ('um', 'ART'), ('sack', 'N'), ('e', 'KC'), ('cometeu', 'V'), ('um', 'ART'), ('fumble', 'N|EST'), (',', ','), ('e', 'KC'), ('o', 'ART'), ('ataque', 'N'), ('voltou', 'V'), ('para', 'PREP'), ('a', 'ART'), ('linha', 'N'), ('de', 'PREP'), ('39', 'NUM'), ('jardas', 'N'), (',', ','), ('não', 'ADV'), ('conseguindo', 'V'), ('pontuar', 'N'), ('mais', 'ADV'), ('uma', 'ART'), ('vez', 'N'), ('.', '.'), ('Os', 'ART'), ('Patriots', 'N'), ('tiveram', 'V'), ('uma', 'ART'), ('última', 'ADJ'), ('chance', 'N'), ('de', 'PREP'), ('marcar', 'V'), ('antes', 'ADV'), ('do', 'NPROP'), ('intervalo', 'N'), (',', ','), ('mas', 'KC'), (',', ','), ('a', 'ART'), ('22', 'NUM'), ('segundos', 'N'), ('do', 'NPROP'), ('fim', 'N'), ('do', 'NPROP'), ('segundo', 'PREP'), ('período', 'N'), (',', ','), ('Brady', 'NPROP'), ('foi', 'VAUX'), ('novamente', 'ADV'), ('sacado', 'PCP'), ('.', '.'), ('Desta', 'ADV'), ('vez', 'N'), (',', ','), ('ele', 'PROPESS'), ('cometeu', 'V'), ('o', 'ART'), ('fumble', 'N|EST'), ('e', 'KC'), ('os', 'ART'), ('Giants', 'NPROP'), ('tomaram', 'V'), ('a', 'ART'), ('posse', 'N'), ('de', 'PREP'), ('bola', 'N'), ('.', '.'), ('Manning', 'NPROP'), ('tentou', 'V'), ('um', 'ART'), ('passe', 'N'), ('longo', 'ADJ'), (',', ','), ('de', 'PREP'), ('50', 'NUM'), ('jardas', 'N'), (',', ','), ('nos', 'PROPESS'), ('últimos', 'ADJ'), ('segundos', 'N'), (',', ','), ('mas', 'KC'), ('não', 'ADV'), ('teve', 'V'), ('sucesso', 'N'), ('.', '.'), ('O', 'ART'), ('jogo', 'N'), ('continuou', 'V'), ('amarrado', 'PCP'), ('no', 'KC'), ('terceiro', 'ADJ'), ('quarto', 'N'), (',', ','), ('com', 'PREP'), ('as', 'ART'), ('defesas', 'N'), ('levando', 'V'), ('a', 'ART'), ('melhor', 'ADJ'), ('sobre', 'PREP'), ('os', 'ART'), ('ataques', 'N'), ('.', '.'), ('A', 'ART'), ('única', 'ADJ'), ('chance', 'N'), ('de', 'PREP'), ('pontuar', 'N'), ('do', 'NPROP'), ('período', 'N'), ('foi', 'VAUX'), ('dos', 'NPROP'), ('Patriots', 'N'), (',', ','), ('que', 'PRO-KS-REL'), ('chegaram', 'V'), ('à', 'NPROP'), ('linha', 'N'), ('de', 'PREP'), ('31', 'NUM'), ('jardas', 'N'), ('dos', 'NPROP'), ('Giants', 'NPROP'), ('.', '.'), ('O', 'ART'), ('técnico', 'N'), ('Bill', 'NPROP'), ('Bellichick', 'N'), (',', ','), ('porém', 'KC'), (',', ','), ('optou', 'V'), ('por', 'PREP|+'), ('uma', 'ART'), ('quarta', 'N'), ('descida', 'N'), ('em', 'PREP|+'), ('vez', 'N'), ('de', 'PREP'), ('um', 'ART'), ('field', 'N|EST'), ('goal', 'N|EST'), ('.', '.'), ('Brady', 'NPROP'), ('tentou', 'V'), ('um', 'ART'), ('passe', 'N'), ('para', 'PREP'), ('Jabar', 'N'), ('Gaffney', 'N'), (',', ','), ('mas', 'KC'), ('não', 'ADV'), ('conseguiu', 'V'), ('completar', 'V'), ('.', '.'), ('O', 'ART'), ('último', 'ADJ'), ('período', 'N'), ('começou', 'VAUX'), ('arrasador', 'N'), ('para', 'PREP'), ('os', 'ART'), ('Giants', 'NPROP'), ('.', '.'), ('na', 'NPROP'), ('primeira', 'ADJ'), ('jogada', 'N'), (',', ','), ('Manning', 'NPROP'), ('achou', 'V'), ('o', 'ART'), ('tight', 'N'), ('end', 'N'), ('Kevin', 'NPROP'), ('Boss', 'N'), (',', ','), ('para', 'PREP'), ('um', 'ART'), ('incrível', 'ADJ'), ('avanço', 'N'), ('de', 'PREP'), ('45', 'NUM'), ('jardas', 'N'), (',', ','), ('que', 'PRO-KS-REL'), ('deixou', 'V'), ('o', 'ART'), ('time', 'N'), ('na', 'NPROP'), ('linha', 'N'), ('de', 'PREP'), ('35', 'NUM'), ('dos', 'NPROP'), ('Patriots', 'N'), ('.', '.'), ('Outro', 'PROADJ'), ('lançamento', 'N'), (',', ','), ('desta', 'PROADJ'), ('vez', 'N'), ('para', 'PREP'), ('Steve', 'NPROP'), ('Smith', 'NPROP'), (',', ','), ('marcou', 'V'), ('o', 'ART'), ('avanço', 'N'), ('até', 'PREP'), ('a', 'ART'), ('linha', 'N'), ('de', 'PREP'), ('12', 'NUM'), ('jardas', 'N'), ('.', '.'), ('Duas', 'NUM'), ('jogadas', 'N'), ('depois', 'ADV'), (',', ','), ('David', 'NPROP'), ('Tyree', 'N'), ('pegou', 'V'), ('um', 'ART'), ('passe', 'N'), ('de', 'PREP'), ('cinco', 'NUM'), ('jardas', 'N'), ('na', 'NPROP'), ('end', 'N'), ('zone', 'N'), ('para', 'PREP'), ('anotar', 'V'), ('o', 'ART'), ('touchdown', 'N|EST'), ('e', 'KC'), ('virar', 'V'), ('o', 'ART'), ('jogo', 'N'), ('.', '.'), ('Na', 'NPROP'), ('hora', 'N'), ('da', 'NPROP'), ('decisão', 'N'), (',', ','), ('o', 'ART'), ('ataque', 'N'), ('dos', 'NPROP'), ('Patriots', 'N'), ('voltou', 'V'), ('a', 'ART'), ('funcionar', 'V'), ('.', '.'), ('Com', 'PREP'), ('uma', 'ART'), ('série', 'N'), ('de', 'PREP'), ('passes', 'N'), ('curtos', 'ADJ'), ('e', 'KC'), ('variados', 'PCP'), (',', ','), ('Brady', 'NPROP'), ('achou', 'V'), ('Wes', 'N'), ('Welker', 'N'), (',', ','), ('Randy', 'NPROP'), ('Moss', 'NPROP'), ('e', 'KC'), ('Kevin', 'NPROP'), ('Faulk', 'N'), ('seguidas', 'PCP'), ('vezes', 'N'), ('até', 'PREP'), ('chegar', 'V'), ('à', 'NPROP'), ('red', 'N|EST'), ('zone', 'N'), ('.', '.'), ('A', 'ART'), ('2m45s', 'N'), ('do', 'NPROP'), ('fim', 'N'), (',', ','), ('o', 'ART'), ('quarterback', 'N|EST'), ('conectou', 'N'), ('mais', 'ADV'), ('uma', 'ART'), ('vez', 'N'), ('com', 'PREP'), ('Moss', 'NPROP'), (',', ','), ('que', 'PRO-KS-REL'), ('se', 'PROPESS'), ('desmarcou', 'N'), ('e', 'KC'), ('ficou', 'V'), ('livre', 'ADJ'), ('na', 'NPROP'), ('lateral', 'N'), ('direita', 'N'), ('da', 'NPROP'), ('end', 'N'), ('zone', 'N'), ('.', '.'), ('Quando', 'KS'), ('os', 'ART'), ('fãs', 'N'), ('de', 'PREP'), ('New', 'NPROP'), ('England', 'NPROP'), ('já', 'ADV'), ('comemoravam', 'V'), ('a', 'ART'), ('vitória', 'N'), (',', ','), ('o', 'ART'), ('inesperado', 'ADJ'), ('aconteceu', 'V'), ('.', '.'), ('Em', 'PREP|+'), ('uma', 'ART'), ('jogada', 'N'), ('incrível', 'ADJ'), (',', ','), ('Eli', 'NPROP'), ('Manning', 'NPROP'), ('se', 'PROPESS'), ('soltou', 'V'), ('de', 'PREP'), ('dois', 'NUM'), ('marcadores', 'N'), ('que', 'PRO-KS-REL'), ('o', 'ART'), ('seguravam', 'N'), ('pela', 'NPROP'), ('camisa', 'N'), ('e', 'KC'), (',', ','), ('na', 'NPROP'), ('corrida', 'N'), (',', ','), ('lançou', 'V'), ('para', 'PREP'), ('Amani', 'N'), ('Toomer', 'N'), ('.', '.'), ('O', 'ART'), ('wide', 'N|EST'), ('receiver', 'N'), (',', ','), ('bem', 'ADV'), ('marcado', 'PCP'), (',', ','), ('saltou', 'V'), ('e', 'KC'), ('conseguiu', 'V'), ('a', 'ART'), ('fazer', 'V'), ('recepção', 'N'), ('para', 'PREP'), ('um', 'ART'), ('avanço', 'N'), ('de', 'PREP'), ('32', 'NUM'), ('jardas', 'N'), (',', ','), ('deixando', 'V'), ('os', 'ART'), ('Giants', 'NPROP'), ('na', 'NPROP'), ('linha', 'N'), ('de', 'PREP'), ('24', 'NUM'), ('de', 'PREP'), ('New', 'NPROP'), ('England', 'NPROP'), ('.', '.'), ('Quatro', 'NUM'), ('jogadas', 'N'), ('depois', 'ADV'), (',', ','), ('a', 'ART'), ('39', 'NUM'), ('segundos', 'N'), ('do', 'NPROP'), ('fim', 'N'), (',', ','), ('Manning', 'NPROP'), ('achou', 'V'), ('Plaxico', 'N'), ('Burress', 'N'), ('na', 'NPROP'), ('end', 'N'), ('zone', 'N'), ('para', 'PREP'), ('conseguir', 'V'), ('o', 'ART'), ('touchdown', 'N|EST'), ('do', 'NPROP'), ('título', 'N'), ('.', '.')]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "NlDB9quwt5w0"
      },
      "source": [
        "Com os etiquetadores mac_morpho é possível fazer análises descritivas, análises sintáticas, reconhecimento de entidades nomeadas (chunking), etc."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "jOBViwNsuI-7"
      },
      "source": [
        "Testando algo mais avançado..."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "VxhWuiYEvFR7"
      },
      "source": [
        "### Análise sintática"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "mnyXILJcuLKx"
      },
      "source": [
        "from nltk.chunk import RegexpParser"
      ],
      "execution_count": 129,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "sdySjcdNuhxU",
        "outputId": "bbd69dcd-957c-4508-c7e5-b34457111c48"
      },
      "source": [
        "pattern = 'NP: {<NPROP><NPROP>} | <N><N>'\n",
        "analise_gramatical = RegexpParser(pattern)\n",
        "arvore = analise_gramatical.parse(etiquetado)\n",
        "print(arvore)"
      ],
      "execution_count": 131,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "(S\n",
            "  Giants/NPROP\n",
            "  batem/V\n",
            "  os/ART\n",
            "  Patriots/N\n",
            "  no/KC\n",
            "  (NP Super/NPROP Bowl/NPROP)\n",
            "  XLII/N\n",
            "  Azarões/N\n",
            "  acabam/VAUX\n",
            "  com/PREP\n",
            "  a/ART\n",
            "  invencibilidade/N\n",
            "  de/PREP\n",
            "  (NP New/NPROP England/NPROP)\n",
            "  e/KC\n",
            "  ficam/V\n",
            "  com/PREP\n",
            "  o/ART\n",
            "  título/N\n",
            "  da/NPROP\n",
            "  temporada/N\n",
            "  04/02/2008/N\n",
            "  -/-\n",
            "  01h07m/N\n",
            "  -/-\n",
            "  Atualizado/N\n",
            "  em/PREP|+\n",
            "  04/02/2008/N\n",
            "  -/-\n",
            "  09h49m/N\n",
            "  Com/PREP\n",
            "  um/ART\n",
            "  passe/N\n",
            "  de/PREP\n",
            "  (NP Eli/NPROP Manning/NPROP)\n",
            "  para/PREP\n",
            "  Plaxico/N\n",
            "  Burress/N\n",
            "  a/ART\n",
            "  39/NUM\n",
            "  segundos/N\n",
            "  do/NPROP\n",
            "  fim/N\n",
            "  ,/,\n",
            "  o/ART\n",
            "  (NP New/NPROP York/NPROP)\n",
            "  Giants/NPROP\n",
            "  anotou/V\n",
            "  o/ART\n",
            "  touchdown/N|EST\n",
            "  decisivo/ADJ\n",
            "  e/KC\n",
            "  derrubou/V\n",
            "  o/ART\n",
            "  favorito/N\n",
            "  (NP New/NPROP England/NPROP)\n",
            "  Patriots/N\n",
            "  por/PREP|+\n",
            "  17/NUM\n",
            "  a/ART\n",
            "  14/NUM\n",
            "  neste/N\n",
            "  domingo/N\n",
            "  ,/,\n",
            "  em/PREP|+\n",
            "  Glendale/N\n",
            "  ,/,\n",
            "  no/KC\n",
            "  (NP Super/NPROP Bowl/NPROP)\n",
            "  XLII/N\n",
            "  ./.\n",
            "  O/ART\n",
            "  resultado/N\n",
            "  ,/,\n",
            "  uma/ART\n",
            "  das/NPROP\n",
            "  maiores/ADJ\n",
            "  zebras/N\n",
            "  da/NPROP\n",
            "  história/N\n",
            "  (NP do/NPROP Super/NPROP)\n",
            "  Bowl/NPROP\n",
            "  ,/,\n",
            "  acabou/VAUX\n",
            "  com/PREP\n",
            "  a/ART\n",
            "  temporada/N\n",
            "  perfeita/ADJ\n",
            "  de/PREP\n",
            "  (NP Tom/NPROP Brady/NPROP)\n",
            "  e/KC\n",
            "  companhia/N\n",
            "  ,/,\n",
            "  que/PRO-KS-REL\n",
            "  esperavam/V\n",
            "  fazer/V\n",
            "  história/N\n",
            "  ao/PREP\n",
            "  levantar/V\n",
            "  o/ART\n",
            "  troféu/N\n",
            "  da/NPROP\n",
            "  NFL/N\n",
            "  sem/PREP\n",
            "  sofrer/V\n",
            "  uma/ART\n",
            "  derrota/N\n",
            "  no/KC\n",
            "  ano/N\n",
            "  ./.\n",
            "  A/ART\n",
            "  vitória/N\n",
            "  (NP dos/NPROP Giants/NPROP)\n",
            "  ,/,\n",
            "  porém/KC\n",
            "  ,/,\n",
            "  também/PDEN\n",
            "  ficará/V\n",
            "  para/PREP\n",
            "  a/ART\n",
            "  história/N\n",
            "  ./.\n",
            "  Pela/NPROP\n",
            "  primeira/ADJ\n",
            "  vez/N\n",
            "  ,/,\n",
            "  irmãos/N\n",
            "  quarterbacks/N\n",
            "  triunfam/N\n",
            "  no/KC\n",
            "  (NP Super/NPROP Bowl/NPROP)\n",
            "  em/PREP|+\n",
            "  temporadas/N\n",
            "  consecutivas/ADJ\n",
            "  ./.\n",
            "  No/KC\n",
            "  ano/N\n",
            "  passado/PCP\n",
            "  ,/,\n",
            "  Peyton/N\n",
            "  Manning/NPROP\n",
            "  ,/,\n",
            "  irmão/N\n",
            "  de/PREP\n",
            "  Eli/NPROP\n",
            "  ,/,\n",
            "  chegou/V\n",
            "  ao/PREP\n",
            "  título/N\n",
            "  máximo/N\n",
            "  da/NPROP\n",
            "  NFL/N\n",
            "  pelo/PDEN\n",
            "  Indianapolis/N\n",
            "  Colts/N\n",
            "  ./.\n",
            "  A/ART\n",
            "  partida/N\n",
            "  Os/ART\n",
            "  Giants/NPROP\n",
            "  começaram/VAUX\n",
            "  com/PREP\n",
            "  a/ART\n",
            "  posse/N\n",
            "  de/PREP\n",
            "  bola/N\n",
            "  ,/,\n",
            "  e/KC\n",
            "  mostraram/V\n",
            "  logo/ADV\n",
            "  que/PRO-KS-REL\n",
            "  iriam/VAUX\n",
            "  alongar/V\n",
            "  ao/PREP\n",
            "  máximo/N\n",
            "  suas/PROADJ\n",
            "  posses/N\n",
            "  de/PREP\n",
            "  bola/N\n",
            "  ./.\n",
            "  Misturando/N\n",
            "  corridas/N\n",
            "  com/PREP\n",
            "  Brandon/N\n",
            "  Jacobs/NPROP\n",
            "  e/KC\n",
            "  passes/N\n",
            "  curtos/ADJ\n",
            "  ,/,\n",
            "  o/ART\n",
            "  time/N\n",
            "  de/PREP\n",
            "  (NP Nova/NPROP York/NPROP)\n",
            "  chegou/V\n",
            "  à/NPROP\n",
            "  red/N|EST\n",
            "  zone/N\n",
            "  logo/ADV\n",
            "  na/NPROP\n",
            "  primeira/ADJ\n",
            "  campanha/N\n",
            "  ./.\n",
            "  O/ART\n",
            "  avanço/N\n",
            "  ,/,\n",
            "  no/KC\n",
            "  entanto/KC\n",
            "  ,/,\n",
            "  parou/V\n",
            "  na/NPROP\n",
            "  linha/N\n",
            "  de/PREP\n",
            "  17/NUM\n",
            "  jardas/N\n",
            "  e/KC\n",
            "  Lawrence/NPROP\n",
            "  Tynes/N\n",
            "  converteu/V\n",
            "  o/ART\n",
            "  field/N|EST\n",
            "  goal/N|EST\n",
            "  de/PREP\n",
            "  32/NUM\n",
            "  jardas/N\n",
            "  para/PREP\n",
            "  abrir/V\n",
            "  o/ART\n",
            "  placar/N\n",
            "  ./.\n",
            "  (NP Eli/NPROP Manning/NPROP)\n",
            "  e/KC\n",
            "  companhia/N\n",
            "  ficaram/V\n",
            "  9m54s/N\n",
            "  com/PREP\n",
            "  a/ART\n",
            "  bola/N\n",
            "  ,/,\n",
            "  mas/KC\n",
            "  o/ART\n",
            "  ataque/N\n",
            "  dos/NPROP\n",
            "  Patriots/N\n",
            "  não/ADV\n",
            "  entrou/V\n",
            "  em/PREP|+\n",
            "  campo/N\n",
            "  frio/N\n",
            "  ./.\n",
            "  Logo/ADV\n",
            "  no/KC\n",
            "  retorno/N\n",
            "  do/NPROP\n",
            "  kickoff/N\n",
            "  ,/,\n",
            "  o/ART\n",
            "  running/N|EST\n",
            "  back/N|EST\n",
            "  Laurence/NPROP\n",
            "  Maroney/N\n",
            "  avançou/V\n",
            "  43/NUM\n",
            "  jardas/N\n",
            "  ,/,\n",
            "  deixando/V\n",
            "  (NP Tom/NPROP Brady/NPROP)\n",
            "  em/PREP|+\n",
            "  boa/ADJ\n",
            "  posição/N\n",
            "  ./.\n",
            "  Com/PREP\n",
            "  passes/N\n",
            "  curtos/ADJ\n",
            "  ,/,\n",
            "  os/ART\n",
            "  Patriots/N\n",
            "  chegaram/V\n",
            "  à/NPROP\n",
            "  linha/N\n",
            "  de/PREP\n",
            "  17/NUM\n",
            "  jardas/N\n",
            "  e/KC\n",
            "  ,/,\n",
            "  graças/PREP|+\n",
            "  a/ART\n",
            "  uma/ART\n",
            "  penalidade/N\n",
            "  (/(\n",
            "  interferência/N\n",
            "  de/PREP\n",
            "  passe/N\n",
            "  )/)\n",
            "  do/NPROP\n",
            "  linebacker/N\n",
            "  (NP Antonio/NPROP Pierce/NPROP)\n",
            "  ,/,\n",
            "  alcançaram/V\n",
            "  a/ART\n",
            "  linha/N\n",
            "  de/PREP\n",
            "  uma/ART\n",
            "  jarda/N\n",
            "  ./.\n",
            "  Maroney/N\n",
            "  avançou/V\n",
            "  pelo/PDEN\n",
            "  chão/N\n",
            "  e/KC\n",
            "  anotou/V\n",
            "  o/ART\n",
            "  primeiro/ADJ\n",
            "  touchdown/N|EST\n",
            "  do/NPROP\n",
            "  jogo/N\n",
            "  ./.\n",
            "  Os/ART\n",
            "  Giants/NPROP\n",
            "  pareciam/V\n",
            "  rumo/PREP|+\n",
            "  à/NPROP\n",
            "  virada/N\n",
            "  na/NPROP\n",
            "  campanha/N\n",
            "  seguinte/ADJ\n",
            "  ./.\n",
            "  Manning/NPROP\n",
            "  achou/V\n",
            "  Amani/N\n",
            "  Toomer/N\n",
            "  para/PREP\n",
            "  um/ART\n",
            "  avanço/N\n",
            "  de/PREP\n",
            "  38/NUM\n",
            "  jardas/N\n",
            "  ,/,\n",
            "  e/KC\n",
            "  o/ART\n",
            "  time/N\n",
            "  de/PREP\n",
            "  (NP Nova/NPROP York/NPROP)\n",
            "  entrou/V\n",
            "  novamente/ADV\n",
            "  na/NPROP\n",
            "  red/N|EST\n",
            "  zone/N\n",
            "  ./.\n",
            "  Com/PREP\n",
            "  a/ART\n",
            "  bola/N\n",
            "  na/NPROP\n",
            "  linha/N\n",
            "  de/PREP\n",
            "  14/NUM\n",
            "  jardas/N\n",
            "  dos/NPROP\n",
            "  Patriots/N\n",
            "  ,/,\n",
            "  os/ART\n",
            "  Giants/NPROP\n",
            "  sofreram/V\n",
            "  um/ART\n",
            "  revés/N\n",
            "  ./.\n",
            "  Manning/NPROP\n",
            "  passou/V\n",
            "  para/PREP\n",
            "  (NP Steve/NPROP Smith/NPROP)\n",
            "  ,/,\n",
            "  que/PRO-KS-REL\n",
            "  soltou/V\n",
            "  a/ART\n",
            "  bola/N\n",
            "  ./.\n",
            "  Ellis/NPROP\n",
            "  Hobbs/N\n",
            "  aproveitou/V\n",
            "  ,/,\n",
            "  tomou/V\n",
            "  a/ART\n",
            "  posse/N\n",
            "  para/PREP\n",
            "  os/ART\n",
            "  Patriots/N\n",
            "  ,/,\n",
            "  e/KC\n",
            "  avançou/V\n",
            "  23/NUM\n",
            "  jardas/N\n",
            "  ./.\n",
            "  A/ART\n",
            "  defesa/N\n",
            "  de/PREP\n",
            "  (NP Nova/NPROP York/NPROP)\n",
            "  manteve/V\n",
            "  o/ART\n",
            "  jogo/N\n",
            "  equilibrado/PCP\n",
            "  ./.\n",
            "  Com/PREP\n",
            "  dois/NUM\n",
            "  sacks/N\n",
            "  seguidos/PCP\n",
            "  ,/,\n",
            "  os/ART\n",
            "  Giants/NPROP\n",
            "  forçaram/V\n",
            "  o/ART\n",
            "  punt/N\n",
            "  e/KC\n",
            "  recuperaram/N\n",
            "  a/ART\n",
            "  bola/N\n",
            "  ./.\n",
            "  Mas/KC\n",
            "  a/ART\n",
            "  campanha/N\n",
            "  seguinte/ADJ\n",
            "  provou/V\n",
            "  ser/VAUX\n",
            "  outra/PROADJ\n",
            "  decepção/N\n",
            "  para/PREP\n",
            "  (NP Nova/NPROP York/NPROP)\n",
            "  ./.\n",
            "  O/ART\n",
            "  time/N\n",
            "  chegou/V\n",
            "  à/NPROP\n",
            "  linha/N\n",
            "  de/PREP\n",
            "  25/NUM\n",
            "  jardas/N\n",
            "  ,/,\n",
            "  mas/KC\n",
            "  Manning/NPROP\n",
            "  sofreu/V\n",
            "  um/ART\n",
            "  sack/N\n",
            "  e/KC\n",
            "  cometeu/V\n",
            "  um/ART\n",
            "  fumble/N|EST\n",
            "  ,/,\n",
            "  e/KC\n",
            "  o/ART\n",
            "  ataque/N\n",
            "  voltou/V\n",
            "  para/PREP\n",
            "  a/ART\n",
            "  linha/N\n",
            "  de/PREP\n",
            "  39/NUM\n",
            "  jardas/N\n",
            "  ,/,\n",
            "  não/ADV\n",
            "  conseguindo/V\n",
            "  pontuar/N\n",
            "  mais/ADV\n",
            "  uma/ART\n",
            "  vez/N\n",
            "  ./.\n",
            "  Os/ART\n",
            "  Patriots/N\n",
            "  tiveram/V\n",
            "  uma/ART\n",
            "  última/ADJ\n",
            "  chance/N\n",
            "  de/PREP\n",
            "  marcar/V\n",
            "  antes/ADV\n",
            "  do/NPROP\n",
            "  intervalo/N\n",
            "  ,/,\n",
            "  mas/KC\n",
            "  ,/,\n",
            "  a/ART\n",
            "  22/NUM\n",
            "  segundos/N\n",
            "  do/NPROP\n",
            "  fim/N\n",
            "  do/NPROP\n",
            "  segundo/PREP\n",
            "  período/N\n",
            "  ,/,\n",
            "  Brady/NPROP\n",
            "  foi/VAUX\n",
            "  novamente/ADV\n",
            "  sacado/PCP\n",
            "  ./.\n",
            "  Desta/ADV\n",
            "  vez/N\n",
            "  ,/,\n",
            "  ele/PROPESS\n",
            "  cometeu/V\n",
            "  o/ART\n",
            "  fumble/N|EST\n",
            "  e/KC\n",
            "  os/ART\n",
            "  Giants/NPROP\n",
            "  tomaram/V\n",
            "  a/ART\n",
            "  posse/N\n",
            "  de/PREP\n",
            "  bola/N\n",
            "  ./.\n",
            "  Manning/NPROP\n",
            "  tentou/V\n",
            "  um/ART\n",
            "  passe/N\n",
            "  longo/ADJ\n",
            "  ,/,\n",
            "  de/PREP\n",
            "  50/NUM\n",
            "  jardas/N\n",
            "  ,/,\n",
            "  nos/PROPESS\n",
            "  últimos/ADJ\n",
            "  segundos/N\n",
            "  ,/,\n",
            "  mas/KC\n",
            "  não/ADV\n",
            "  teve/V\n",
            "  sucesso/N\n",
            "  ./.\n",
            "  O/ART\n",
            "  jogo/N\n",
            "  continuou/V\n",
            "  amarrado/PCP\n",
            "  no/KC\n",
            "  terceiro/ADJ\n",
            "  quarto/N\n",
            "  ,/,\n",
            "  com/PREP\n",
            "  as/ART\n",
            "  defesas/N\n",
            "  levando/V\n",
            "  a/ART\n",
            "  melhor/ADJ\n",
            "  sobre/PREP\n",
            "  os/ART\n",
            "  ataques/N\n",
            "  ./.\n",
            "  A/ART\n",
            "  única/ADJ\n",
            "  chance/N\n",
            "  de/PREP\n",
            "  pontuar/N\n",
            "  do/NPROP\n",
            "  período/N\n",
            "  foi/VAUX\n",
            "  dos/NPROP\n",
            "  Patriots/N\n",
            "  ,/,\n",
            "  que/PRO-KS-REL\n",
            "  chegaram/V\n",
            "  à/NPROP\n",
            "  linha/N\n",
            "  de/PREP\n",
            "  31/NUM\n",
            "  jardas/N\n",
            "  (NP dos/NPROP Giants/NPROP)\n",
            "  ./.\n",
            "  O/ART\n",
            "  técnico/N\n",
            "  Bill/NPROP\n",
            "  Bellichick/N\n",
            "  ,/,\n",
            "  porém/KC\n",
            "  ,/,\n",
            "  optou/V\n",
            "  por/PREP|+\n",
            "  uma/ART\n",
            "  quarta/N\n",
            "  descida/N\n",
            "  em/PREP|+\n",
            "  vez/N\n",
            "  de/PREP\n",
            "  um/ART\n",
            "  field/N|EST\n",
            "  goal/N|EST\n",
            "  ./.\n",
            "  Brady/NPROP\n",
            "  tentou/V\n",
            "  um/ART\n",
            "  passe/N\n",
            "  para/PREP\n",
            "  Jabar/N\n",
            "  Gaffney/N\n",
            "  ,/,\n",
            "  mas/KC\n",
            "  não/ADV\n",
            "  conseguiu/V\n",
            "  completar/V\n",
            "  ./.\n",
            "  O/ART\n",
            "  último/ADJ\n",
            "  período/N\n",
            "  começou/VAUX\n",
            "  arrasador/N\n",
            "  para/PREP\n",
            "  os/ART\n",
            "  Giants/NPROP\n",
            "  ./.\n",
            "  na/NPROP\n",
            "  primeira/ADJ\n",
            "  jogada/N\n",
            "  ,/,\n",
            "  Manning/NPROP\n",
            "  achou/V\n",
            "  o/ART\n",
            "  tight/N\n",
            "  end/N\n",
            "  Kevin/NPROP\n",
            "  Boss/N\n",
            "  ,/,\n",
            "  para/PREP\n",
            "  um/ART\n",
            "  incrível/ADJ\n",
            "  avanço/N\n",
            "  de/PREP\n",
            "  45/NUM\n",
            "  jardas/N\n",
            "  ,/,\n",
            "  que/PRO-KS-REL\n",
            "  deixou/V\n",
            "  o/ART\n",
            "  time/N\n",
            "  na/NPROP\n",
            "  linha/N\n",
            "  de/PREP\n",
            "  35/NUM\n",
            "  dos/NPROP\n",
            "  Patriots/N\n",
            "  ./.\n",
            "  Outro/PROADJ\n",
            "  lançamento/N\n",
            "  ,/,\n",
            "  desta/PROADJ\n",
            "  vez/N\n",
            "  para/PREP\n",
            "  (NP Steve/NPROP Smith/NPROP)\n",
            "  ,/,\n",
            "  marcou/V\n",
            "  o/ART\n",
            "  avanço/N\n",
            "  até/PREP\n",
            "  a/ART\n",
            "  linha/N\n",
            "  de/PREP\n",
            "  12/NUM\n",
            "  jardas/N\n",
            "  ./.\n",
            "  Duas/NUM\n",
            "  jogadas/N\n",
            "  depois/ADV\n",
            "  ,/,\n",
            "  David/NPROP\n",
            "  Tyree/N\n",
            "  pegou/V\n",
            "  um/ART\n",
            "  passe/N\n",
            "  de/PREP\n",
            "  cinco/NUM\n",
            "  jardas/N\n",
            "  na/NPROP\n",
            "  end/N\n",
            "  zone/N\n",
            "  para/PREP\n",
            "  anotar/V\n",
            "  o/ART\n",
            "  touchdown/N|EST\n",
            "  e/KC\n",
            "  virar/V\n",
            "  o/ART\n",
            "  jogo/N\n",
            "  ./.\n",
            "  Na/NPROP\n",
            "  hora/N\n",
            "  da/NPROP\n",
            "  decisão/N\n",
            "  ,/,\n",
            "  o/ART\n",
            "  ataque/N\n",
            "  dos/NPROP\n",
            "  Patriots/N\n",
            "  voltou/V\n",
            "  a/ART\n",
            "  funcionar/V\n",
            "  ./.\n",
            "  Com/PREP\n",
            "  uma/ART\n",
            "  série/N\n",
            "  de/PREP\n",
            "  passes/N\n",
            "  curtos/ADJ\n",
            "  e/KC\n",
            "  variados/PCP\n",
            "  ,/,\n",
            "  Brady/NPROP\n",
            "  achou/V\n",
            "  Wes/N\n",
            "  Welker/N\n",
            "  ,/,\n",
            "  (NP Randy/NPROP Moss/NPROP)\n",
            "  e/KC\n",
            "  Kevin/NPROP\n",
            "  Faulk/N\n",
            "  seguidas/PCP\n",
            "  vezes/N\n",
            "  até/PREP\n",
            "  chegar/V\n",
            "  à/NPROP\n",
            "  red/N|EST\n",
            "  zone/N\n",
            "  ./.\n",
            "  A/ART\n",
            "  2m45s/N\n",
            "  do/NPROP\n",
            "  fim/N\n",
            "  ,/,\n",
            "  o/ART\n",
            "  quarterback/N|EST\n",
            "  conectou/N\n",
            "  mais/ADV\n",
            "  uma/ART\n",
            "  vez/N\n",
            "  com/PREP\n",
            "  Moss/NPROP\n",
            "  ,/,\n",
            "  que/PRO-KS-REL\n",
            "  se/PROPESS\n",
            "  desmarcou/N\n",
            "  e/KC\n",
            "  ficou/V\n",
            "  livre/ADJ\n",
            "  na/NPROP\n",
            "  lateral/N\n",
            "  direita/N\n",
            "  da/NPROP\n",
            "  end/N\n",
            "  zone/N\n",
            "  ./.\n",
            "  Quando/KS\n",
            "  os/ART\n",
            "  fãs/N\n",
            "  de/PREP\n",
            "  (NP New/NPROP England/NPROP)\n",
            "  já/ADV\n",
            "  comemoravam/V\n",
            "  a/ART\n",
            "  vitória/N\n",
            "  ,/,\n",
            "  o/ART\n",
            "  inesperado/ADJ\n",
            "  aconteceu/V\n",
            "  ./.\n",
            "  Em/PREP|+\n",
            "  uma/ART\n",
            "  jogada/N\n",
            "  incrível/ADJ\n",
            "  ,/,\n",
            "  (NP Eli/NPROP Manning/NPROP)\n",
            "  se/PROPESS\n",
            "  soltou/V\n",
            "  de/PREP\n",
            "  dois/NUM\n",
            "  marcadores/N\n",
            "  que/PRO-KS-REL\n",
            "  o/ART\n",
            "  seguravam/N\n",
            "  pela/NPROP\n",
            "  camisa/N\n",
            "  e/KC\n",
            "  ,/,\n",
            "  na/NPROP\n",
            "  corrida/N\n",
            "  ,/,\n",
            "  lançou/V\n",
            "  para/PREP\n",
            "  Amani/N\n",
            "  Toomer/N\n",
            "  ./.\n",
            "  O/ART\n",
            "  wide/N|EST\n",
            "  receiver/N\n",
            "  ,/,\n",
            "  bem/ADV\n",
            "  marcado/PCP\n",
            "  ,/,\n",
            "  saltou/V\n",
            "  e/KC\n",
            "  conseguiu/V\n",
            "  a/ART\n",
            "  fazer/V\n",
            "  recepção/N\n",
            "  para/PREP\n",
            "  um/ART\n",
            "  avanço/N\n",
            "  de/PREP\n",
            "  32/NUM\n",
            "  jardas/N\n",
            "  ,/,\n",
            "  deixando/V\n",
            "  os/ART\n",
            "  (NP Giants/NPROP na/NPROP)\n",
            "  linha/N\n",
            "  de/PREP\n",
            "  24/NUM\n",
            "  de/PREP\n",
            "  (NP New/NPROP England/NPROP)\n",
            "  ./.\n",
            "  Quatro/NUM\n",
            "  jogadas/N\n",
            "  depois/ADV\n",
            "  ,/,\n",
            "  a/ART\n",
            "  39/NUM\n",
            "  segundos/N\n",
            "  do/NPROP\n",
            "  fim/N\n",
            "  ,/,\n",
            "  Manning/NPROP\n",
            "  achou/V\n",
            "  Plaxico/N\n",
            "  Burress/N\n",
            "  na/NPROP\n",
            "  end/N\n",
            "  zone/N\n",
            "  para/PREP\n",
            "  conseguir/V\n",
            "  o/ART\n",
            "  touchdown/N|EST\n",
            "  do/NPROP\n",
            "  título/N\n",
            "  ./.)\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "8lTb6zXYtc9V"
      },
      "source": [
        "*A aula ocorreu no dia 12 de maio de 2021, das 14h às 18h.*"
      ]
    }
  ]
}