malaya_tatabahasa.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "c:\\Users\\User\\myenv\\lib\\site-packages\\malaya_boilerplate\\frozen_graph.py:28: UserWarning: Cannot import beam_search_ops from Tensorflow Addons, `deep_model` for stemmer will not available to use, make sure Tensorflow Addons version >= 0.12.0\n",
      "  warnings.warn(\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: total: 3.95 s\n",
      "Wall time: 4.68 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "import malaya\n",
    "import tweepy\n",
    "import pandas as pd\n",
    "import re   \n",
    "from dotenv import load_dotenv\n",
    "import os"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Load Twitter API consumer and secret keys from .env\n",
    "load_dotenv()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "consumer_key = os.getenv('CONSUMER_KEY')\n",
    "consumer_secret = os.getenv('CONSUMER_SECRET')\n",
    "access_token = os.getenv('ACCESS_SECRET')\n",
    "access_token_secret = os.getenv('ACCESS_TOKEN_SECRET')\n",
    "\n",
    "auth=tweepy.OAuthHandler(consumer_key,consumer_secret)\n",
    "auth.set_access_token(access_token,access_token_secret)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "api=tweepy.API(auth)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "# from:{twitter user @} to search tweets from the author\n",
    "keywords=\"from:MySamudera\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1)Wajib tahu, jika anda kemalangan &amp; tuntutan yg anda boleh buat, tahu hak kita 💪\n",
      "\n",
      "Lanjut di: https://t.co/CWLfterIBn \n",
      "\n",
      "2)Nomura menyifatkan langkah itu bakal memberi kesan buruk di seluruh Asia: \n",
      "\n",
      "https://t.co/FlsMpKXkbv \n",
      "\n",
      "3)Tamat Pengajian Dengan Cemerlang, Ini Wanita Malaysia Pertama Diterima Masuk Ke Akademi Tentera Laut AS..\n",
      "\n",
      "Kisah datuknya yg dulu pernah menerbangkan Helikopter Nuri di utara Malaysia pada 1980an ketika pemberontakan kedua berlaku menjadi inspirasi Janushaa.. 👇🏻 https://t.co/ZgxzW3CtWn \n",
      "\n",
      "4)Kementerian Haji dan Umrah Saudi telah memperkenalkan Maqam, sebuah platform yang membenarkan jemaah luar membuat tempahan umrah dan mendapatkan visa secara atas talian.\n",
      "\n",
      "Baca di: https://t.co/weG3eKHPHe \n",
      "\n",
      "5)Hari ini ramai yang tertanya-tanya, boleh ke cakap RIP jika ada kawan bukan Muslim meninggal?\n",
      ".\n",
      "“Kita pakai pandangan mufti kita,” tegas Menteri di Jabatan Perdana Menteri (Hal Ehwal Agama) Datuk Hj Idris Ahmad. https://t.co/nl55s1s52N \n",
      "\n",
      "6)Laporan Pertubuhan Kesihatan Dunia (WHO)  menunjukkan bahawa 1 dari 3 penduduk dunia tidak mempunyai akses kepada air bersih.\n",
      "\n",
      "Baca di: https://t.co/GhVweDKcO3 \n",
      "\n",
      "7)November ini, hati-hati semua 😭 \n",
      "\n",
      "https://t.co/3EXVx234H3 \n",
      "\n",
      "8)Gempa bumi berukuran 7.6 skala Richter menggegarkan pantai Pasifik tengah Mexico semalam menyebabkan sekurang-kurangnya seorang terbunuh: https://t.co/ugtbUwnNcE \n",
      "\n",
      "9)Kecoh dua tiga hari ini tentang dunia yang dijangka akan terjerumus ke dalam kemelesetan pada 2023.\n",
      ".\n",
      "Bank Dunia juga beri amaran, bank-bank pusat di seluruh global secara serentak menaikkan kadar faedah untuk bertindak balas terhadap inflasi. https://t.co/7KCYmaa8Nd \n",
      "\n",
      "10)Rohingya mengaku membayar antara RM5,000 hingga RM7,000 kepada ejen bagi urusan dapatkan kad UNHCR: https://t.co/NBogBbLqnz \n",
      "\n"
     ]
    }
   ],
   "source": [
    "# Search tweets\n",
    "public_tweets=api.search_tweets(keywords+' exclude:retweets exclude:replies',count='10',tweet_mode=\"extended\")\n",
    "i=1\n",
    "for tweet in public_tweets:\n",
    "    print(str(i)+')'+tweet.full_text+\" \\n\")\n",
    "    i=i+1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Tweets</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Wajib tahu, jika anda kemalangan &amp;amp; tuntutan yg anda boleh buat, tahu hak kita 💪\\n\\nLanjut di: https://t.co/CWLfterIBn</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Nomura menyifatkan langkah itu bakal memberi kesan buruk di seluruh Asia: \\n\\nhttps://t.co/FlsMpKXkbv</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Tamat Pengajian Dengan Cemerlang, Ini Wanita Malaysia Pertama Diterima Masuk Ke Akademi Tentera Laut AS..\\n\\nKisah datuknya yg dulu pernah menerbangkan Helikopter Nuri di utara Malaysia pada 1980an ketika pemberontakan kedua berlaku menjadi inspirasi Janushaa.. 👇🏻 https://t.co/ZgxzW3CtWn</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Kementerian Haji dan Umrah Saudi telah memperkenalkan Maqam, sebuah platform yang membenarkan jemaah luar membuat tempahan umrah dan mendapatkan visa secara atas talian.\\n\\nBaca di: https://t.co/weG3eKHPHe</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Hari ini ramai yang tertanya-tanya, boleh ke cakap RIP jika ada kawan bukan Muslim meninggal?\\n.\\n“Kita pakai pandangan mufti kita,” tegas Menteri di Jabatan Perdana Menteri (Hal Ehwal Agama) Datuk Hj Idris Ahmad. https://t.co/nl55s1s52N</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                                                                                                                                                                                                                                             Tweets\n",
       "0                                                                                                                                                                         Wajib tahu, jika anda kemalangan &amp; tuntutan yg anda boleh buat, tahu hak kita 💪\\n\\nLanjut di: https://t.co/CWLfterIBn\n",
       "1                                                                                                                                                                                             Nomura menyifatkan langkah itu bakal memberi kesan buruk di seluruh Asia: \\n\\nhttps://t.co/FlsMpKXkbv\n",
       "2  Tamat Pengajian Dengan Cemerlang, Ini Wanita Malaysia Pertama Diterima Masuk Ke Akademi Tentera Laut AS..\\n\\nKisah datuknya yg dulu pernah menerbangkan Helikopter Nuri di utara Malaysia pada 1980an ketika pemberontakan kedua berlaku menjadi inspirasi Janushaa.. 👇🏻 https://t.co/ZgxzW3CtWn\n",
       "3                                                                                     Kementerian Haji dan Umrah Saudi telah memperkenalkan Maqam, sebuah platform yang membenarkan jemaah luar membuat tempahan umrah dan mendapatkan visa secara atas talian.\\n\\nBaca di: https://t.co/weG3eKHPHe\n",
       "4                                                     Hari ini ramai yang tertanya-tanya, boleh ke cakap RIP jika ada kawan bukan Muslim meninggal?\\n.\\n“Kita pakai pandangan mufti kita,” tegas Menteri di Jabatan Perdana Menteri (Hal Ehwal Agama) Datuk Hj Idris Ahmad. https://t.co/nl55s1s52N"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pd.set_option('display.max_colwidth', None)\n",
    "df = pd.DataFrame([tweet.full_text for tweet in public_tweets], columns=['Tweets'])\n",
    "\n",
    "# Show 5 rows of data\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Tweets</th>\n",
       "      <th>name_length</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Wajib tahu, jika anda kemalangan &amp;amp; tuntutan yg anda boleh buat, tahu hak kita 💪\\n\\nLanjut di:</td>\n",
       "      <td>96</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Nomura menyifatkan langkah itu bakal memberi kesan buruk di seluruh Asia: \\n\\n</td>\n",
       "      <td>76</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Tamat Pengajian Dengan Cemerlang, Ini Wanita Malaysia Pertama Diterima Masuk Ke Akademi Tentera Laut AS..\\n\\nKisah datuknya yg dulu pernah menerbangkan Helikopter Nuri di utara Malaysia pada 1980an ketika pemberontakan kedua berlaku menjadi inspirasi Janushaa.. 👇🏻</td>\n",
       "      <td>263</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Kementerian Haji dan Umrah Saudi telah memperkenalkan Maqam, sebuah platform yang membenarkan jemaah luar membuat tempahan umrah dan mendapatkan visa secara atas talian.\\n\\nBaca di:</td>\n",
       "      <td>180</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Hari ini ramai yang tertanya-tanya, boleh ke cakap RIP jika ada kawan bukan Muslim meninggal?\\n.\\n“Kita pakai pandangan mufti kita,” tegas Menteri di Jabatan Perdana Menteri (Hal Ehwal Agama) Datuk Hj Idris Ahmad.</td>\n",
       "      <td>212</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                                                                                                                                                                                                                      Tweets  \\\n",
       "0                                                                                                                                                                         Wajib tahu, jika anda kemalangan &amp; tuntutan yg anda boleh buat, tahu hak kita 💪\\n\\nLanjut di:    \n",
       "1                                                                                                                                                                                             Nomura menyifatkan langkah itu bakal memberi kesan buruk di seluruh Asia: \\n\\n   \n",
       "2  Tamat Pengajian Dengan Cemerlang, Ini Wanita Malaysia Pertama Diterima Masuk Ke Akademi Tentera Laut AS..\\n\\nKisah datuknya yg dulu pernah menerbangkan Helikopter Nuri di utara Malaysia pada 1980an ketika pemberontakan kedua berlaku menjadi inspirasi Janushaa.. 👇🏻    \n",
       "3                                                                                     Kementerian Haji dan Umrah Saudi telah memperkenalkan Maqam, sebuah platform yang membenarkan jemaah luar membuat tempahan umrah dan mendapatkan visa secara atas talian.\\n\\nBaca di:    \n",
       "4                                                     Hari ini ramai yang tertanya-tanya, boleh ke cakap RIP jika ada kawan bukan Muslim meninggal?\\n.\\n“Kita pakai pandangan mufti kita,” tegas Menteri di Jabatan Perdana Menteri (Hal Ehwal Agama) Datuk Hj Idris Ahmad.    \n",
       "\n",
       "   name_length  \n",
       "0           96  \n",
       "1           76  \n",
       "2          263  \n",
       "3          180  \n",
       "4          212  "
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# filter columns\n",
    "def cleanTweet(tweet):\n",
    "    # remove hyperlinks \n",
    "    tweet= re.sub(r'https?:\\/\\/\\S+','',tweet)\n",
    "    return tweet\n",
    "\n",
    "df['Tweets']=df['Tweets'].apply(cleanTweet)\n",
    "df['name_length'] = df['Tweets'].str.len()\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Size (MB)</th>\n",
       "      <th>Quantized Size (MB)</th>\n",
       "      <th>WER</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>t5</th>\n",
       "      <td>1250.0</td>\n",
       "      <td>481.00</td>\n",
       "      <td>0.017890</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>small-t5</th>\n",
       "      <td>355.6</td>\n",
       "      <td>195.00</td>\n",
       "      <td>0.018797</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>tiny-t5</th>\n",
       "      <td>208.0</td>\n",
       "      <td>103.00</td>\n",
       "      <td>0.032804</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>super-tiny-t5</th>\n",
       "      <td>81.8</td>\n",
       "      <td>27.10</td>\n",
       "      <td>0.035114</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3x-super-tiny-t5</th>\n",
       "      <td>18.3</td>\n",
       "      <td>4.46</td>\n",
       "      <td>0.036762</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                  Size (MB)  Quantized Size (MB)       WER\n",
       "t5                   1250.0               481.00  0.017890\n",
       "small-t5              355.6               195.00  0.018797\n",
       "tiny-t5               208.0               103.00  0.032804\n",
       "super-tiny-t5          81.8                27.10  0.035114\n",
       "3x-super-tiny-t5       18.3                 4.46  0.036762"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# List available Transformer models\n",
    "malaya.tatabahasa.available_transformer()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Load transformer model (small-t5)\n",
    "model = malaya.tatabahasa.transformer(model = 'small-t5')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Tweets</th>\n",
       "      <th>name_length</th>\n",
       "      <th>Transformed_Tweets</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Wajib tahu, jika anda kemalangan &amp;amp; tuntutan yg anda boleh buat, tahu hak kita 💪\\n\\nLanjut di:</td>\n",
       "      <td>96</td>\n",
       "      <td>[Wajib tahu , jika anda kemalangan &amp; tuntutan yg anda boleh buat , tahu hak kita  ⁇  Lanjut di :]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Nomura menyifatkan langkah itu bakal memberi kesan buruk di seluruh Asia: \\n\\n</td>\n",
       "      <td>76</td>\n",
       "      <td>[Nomura menyifatkan langkah itu bakal memberi kesan buruk di seluruh Asia .]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Tamat Pengajian Dengan Cemerlang, Ini Wanita Malaysia Pertama Diterima Masuk Ke Akademi Tentera Laut AS..\\n\\nKisah datuknya yg dulu pernah menerbangkan Helikopter Nuri di utara Malaysia pada 1980an ketika pemberontakan kedua berlaku menjadi inspirasi Janushaa.. 👇🏻</td>\n",
       "      <td>263</td>\n",
       "      <td>[Tamat Pengajian Dengan Cemerlang , Ini Wanita Malaysia Pertama Diterima Masuk Ke Akademi Tentera Laut AS . . Kisah datuknya yg dulu pernah menerbangkan Helikopter Nuri di utara Malaysia pada 1 9 8 0 an ketika pemberontakan kedua berlaku menjadi inspirasi Janushaa . .  ⁇   ⁇ ]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Kementerian Haji dan Umrah Saudi telah memperkenalkan Maqam, sebuah platform yang membenarkan jemaah luar membuat tempahan umrah dan mendapatkan visa secara atas talian.\\n\\nBaca di:</td>\n",
       "      <td>180</td>\n",
       "      <td>[Kementerian Haji dan Umrah Saudi telah memperkenalkan Maqam , sebuah platform yang membenarkan jemaah luar membuat tempahan umrah dan mendapatkan visa secara atas talian . Baca di :]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Hari ini ramai yang tertanya-tanya, boleh ke cakap RIP jika ada kawan bukan Muslim meninggal?\\n.\\n“Kita pakai pandangan mufti kita,” tegas Menteri di Jabatan Perdana Menteri (Hal Ehwal Agama) Datuk Hj Idris Ahmad.</td>\n",
       "      <td>212</td>\n",
       "      <td>[Hari ini ramai yang tertanya-tanya , boleh ke cakap RIP jika ada orang bukan Muslim meninggal . .  ⁇  Kita pakai pandangan mufti kita ,  ⁇  tegas Menteri di Jabatan Perdana Menteri ( Hal Ehwal Agama ) Datuk Hj Idris Ahmad .]</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                                                                                                                                                                                                                      Tweets  \\\n",
       "0                                                                                                                                                                         Wajib tahu, jika anda kemalangan &amp; tuntutan yg anda boleh buat, tahu hak kita 💪\\n\\nLanjut di:    \n",
       "1                                                                                                                                                                                             Nomura menyifatkan langkah itu bakal memberi kesan buruk di seluruh Asia: \\n\\n   \n",
       "2  Tamat Pengajian Dengan Cemerlang, Ini Wanita Malaysia Pertama Diterima Masuk Ke Akademi Tentera Laut AS..\\n\\nKisah datuknya yg dulu pernah menerbangkan Helikopter Nuri di utara Malaysia pada 1980an ketika pemberontakan kedua berlaku menjadi inspirasi Janushaa.. 👇🏻    \n",
       "3                                                                                     Kementerian Haji dan Umrah Saudi telah memperkenalkan Maqam, sebuah platform yang membenarkan jemaah luar membuat tempahan umrah dan mendapatkan visa secara atas talian.\\n\\nBaca di:    \n",
       "4                                                     Hari ini ramai yang tertanya-tanya, boleh ke cakap RIP jika ada kawan bukan Muslim meninggal?\\n.\\n“Kita pakai pandangan mufti kita,” tegas Menteri di Jabatan Perdana Menteri (Hal Ehwal Agama) Datuk Hj Idris Ahmad.    \n",
       "\n",
       "   name_length  \\\n",
       "0           96   \n",
       "1           76   \n",
       "2          263   \n",
       "3          180   \n",
       "4          212   \n",
       "\n",
       "                                                                                                                                                                                                                                                                      Transformed_Tweets  \n",
       "0                                                                                                                                                                                      [Wajib tahu , jika anda kemalangan & tuntutan yg anda boleh buat , tahu hak kita  ⁇  Lanjut di :]  \n",
       "1                                                                                                                                                                                                           [Nomura menyifatkan langkah itu bakal memberi kesan buruk di seluruh Asia .]  \n",
       "2  [Tamat Pengajian Dengan Cemerlang , Ini Wanita Malaysia Pertama Diterima Masuk Ke Akademi Tentera Laut AS . . Kisah datuknya yg dulu pernah menerbangkan Helikopter Nuri di utara Malaysia pada 1 9 8 0 an ketika pemberontakan kedua berlaku menjadi inspirasi Janushaa . .  ⁇   ⁇ ]  \n",
       "3                                                                                                [Kementerian Haji dan Umrah Saudi telah memperkenalkan Maqam , sebuah platform yang membenarkan jemaah luar membuat tempahan umrah dan mendapatkan visa secara atas talian . Baca di :]  \n",
       "4                                                      [Hari ini ramai yang tertanya-tanya , boleh ke cakap RIP jika ada orang bukan Muslim meninggal . .  ⁇  Kita pakai pandangan mufti kita ,  ⁇  tegas Menteri di Jabatan Perdana Menteri ( Hal Ehwal Agama ) Datuk Hj Idris Ahmad .]  "
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Predict using greedy decoder\n",
    "def getTransformer(tweet):\n",
    "    return model.greedy_decoder([tweet])\n",
    "\n",
    "# Apply predictions to original tweets\n",
    "df['Transformed_Tweets']= df['Tweets'].apply(getTransformer)\n",
    "\n",
    "# Show data\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0                                                                                                                                                                                        [Wajib tahu , jika anda kemalangan & tuntutan yg anda boleh buat , tahu hak kita  ⁇  Lanjut di :]\n",
      "1                                                                                                                                                                                                             [Nomura menyifatkan langkah itu bakal memberi kesan buruk di seluruh Asia .]\n",
      "2    [Tamat Pengajian Dengan Cemerlang , Ini Wanita Malaysia Pertama Diterima Masuk Ke Akademi Tentera Laut AS . . Kisah datuknya yg dulu pernah menerbangkan Helikopter Nuri di utara Malaysia pada 1 9 8 0 an ketika pemberontakan kedua berlaku menjadi inspirasi Janushaa . .  ⁇   ⁇ ]\n",
      "3                                                                                                  [Kementerian Haji dan Umrah Saudi telah memperkenalkan Maqam , sebuah platform yang membenarkan jemaah luar membuat tempahan umrah dan mendapatkan visa secara atas talian . Baca di :]\n",
      "4                                                        [Hari ini ramai yang tertanya-tanya , boleh ke cakap RIP jika ada orang bukan Muslim meninggal . .  ⁇  Kita pakai pandangan mufti kita ,  ⁇  tegas Menteri di Jabatan Perdana Menteri ( Hal Ehwal Agama ) Datuk Hj Idris Ahmad .]\n",
      "5                                                                                                                                              [Laporan Pertubuhan Kesihatan Dunia ( WHO ) menunjukkan bahawa 1 dari 3 penduduk dunia tidak mempunyai akses kepada air bersih . Baca di :]\n",
      "6                                                                                                                                                                                                                                                     [November ini , hati-hati semua  ⁇ ]\n",
      "7                                                                                                                                             [Gempa bumi berukuran 7.6 skala Richter menggegarkan pantai Pasifik tengah Mexico semalam menyebabkan sekurang-kurangnya seorang terbunuh .]\n",
      "8                              [Kecoh dua tiga hari ini tentang dunia yang dijangka akan terjerumus ke dalam kemelesetan pada 2023 . . Bank Dunia juga memberi amaran , bank-bank pusat di seluruh global secara serentak menaikkan kadar faedah untuk bertindak balas terhadap inflasi .]\n",
      "9                                                                                                                                                                                   [Rohingya mengaku membayar antara RM5,000 hingga RM7,000 kepada ejen bagi urusan dapatkan kad UNHCR .]\n",
      "Name: Transformed_Tweets, dtype: object\n"
     ]
    }
   ],
   "source": [
    "print(df['Transformed_Tweets'])"
   ]
  }
 ],
 "metadata": {
  "interpreter": {
   "hash": "83e5a59c838590404f8b65ce8fce0ae39738db65c435e0c3aa38504e105488ca"
  },
  "kernelspec": {
   "display_name": "Python 3.10.4 ('myenv')",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.6"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}