Poem_Scraping.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "HTML Scraping.ipynb",
      "provenance": [],
      "collapsed_sections": []
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    }
  },
  "cells": [
    {
      "cell_type": "code",
      "metadata": {
        "id": "eTMkDdJpOXI6"
      },
      "source": [
        "from lxml import html\n",
        "import requests\n",
        "import string\n",
        "import sys\n",
        "import json\n",
        "from lxml import etree\n",
        "\n",
        "\n",
        "class Poem:\n",
        "  def __init__(self, title, text, author):\n",
        "    self.title = title\n",
        "    self.text = text\n",
        "    self.author = author\n"
      ],
      "execution_count": 1,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "8iQmvOWYeeXs"
      },
      "source": [
        "def getPoemByPage(idURL, author, indexPage, subdomain):\n",
        "  linkURl = 'https://poem.tkaraoke.com/' + idURL + '/' + author + '/' + indexPage + '.' + subdomain\n",
        "  print(linkURl)\n",
        "  poemList = []\n",
        "\n",
        "  page = requests.get(linkURl)\n",
        "\n",
        "  tree = html.fromstring(page.text)\n",
        "\n",
        "  #This will create a list of buyers:\n",
        "  titles = tree.xpath('//a[@class=\"a-name-poem\"]/b/text()')\n",
        "  descripts = tree.xpath('//p[@class=\"p-poem-lyric\"]/text()')\n",
        "  author = tree.xpath('//a[@class=\"PoemAuthor\"]/text()')\n",
        "\n",
        "  for i in range(len(titles)):\n",
        "    title = titles[i]\n",
        "    descript = descripts[i]\n",
        "    poemObject = Poem(title, str(descript), str(author[0]))\n",
        "    #print('poemObject.__dict__',poemObject.__dict__)\n",
        "    poemList.append(poemObject.__dict__)\n",
        "    \n",
        "  print('number of poem in page ', indexPage, 'is: ', len(poemList))\n",
        "  return poemList\n",
        "\n",
        "def createJSON(objects):\n",
        "  jsonString = json.dumps(objects, ensure_ascii=False)\n",
        "  print('jsonString: ',jsonString) \n",
        "  "
      ],
      "execution_count": 2,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xixTwXAte-F1",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "a661fcb4-8f90-4dfe-cb54-1f08bc33c9ff"
      },
      "source": [
        "poemList = getPoemByPage('10005','Han_Mac_Tu','1-1','html')\n",
        "createJSON(poemList)"
      ],
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "https://poem.tkaraoke.com/10005/Han_Mac_Tu/1-1.html\n",
            "number of poem in page  1-1 is:  10\n",
            "jsonString:  [{\"title\": \"âm nhạc\", \"text\": \"Tinh hơn đồng trinh. Hừng qua hừng đông. Em mình nghe không. Im chưa nên đông. Say chưa ra lòng. Đều ngâm giấm cả . Màu nào sắp rã. Vồng nào sắp cao. Ánh nào tương giao. Muôn thương đều lắng. Nhấn nào khăn khắn...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"âm thầm\", \"text\": \"Từ gió xuân đi, gió hạ về. Anh thường gửi gắm mối tình quê. Bên em mỗi lúc trên đường cái. Hóng mát cho lòng được thỏa thuê! Em có ngờ đâu trong những đêm. Trăng ngà giãi bóng mặt hồ êm. Anh đi thơ thẩn như ngây dại...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"anh điên\", \"text\": \"Anh nằm ngoài sự thực \\r\\nEm ngồi trong chiêm bao \\r\\nCách nhau xa biết mấy \\r\\nNhớ thương quá thì sao? \\r\\n\\r\\nAnh nuốt phứt hàng chữ \\r\\nAnh cắn vỡ lời thơ \\r\\nAnh cắn cắn cắn cắn \\r\\nHơi thở đứt làm tư!\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"ave maria\", \"text\": \"Như song lộc triều nguyên: ơn phước cả, dâng cao dâng thần-nhạc sáng hơn trăng. Thơm-tho bay cho đến cõi Thiênđdàng. Huyềnđiệu biến thành muôn kinh trọng-thể. Và Tổng-lãnh Thiên-thần quỳ lạy Mẹ. Tung-hô câu đường-hạ...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"bài cửa sổ đêm khuya\", \"text\": \"Hoa cười nguyệt rọi cửa lồng gương. Lạ cảnh buồn thêm nỗi vấn vương. Tha thướt liễu in hồ gợn bóng. Hững hờ mai thoảng gió đưa hương. Xa người nhớ cảnh tình lai láng. Vắng bạn ngâm thơ rượu bẽ bàng. Qua lại yến ngàn dâu ủ...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"bắt chước\", \"text\": \"Để cho hoa gió thì thào. Để cho mây nước nôn nao. Quên câu thương nhớ rồi sao. Em ơi thế nghĩa là sao. Khi hương thơm kề lỗ miệng. Khi tình mới chạm vào nhau? Em ơi thế nghĩa là sao? Trăng đang nằm trên sóng cỏ. Cỏ...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"bến hàn giang\", \"text\": \"(Này đây lời ngọc song song). Này đây lời ngọc song song. Xin dâng muôn sóng tơ đồng vơi vơi. Xin dâng này máu đang tươi. Này đây nước mắt giọng cười theo nhau. Mới hay phong vị nhiệm màu. Môi chưa nhấp cạn, mạch sầu đã...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"bẽn lẽn\", \"text\": \"Trăng nằm sóng soải trên cành liễu. Đợi gió đông về để lả lơi. Hoa lá ngây tình không muốn động. Lòng em hồi hộp, chị Hằng ơi. Trong khóm vi vu rào rạt mãi. Tiếng lòng ai nói? Sao im đi? Ô kìa, bóng nguyệt trần...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"biển hồn ta\", \"text\": \"Máu tim ta tuôn ra làm bể cả. Mà sóng lòng rồn rập như mây trôi. Sóng lòng ta tràn lan ngoài xứ lạ. Dâng cao lên, cao tột tới trên trời. Ôi ta đã mửa ra từng búng huyết. Khi say sưa với lượn sóng triền miên. Khi...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"buồn ở đây\", \"text\": \"Rao rao gió thổi phương xa lại. Buồn đâu say ngấm áo xuân ai. Lay bay lời hát, ơ buồn lạ. E buồn trong mộng có đêm nay . Nắng sao như nắng đời xưa ấy. Nắng vàng con mắt thấy duyên đâu. Muốn gởi thương về người cổ độ...\", \"author\": \"Hàn Mặc Tử\"}]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "KMoafC4phO57",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "a90308d4-06cd-4a8e-d47f-35b2c1ea6a7a"
      },
      "source": [
        "import numpy as np\n",
        "numberOfPage = 2\n",
        "idURL = '10005'\n",
        "nameAuthor = 'Han_Mac_Tu'\n",
        "subdomain = 'html'\n",
        "\n",
        "allPoems = []\n",
        "for i in range(1, numberOfPage):\n",
        "  allPoems += getPoemByPage(idURL,nameAuthor, '2' + '-' + str(i),'html')\n",
        "\n",
        "createJSON(allPoems)\n"
      ],
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "https://poem.tkaraoke.com/10005/Han_Mac_Tu/2-1.html\n",
            "number of poem in page  2-1 is:  10\n",
            "jsonString:  [{\"title\": \"âm nhạc\", \"text\": \"Tinh hơn đồng trinh. Hừng qua hừng đông. Em mình nghe không. Im chưa nên đông. Say chưa ra lòng. Đều ngâm giấm cả . Màu nào sắp rã. Vồng nào sắp cao. Ánh nào tương giao. Muôn thương đều lắng. Nhấn nào khăn khắn...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"âm thầm\", \"text\": \"Từ gió xuân đi, gió hạ về. Anh thường gửi gắm mối tình quê. Bên em mỗi lúc trên đường cái. Hóng mát cho lòng được thỏa thuê! Em có ngờ đâu trong những đêm. Trăng ngà giãi bóng mặt hồ êm. Anh đi thơ thẩn như ngây dại...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"anh điên\", \"text\": \"Anh nằm ngoài sự thực \\r\\nEm ngồi trong chiêm bao \\r\\nCách nhau xa biết mấy \\r\\nNhớ thương quá thì sao? \\r\\n\\r\\nAnh nuốt phứt hàng chữ \\r\\nAnh cắn vỡ lời thơ \\r\\nAnh cắn cắn cắn cắn \\r\\nHơi thở đứt làm tư!\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"ave maria\", \"text\": \"Như song lộc triều nguyên: ơn phước cả, dâng cao dâng thần-nhạc sáng hơn trăng. Thơm-tho bay cho đến cõi Thiênđdàng. Huyềnđiệu biến thành muôn kinh trọng-thể. Và Tổng-lãnh Thiên-thần quỳ lạy Mẹ. Tung-hô câu đường-hạ...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"bài cửa sổ đêm khuya\", \"text\": \"Hoa cười nguyệt rọi cửa lồng gương. Lạ cảnh buồn thêm nỗi vấn vương. Tha thướt liễu in hồ gợn bóng. Hững hờ mai thoảng gió đưa hương. Xa người nhớ cảnh tình lai láng. Vắng bạn ngâm thơ rượu bẽ bàng. Qua lại yến ngàn dâu ủ...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"bắt chước\", \"text\": \"Để cho hoa gió thì thào. Để cho mây nước nôn nao. Quên câu thương nhớ rồi sao. Em ơi thế nghĩa là sao. Khi hương thơm kề lỗ miệng. Khi tình mới chạm vào nhau? Em ơi thế nghĩa là sao? Trăng đang nằm trên sóng cỏ. Cỏ...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"bến hàn giang\", \"text\": \"(Này đây lời ngọc song song). Này đây lời ngọc song song. Xin dâng muôn sóng tơ đồng vơi vơi. Xin dâng này máu đang tươi. Này đây nước mắt giọng cười theo nhau. Mới hay phong vị nhiệm màu. Môi chưa nhấp cạn, mạch sầu đã...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"bẽn lẽn\", \"text\": \"Trăng nằm sóng soải trên cành liễu. Đợi gió đông về để lả lơi. Hoa lá ngây tình không muốn động. Lòng em hồi hộp, chị Hằng ơi. Trong khóm vi vu rào rạt mãi. Tiếng lòng ai nói? Sao im đi? Ô kìa, bóng nguyệt trần...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"biển hồn ta\", \"text\": \"Máu tim ta tuôn ra làm bể cả. Mà sóng lòng rồn rập như mây trôi. Sóng lòng ta tràn lan ngoài xứ lạ. Dâng cao lên, cao tột tới trên trời. Ôi ta đã mửa ra từng búng huyết. Khi say sưa với lượn sóng triền miên. Khi...\", \"author\": \"Hàn Mặc Tử\"}, {\"title\": \"buồn ở đây\", \"text\": \"Rao rao gió thổi phương xa lại. Buồn đâu say ngấm áo xuân ai. Lay bay lời hát, ơ buồn lạ. E buồn trong mộng có đêm nay . Nắng sao như nắng đời xưa ấy. Nắng vàng con mắt thấy duyên đâu. Muốn gởi thương về người cổ độ...\", \"author\": \"Hàn Mặc Tử\"}]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "o7i-gbyttK4N",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "d1a63097-825d-41e9-9eba-b0de812b7475"
      },
      "source": [
        "class AuthorConfig:\n",
        "  def __init__(self, idURL, author, page):\n",
        "    self.idURL = idURL\n",
        "    self.author = author\n",
        "    self.page = page\n",
        "\n",
        "listAuthorRequest = []\n",
        "listAuthorRequest.append(AuthorConfig('10005','Han_Mac_Tu', 13)) #13\n",
        "listAuthorRequest.append(AuthorConfig('10012','Xuan_Dieu', 18)) #18\n",
        "listAuthorRequest.append(AuthorConfig('10003','Huy_Can', 6)) #6\n",
        "listAuthorRequest.append(AuthorConfig('10077','Ho_Xuan_Huong', 12)) #12\n",
        "listAuthorRequest.append(AuthorConfig('10102','Nguyen_Khuyen', 10)) #10\n",
        "listAuthorRequest.append(AuthorConfig('10019','Te_Hanh', 7)) #7\n",
        "listAuthorRequest.append(AuthorConfig('10704','Nguyen_Khoa_Diem', 5)) #5\n",
        "listAuthorRequest.append(AuthorConfig('10138','Ba_Huyen_Thanh_Quan', 3)) #3\n",
        "listAuthorRequest.append(AuthorConfig('10036','Xuan_Quynh', 8)) #8\n",
        "listAuthorRequest.append(AuthorConfig('10332','The_Lu', 3)) #3\n",
        "  \n",
        "allPoemsFinal = []\n",
        "\n",
        "for i in range(len(listAuthorRequest)):\n",
        "  authorConfig = listAuthorRequest[i]\n",
        "  print('authorConfig: ', authorConfig.author)\n",
        "  \n",
        "  poemByAuthor = []\n",
        "  for j in range(1, authorConfig.page):\n",
        "    poemByAuthor += getPoemByPage(authorConfig.idURL,authorConfig.author, '2' + '-' + str(j),'html')\n",
        "    \n",
        "  print('Total poem ', authorConfig.author, ' is: ', len(poemByAuthor))\n",
        "  allPoemsFinal += poemByAuthor\n",
        "\n",
        "createJSON(allPoemsFinal)"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "authorConfig:  Han_Mac_Tu\n",
            "https://poem.tkaraoke.com/10005/Han_Mac_Tu/2-1.html\n",
            "number of poem in page  2-1 is:  10\n",
            "https://poem.tkaraoke.com/10005/Han_Mac_Tu/2-2.html\n",
            "number of poem in page  2-2 is:  10\n",
            "https://poem.tkaraoke.com/10005/Han_Mac_Tu/2-3.html\n",
            "number of poem in page  2-3 is:  10\n",
            "https://poem.tkaraoke.com/10005/Han_Mac_Tu/2-4.html\n",
            "number of poem in page  2-4 is:  10\n",
            "https://poem.tkaraoke.com/10005/Han_Mac_Tu/2-5.html\n",
            "number of poem in page  2-5 is:  10\n",
            "https://poem.tkaraoke.com/10005/Han_Mac_Tu/2-6.html\n",
            "number of poem in page  2-6 is:  10\n",
            "https://poem.tkaraoke.com/10005/Han_Mac_Tu/2-7.html\n",
            "number of poem in page  2-7 is:  10\n",
            "https://poem.tkaraoke.com/10005/Han_Mac_Tu/2-8.html\n",
            "number of poem in page  2-8 is:  10\n",
            "https://poem.tkaraoke.com/10005/Han_Mac_Tu/2-9.html\n",
            "number of poem in page  2-9 is:  10\n",
            "https://poem.tkaraoke.com/10005/Han_Mac_Tu/2-10.html\n",
            "number of poem in page  2-10 is:  10\n",
            "https://poem.tkaraoke.com/10005/Han_Mac_Tu/2-11.html\n",
            "number of poem in page  2-11 is:  10\n",
            "https://poem.tkaraoke.com/10005/Han_Mac_Tu/2-12.html\n",
            "number of poem in page  2-12 is:  4\n",
            "Total poem  Han_Mac_Tu  is:  114\n",
            "authorConfig:  Xuan_Dieu\n",
            "https://poem.tkaraoke.com/10012/Xuan_Dieu/2-1.html\n",
            "number of poem in page  2-1 is:  10\n",
            "https://poem.tkaraoke.com/10012/Xuan_Dieu/2-2.html\n",
            "number of poem in page  2-2 is:  10\n",
            "https://poem.tkaraoke.com/10012/Xuan_Dieu/2-3.html\n",
            "number of poem in page  2-3 is:  10\n",
            "https://poem.tkaraoke.com/10012/Xuan_Dieu/2-4.html\n",
            "number of poem in page  2-4 is:  10\n",
            "https://poem.tkaraoke.com/10012/Xuan_Dieu/2-5.html\n",
            "number of poem in page  2-5 is:  10\n",
            "https://poem.tkaraoke.com/10012/Xuan_Dieu/2-6.html\n"
          ],
          "name": "stdout"
        }
      ]
    }
  ]
}