2023_Capston_FREE_Web_Scrapper.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/J1wanSeo/2023-Capstone-Web-Scrapper/blob/main/2023_Capston_FREE_Web_Scrapper.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# FREE Web Scrapper\n",
        "## Library LIST\n",
        " - BeautifulSoup4\n",
        " - request\n",
        " - os\n",
        " -\n",
        "from bs4 import BeautifulSoup\n",
        "from dateutil.parser import parse\n",
        "import datetime\n",
        "import urllib.request as req\n",
        "import telegram\n",
        "import requests\n",
        "import os\n",
        "import re\n",
        "import psycopg2"
      ],
      "metadata": {
        "id": "Z9KiwiyJu_jU"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Scrapper\n",
        "  - [ ] Making Selection of Libraries which could be used  \n",
        "  - [ ] Extracting informations from websites\n",
        "> 1. Search user input at websites\n",
        "> 2. Show the scrapped result which contains user inputs\n",
        "> 3. Choose favorite recipe including pictures\n",
        "  - [ ] Refine the data from extracted information\n",
        "> 1. Seperate detailed procedures w/ selective practices\n",
        "> 2.\n",
        "##\n",
        "***\n",
        "# Aduino\n",
        "- [ ]\n",
        "- [ ]"
      ],
      "metadata": {
        "id": "79OoRvN9vynV"
      }
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "Td6o0DGpugay"
      },
      "outputs": [],
      "source": [
        "from bs4 import BeautifulSoup\n",
        "from dateutil.parser import parse\n",
        "import datetime\n",
        "import urllib.request as req\n",
        "import requests\n",
        "import os\n",
        "import re\n",
        "# import psycopg2 # DataBase 종류 지정"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "#contents_area_full > ul > ul > li:nth-child(1) > div.common_sp_thumb > a\n",
        "#body > div:nth-child(31)\n",
        "#contents_area_full\n",
        "#contents_area_full > div.cont_ingre2\n",
        "#divConfirmedMaterialArea\n",
        "\n",
        "#조리순서 : #contents_area_full > div:nth-child(14)"
      ],
      "metadata": {
        "id": "vrcSUUAU--7f"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "search = input(\"검색어를 입력하세요: \")#y\n",
        "#url = # 위에서 받은 url\n",
        "url = 'https://www.10000recipe.com/recipe/list.html?q='+ str(search) # search가 string 인지 확인해야한다.\n",
        "title = []\n",
        "link = []\n",
        "flag = 1\n",
        "index = 0\n",
        "# url = 'https://www.10000recipe.com/recipe/list.html?q=간장'\n",
        "res = requests.get(url)\n",
        "if res.status_code == 200:\n",
        "  soup = BeautifulSoup(res.text, 'html.parser')\n",
        "  article_list = soup.select(\"#contents_area_full > ul > ul > li\")\n",
        "\n",
        "  for article in article_list:\n",
        "    title.append(article.select_one('div > div.common_sp_caption_tit').get_text())\n",
        "    link.append('https://www.10000recipe.com' + article.select_one('div.common_sp_thumb > a')['href'])\n",
        "    print('[' + str(index+1)  + ']  ' + str(title[index]))\n",
        "    index = 1 + index\n",
        "\n",
        "  while(flag):\n",
        "    try:\n",
        "      selection = input('어떤 레시피를 고르시겠습니까?: (숫자: 1 ~ 40)    ')\n",
        "      selected_title = title[int(selection)-1]\n",
        "      selected_link = str(link[int(selection)-1])\n",
        "\n",
        "    except IndexError:\n",
        "      print('올바른 값을 입력하십시오.')\n",
        "\n",
        "    else:\n",
        "      flag = 0\n",
        "      index = 0\n",
        "      print(selected_title + ' ' + selected_link)\n",
        "\n",
        "      selected_web = BeautifulSoup(requests.get(selected_link).text, 'html.parser')\n",
        "      ingredients = selected_web.select(\"div.cont_ingre2 > div.ready_ingre3 > ul > a\")\n",
        "      for ingredient in ingredients:\n",
        "        print(ingredient.select_one('li').get_text().replace('구매','').replace('\\n\\n',' ' ))\n",
        "\n",
        "\n",
        "      orders = selected_web.select(\"#contents_area_full > div.view_step > div \")\n",
        "      # print(orders)\n",
        "\n",
        "      for order in orders:\n",
        "        if order.select_one('div.media-body') is not None:\n",
        "          print('[' + str(index+1)  + ']  ' + order.select_one('div.media-body').get_text().strip())\n",
        "          print('')\n",
        "          index = 1 + index\n",
        "\n",
        "\n",
        "\n",
        "\n"
      ],
      "metadata": {
        "id": "sGSqGJi1u_Fc",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "c5c5927a-3512-407f-b480-95df80fa2ee0"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "검색어를 입력하세요: 달걀국\n",
            "[1]  달걀국 끓이는 법- 중국식계란탕 \n",
            "[2]  달걀국/계란국 : 세상에서 가장 간단하고 쉬운 국물 레시피 \n",
            "[3]  액젓으로 감칠맛이 업업! 초간단 계란국 / 달걀국\n",
            "[4]  포슬포슬 따끈한 감자계란국\n",
            "[5]  두부계란국 간단하면서 자극적이지 않아 좋아요 ♩\n",
            "[6]  간단하게 끓여 호로록 호로록 애호박계란국\n",
            "[7]  육수 없이 끓이는 감자달걀국(감자계란국)\n",
            "[8]  【초간단】계란국 만들기~\n",
            "[9]  간단하게 속편한 국 끓이기! 새우젓 연두부달걀국\n",
            "[10]  부추 계란국 끓이기\n",
            "[11]  순두부계란국\n",
            "[12]  감자계란국\n",
            "[13]  계란국 당면넣고 간단하게 만들기\n",
            "[14]  초간단 계란국 끓이는법(맛살 크래미 계란국)\n",
            "[15]  아침 메뉴로 추천추천bb 속을 든든하게 해주는 달걀국\n",
            "[16]  계란국 끓이기\n",
            "[17]  우리집 주말 밥상(감자계란국,양배추찜,민어구이)\n",
            "[18]  물만두달걀국 - 간단국으로 딱 좋은 메뉴\n",
            "[19]  간단자취요리 달걀국 만드는 법\n",
            "[20]  간단한 계란국 끓이는 법\n",
            "[21]  간단한 아침 국으로 부추 계란 국 끓이기\n",
            "[22]  초간단~황태달걀국!!!\n",
            "[23]  대파 계란국 간단하게 즐겨요~\n",
            "[24]  시원한 무채계란국 \n",
            "[25]  북어계란국 끓이기\n",
            "[26]  중국식계란탕! 크래미 넣은 게살스프(부드러운 계란국)\n",
            "[27]  진짜 ~초간단 식당보다 더 맛있는 토마토계란국(탕)입니다 \n",
            "[28]  순두부달걀국으로 따끈하게 속푸세요♥ \n",
            "[29]  국물 요리 황태 계란국\n",
            "[30]  계란국 달걀국 끓이는법 10분 완성\n",
            "[31]  아침에 간단하게 달걀국 만드는 법\n",
            "[32]  계란국 끓이기\n",
            "[33]  간단 계란국 끓이기\n",
            "[34]  5분이면 나오는 국이있다? 달걀국 만드는 법!\n",
            "[35]  계란국 끓이는법 간단하게 맛내는 비법 !\n",
            "[36]  달걀 국 간편하고 쉽게 끓이기\n",
            "[37]  두부계란국 \n",
            "[38]  계란국 감자 넣고 파실하게\n",
            "[39]  쉽다쉬워 계란국\n",
            "[40]  쉬운 한그릇 요리 ~ 얼큰 계란국 \n",
            "어떤 레시피를 고르시겠습니까?: (숫자: 1 ~ 40)    1\n",
            "달걀국 끓이는 법- 중국식계란탕  https://www.10000recipe.com/recipe/6880412\n",
            "달걀                                                         2개\n",
            "\n",
            "크래미(작은 사이즈)                                                         3개\n",
            "\n",
            "당근                                                         1줌\n",
            "\n",
            "스팸                                                         1줌\n",
            "\n",
            "새송이버섯                                                         2개\n",
            "\n",
            "양파                                                         1/3개\n",
            "\n",
            "대파                                                         1/2대\n",
            "\n",
            "진간장                                                         2\n",
            "\n",
            "굴 소스                                                         2\n",
            "\n",
            "소금                                                         \n",
            "\n",
            "후춧가루                                                         \n",
            "\n",
            "참기름                                                         1~2\n",
            "\n",
            "전분물                                                         \n",
            "\n",
            "물                                                         1000ml~\n",
            "\n",
            "[1]  계란탕에 넣을 재료는 비슷한 길이로 준비하심 된답니다.\n",
            "양파, 당근,새송이버섯, 햄은 채 썰고\n",
            "맛살은 손으로 찢어주고\n",
            "대파는 송송 썰어주세요.\n",
            "집에 표고버섯이 있으면 함께 넣어도 좋아요.\n",
            "\n",
            "[2]  냄비에 식용유 4를 두르고\n",
            "썰어 놓은 대파를 넣고 파기름을 만들어 줍니다\n",
            "\n",
            "[3]  파기름이 나오면 스팸을 넣고 함께 볶아주세요.\n",
            "\n",
            "[4]  곧이어 당근, 양파, 새송이버섯을 모두 넣고\n",
            "달달 볶아주다\n",
            "\n",
            "[5]  진간장 2 숟가락,\n",
            "\n",
            "[6]  굴 소스 2숟가락을 넣고 볶아주다\n",
            "\n",
            "[7]  물 1000ml~ 정도 넣어주세요.\n",
            "물의 양은 준비한 내용물에 따라 조절해 주심 된답니다.\n",
            "4식구가 먹으려고 물을 조금 넉넉히 부었어요.\n",
            "\n",
            "[8]  보글보글 국이 끓어오르면\n",
            "\n",
            "[9]  드셔보시고 부족한 간을 소금으로 해주세요.\n",
            "\n",
            "[10]  미리 찢어놓은 맛살을 넣고\n",
            "보글보글 끓여줍니다\n",
            "\n",
            "[11]  걸쭉함을 위해\n",
            "전분물을 만들어주세요 1:1비율로 만들어 주심 된답니다.\n",
            "\n",
            "[12]  만들어 놓은 전분물을 조금씩 넣어가며 농도를 조절하고\n",
            "\n",
            "[13]  달걀 2개를 풀어\n",
            "냄비 가장자리 부위로 둘러 주고\n",
            "\n",
            "[14]  참기름 1~2, 후춧가루 톡톡  넣어 마무리합니다.\n",
            "\n",
            "[15]  중국식 달걀탕 완성 ^^\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [],
      "metadata": {
        "id": "OEvn4Fe2OrFU"
      },
      "execution_count": null,
      "outputs": []
    }
  ]
}