AS05_3 News Crawler

[samandme47]

您好，想請教AS05_3 新聞爬蟲的問題。
我抓取的Source為自由時報政治即時新聞 https://news.ltn.com.tw/list/breakingnews/politics
但總是會出現以下錯誤

上網搜尋一下之後，有人說是因為一次爬取太多資料而被鎖住IP，故想請問:

1. 請問真的是因為一次爬取太多資料而被鎖住嗎?
2. 如是，因為我已經使用time.sleep()的功能，但還是會出現圖片上的錯誤。故想請問是否還有其他辦法?(我目前是分成三個cell執行，並能順利crawl到100則新聞，但感覺這不是一個很好的方法)

謝謝

[jirlong]

1. 是的。其實出作業是刻意挑了一個他應該不會告我們，但卻又可以讓同學遇到這種狀況的案例給各位做。但如果各位去爬圖書館的database，會停權、賠款歐。之前有學生學完後太high了，就接打工幫他們所上老師抓資料，導致全台大聯合知識庫被停權三個月。然後也有別的老師抓聯合知識庫，被要求賠償一則30元。學校資料庫絕對不要撈，切勿犯法。
2. 起步是設time.sleep()沒錯，然後善於爬蟲的人會慢慢測到，以怎樣的速度抓不會被擋，或者靠跳ip，或者開多個執行緒，來平行抓。