Skip to content

Atsu-fuji/How-to-scrape-2ch-and-5ch-in-python

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

7 Commits
 
 
 
 
 
 

Repository files navigation

How-to-scrape-2ch-and-5ch-in-python

2ちゃんねる(現5ちゃんねる)の投稿をスクレイピングする方法です。

注意点

1.スクレイピングするスレッドのURLはすでに取得していることが前提です。Googleドライブに「ターゲットとしているスレッドURL」が1行ごとにまとまったテキストファイルをアップロードした状態で始めてください。

2.出来上がるものはデータフレームなので、そのままでは保存されていません。適宜ファイルとして保存するなどしておきます。ソースではcsv形式で保存しています。

3.スクレイピングをするときには、適宜sleepを入れるなどして相手方サーバーに負担がかからないように配慮しましょう。

変更点(2022/10/26)

データ収集後の集計作業の便宜のため、スレッドごとにidをふるように変更しています。

About

No description or website provided.

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published