AS06_ YT06 Filter words 結果詢問

[KHsuan]

老師好，
我有點不懂題目：「請列印出你所跑出來的前30大關鍵字，你跑出來的結果應該會跟以下不同，但不應該會和以下一樣，會有「颱灣」的字樣，這是因為這個範例程式先把文字轉簡體後用jeiba斷詞，再轉回繁體後，把「台」全部翻為「颱」之故。」的意思。
所以印出來的東西應該是全部繁體還是簡體？還是斷字前不需要轉簡體？

不好意思有點不懂題意。
謝謝老師

[jirlong]

這題其實是要各位嘗試做簡繁互轉來提示各位斷詞結果的精準度未來可能會成為某些資料分析的瓶頸。

從教學影片所說來看，為何要轉簡體是為了希望用jieba斷詞時比繁體準一些；為何要轉回來繁體，是因為畢竟原始文本就是繁體，不轉回繁體沒道理。所以，印出來的東西當然應該全部繁體，但因為轉回繁體的過程，可能會因為簡繁互轉的原因轉錯，不應給使用者看到這樣的bug，所以必須要把轉錯的給取代回來。jieba若不轉成簡體以繁體直接斷，看到斷錯的就增加保留字，那大概要養很大的詞彙庫，才會比較精準。但未來會遇到有些套件就是不轉簡體完全沒辦法用。例如spacy的部分功能、NLTK。當然用ckip-transformer是很準，但如果你有一百萬篇文章，大概就不會考慮用ckipt-transformer。

各位如果有耐心想知道差異，也寫一個直接斷繁體的、再寫一個轉簡體再轉繁體的，比較看看這兩個斷詞結果有什麼差異。不過這種網路上有人比較過，可以直接看看就好。

[jirlong]

對，是我沒說明清楚。我希望你們轉簡再轉繁，然後去處理被轉錯的結果。

[KF-Tsai]

老師，那如果有些回覆本身就是簡體字（例如圖中螢光標示），我們還是要把他轉到繁體字，還是就保留簡體字就行

？

[jirlong]

這時候只能全部轉為繁體，不然單這個作業code會很難寫。
但如果你有興趣的話，可以想想以下這個情形。之前我曾遇過一個狀況是無論如何得把簡體和繁體區隔的很開的，例如若參與了一個類似政府部門偵測網軍的專案，勢必要辨識哪些訊息是用簡體書寫，或者該則文章裡面有沒有簡字的特性。那就得把他區隔開來，不能統一處理。若有興趣可以試試看怎麼處理。

[Cindy224]

想詢問老師最後一題使用jieba斷詞時 也是一樣先轉簡再轉繁嗎

[jirlong]

就社會科學而言，其實上述要怎麼處理，都看是怎麼思考這問題吧？這也會影響到要怎麼解釋jieba和tf倆的差異。如果你打心底認為jieba在你有興趣的場域根本不管用，自然就會用jieba直接斷繁體，然後和tf比較，讓人家知道什麼都沒處理會差多少。如果你認為jieba也沒差到哪裡去，那就會盡可能把jieba轉簡斷詞再轉繁，然後和tf比較。