共起を測る係数の選択方法について（Jaccard係数 ,Dice係数 Simpson係数）

[shoko-ito1968]

お使いのKH Coderのバージョン

3.00 official-package

ご質問の内容をお書きください

■お使いのOS：Windows 11
■日本語を使用

伊藤と申します．
共起を測る係数（Jaccard係数 ,Dice係数 Simpson係数）の選択方法について，留意点がございましたら教えて下さい．
文章の長さや，1つの文章に同じ語が複数回登場する場合などで，異なるのか？

宜しくお願いいたします．

[ko-ichi-h]

Simpson・Diceはいずれも，Jaccardと同様に，1つの文書内に1回出現しても10回出現しても単に「出現あり」とだけ見なして計算する係数です。

ではJaccardとどう違うのかですが，こちらに過去のTweetをまとめました。ご参考になりますでしょうか。
https://posfie.com/@khcoder/p/KU6ffXY

[shoko-ito1968]

樋口先生
ご回答いただきありがとうございました．
確認できていなかったまとめサイトを拝見させていただきました．
「重要な頻出語がいくつかあって、その周囲の語を見たいときにSimpsonでしょうか」は参考になりました．

追加で質問させて下さい．
　文章の長さを比較すると，口コミや新聞記事，インタビュー調査などは短めで，文学は長めという特徴があると思います．文学（長めの文）の分析時に，simpson係数を用いることが多い理由ですが，出現数に差がある語が多くなるため，Jaccard係数が小さくなるためでしょうか？
同様に，　「通常の社会調査（インタビュー）や口コミ分析であれば，Jaccard係数で良いかなと思います」の理由は，出現数に差がある語が少ないからでしょうか？

お忙しい中申し訳ありません．
お時間がございます時にでもご回答いただければ幸いです．
どうぞ宜しくお願い申し上げます．

[ko-ichi-h]

その点，あまり明確に書いていませんでした。失礼いたしました。

意図としては，文章の長さと言うよりも，分析の目的を考えていました。

Simpson係数の場合，頻出語に対して多くの共起語がつながります。たとえば小説の登場人物名に対して，ポジティブな話題をあらわす語も，ネガティブな話題をあらわす語も両方つながることが考えられます。文学研究であればそれでよいでしょう。その登場人物がどのように描かれたのかを調べることに，価値があるだろうからです。

一方で通常の社会調査やクチコミ分析の場合は，ポジティブな話題と，ネガティブな話題とが，別々のグループになってくれた方が，結果を読み取りやすいと思います。一部の頻出語の影響が大きくなりすぎるよりも，話題ごとに固まってくれた方が，分析の目的にあうだろうと思ったのです。だからJaccard係数が良いかなと書きました。

どちらの係数が良いのだろうと気になる場合は，両方の係数で分析を行い，結果を比べてみられることをお勧めします。「係数の特徴の違いがこんなふうに結果にあらわれるんだ」ということをご覧になった上で，どちらを使うかお決めになってはいかがでしょう。

[shoko-ito1968]

樋口先生
ご返答ありがとうございます．そしてご教授いただき感謝申し上げます．
すっきりと理解できました．
2つの分析結果を比較して，検討したいと思います．
本当にありがとうございました．