AS07 各題疑問

[YuXiangLin1234]

老師您好:
我對各題的題目描述都有問題想請教:

第一題

第一題題幹敘述是:「只要在同一則貼文的comments內，我們把任兩個commentor視為有co-comment，也就是Cooccurrence（共現）的關係。請計算出共現於本資料集中，頻率最高的前20對commentor（必須印出Collocation times作為參考）。」

而老師給的參考答案為:

s72005ming      sl11pman      450
loham      sl11pman      450
sl11pman      s72005ming      450
sl11pman      loham      450
cwh0105      sl11pman      360
sl11pman      cwh0105      360
iampig951753      Runna      308
Runna      iampig951753      308
frank355571      sl11pman      270
sl11pman      frank355571      270
NICEGOGO      sl11pman      180
sl11pman      NICEGOGO      180
sl11pman      dawson0130      180
sl11pman      userlance      180
sl11pman      carryton      180
sl11pman      CheshireS      180
sl11pman      vic4580849      180
sl11pman      justeit      180
dawson0130      sl11pman      180
userlance      sl11pman      180
carryton      sl11pman      180
CheshireS      sl11pman      180
vic4580849      sl11pman      180
justeit      sl11pman      180
psl7634      gustavek      136
gustavek      psl7634      136

我有兩個疑問:

1. 題目要求20對，但這裡似乎有26對?
2. 是指不需要排列userid，也就是說每對commentor會重複出現，distinct的commentor對數量 只有 20/2=10對 ? (像是:
   s72005ming sl11pman 450 與 sl11pman s72005ming 450)

第二題 Using MI

1. 與第一題相同，是指每對commentor會重複出現，distinct的commentor對數量 只有 20/2=10對 ?
2. 這裡計算的是commentor，與token不同，因此我不太確定要如何定義 p(兩commentor共同出現) 與 p (此commentor出現)的機率，我目前的想法是:

• p(此兩commentor共同出現) = 此兩commentor共同出現在同篇文章次數 / 所有兩共同出現在同篇文章的 commentor 對出現次數總和
• p(此commentor出現) = 此commentor發表的評論數總和 / 總評論數總和

但按照這樣思路寫出來的輸出卻與標準答案相差甚遠，因此想詢問可能是哪邊理解錯誤?

第三題 Cooccurrence with distance

題目敘述為「就上述的資料集，我想定義的人與人的關係是「這兩個人老是一前一後出現」，所以我規劃僅計算前後5則以內的comments，也就是說，在同一貼文中，如果A是第一則comment，B是第六則comment，C是第七則，那我不列計A和C的關係，但列計A和B的關係。請用collocation with distance的觀念，計算任兩個comment間的平均距離，並用most_comment()列印出平均距離最短的前二十對commentors。」
這題的標準答案為

theskyofblue	theskyofblue	2.000000
thom0923	thom0923	2.000000
dripcoffee	dripcoffee	2.000000
whizz	whizz	2.000000
shjyug	rb731024	2.000000
ayamiki	lovegensokyo	2.000000
sunsam	danielchen	2.000000
sd09090	RRADA	2.000000
ThisisLongID	keyoard	2.000000
labell	mortleo	2.000000
wamng	yoshilin	2.000000
xm32	ap543	2.000000
blessbless	bluenan	2.000000
victoryss	victoryss	1.666667
tzonren	tzonren	1.666667
jokerpok	jokerpok	1.666667
redsa12	redsa12	1.333333
ha0118	ha0118	1.333333
gw00086	gw00086	1.333333
x61s	x61s	1.333333

我有一些問題:
1.這題是否要直接接續上兩題做，因為上兩題的 commentor 對 會按照排列的順序不同而出現兩次(像是 xm32 ap543 2.000000 與 ap543 xm32 2.000000)，但這題沒有，所以我們是要重新弄一個counter來處理distance嗎?
2. 題目說要找出平均距離最短的20組，但我看標準答案好像是從長的排到短的，所以我們應該是要先篩出20組最短的再讓他從長的排到短的嗎? 或是其實是用most_common(20) 找出最長的20組?(因為我目前寫出來的數字都跟解答不同，所以我也沒辦法測試哪樣會跟答案一樣QQ)

再麻煩老師回覆了，謝謝~

[Cindy224]

想同問第一題，我目前是假設每對commentor會重複出現所寫的code(跑了兩層迴圈)
然後都會出現以下的文字

有參考過前幾篇文把執行階段類型改成GPU後也還是出現了那段文字
想詢問如何解決這個問題?

[huangchuanmin]

我也是遇到同樣的問題，幫推

[YenChengHsuan]

同學好，我是助教，我使用Colab Run過我這邊有的Code，是跑得過去的。

由於我不知道你的Code，我也只能將你的Error拿去Google，目前看到的問題可能是你在迴圈裡有寫到print，要印的東西太大，所以印不出來，但第一題應該有其他的做法可以完成。這個Error如果用Colab做，目前沒有好的解法，請參 https://stackoverflow.com/questions/48906481/iopub-error-on-google-colaboratory-in-jupyter-notebook 。

給你的Hint為先用Post做一次迴圈，存成List of list，後面再用迴圈進行Pair的計算。

[p09323028]

推一下，想知道到底怎麼算，感覺 Sample Output 很奇怪...