Learning Distributed Representations of Texts and Entities from Knowledge Base #45
Description
ひとことで言うと
テキスト情報とその文章に紐づくエンティティアノテーションから分散表現を学習
論文リンク
https://www.aclweb.org/anthology/Q17-1028.pdf
概要
Wikipediaから作成されたテキスト情報とその文章に紐づくエンティティアノテーションから分散表現を学習
文章とKBエンティティを一緒に用いて表現学習を行うNeural Text-Entity Encoder (NTEE)を提案
テキストに対して、近いエンティティを推測させるようなタスクを解くことで
テキストと関連するエンティティがベクトル空間上で近くなるように学習。
（WIkipedia2Vecと似ている）
以下のような人間によってアノテーションされたテキスト-エンティティデータを利用
コチラの目的関数を最適化
これだと計算量が大きいので、
Ekbをpositiveエンティティ一つk個のnegativeエンティティで成り立つE*に変更
（ネガティブサンプリング）
�
Vw、Veはword2Vec表現で初期化。（エンティティはテキスト中のメンションを固有の識別子に変更することでワードと同時にskip-gramモデルで学習）
評価方法
教師なし設定のSTSと教師あり設定の
EL 、factoid QA で評価
STSの結果
