Learning Cross-Context Entity Representations from Text [2020]

[Sosuke115]

ひとことで言うと

エンティティベクトルをメンションを含むテキスト文から学習するRELICを提案

論文リンク

https://arxiv.org/abs/2001.03765

手法のキモ

エンティティとそれがメンションされているコンテキストをマッチさせる.

上記例のようにメンション部分をマスクし、
エンティティ表現に汎用的な知識を埋め込め、エンティティ系のタスクに利用できる汎用的なエンティティベクトルを学習

BERTベースのコンテキストエンコーダーgとエンティティ表現用のエンティティエンコーダーfを用意し、
そのコサイン類似度を向上させるように学習.　（実際はcross-entropy objective with in-batch negatives を用いる）

評価

entity linking、entity typing、category completion、QAで評価

entity linkingはDomain tuning（entity linkingのデータセットでRELICのフレームワークで再学習）して
SOTAに近い性能.

QAは推論時に根拠文にアクセスすることなく高速に実行可能。（性能はイマイチ？）

RELIC学習時にメンションのマスク率を上げるとentity typingでは性能が上がり（マスクがあるとよりコンテキスト情報がエンティティに詰め込まれるため）、entity linkingでは性能が下がる（mentionトークンがエンティティ推定に重要になるから）.