DOCENT: Learning Self-Supervised Entity Representations from Large Document Collections

[Sosuke115]

ひとことで言うと

エンティティとそれに紐付けられたテキストを用いてエンティティ関連のタスクに特化した事前学習済みモデルDOCENTを提案.

論文リンク

https://aclanthology.org/2021.eacl-main.217.pdf

概要

エンティティとそれに紐付けられたテキストを用いてエンティティ関連のタスクに特化した事前学習済みモデルDOCENTを提案.
DOCENT-DUALはエンティティ表現と対応するBERTの文埋め込み表現のコサイン類似度が高くなるように学習する. （RELIC や我々の取り組んでいた手法とほぼ同じ）
この手法は文からエンティティを推測する学習と捉えることができるが、エンティティから文を推測するような機構が欠けている. そこでDOCENTではさらに以下の２種類の学習法（FULL、HYBRID）を提案.
DOCENT-FULLはDOCENT-DUALの目的関数に加え、エンティティトークンを文に連結して、エンティティトークンと文中のランダムに選択したトークンをマスクし、それらを推測するようなMLMタスクを学習する.（LUKEと似ている？）
DOCENT-HYBRIDはDOCENT-FULLのようにMLMタスクを解く際、BERTからの文埋め込み表現にエンティティ表現を連結させ、MLM層に入力する.
実験ではAmazon movie reviewコーパスで事前学習のみした状態でのエンティティランキングタスクやさらにfine-tuningありの設定で映画レビューからその要約タグとの関連度を推測するタスクを行い、良い性能を発揮

議論

学習手法やタスクが参考になった。
映画レビュードメイン限定での実験なのが気になった。

関連論文