DefSent: Sentence Embeddings using Definition Sentences [ACL 2021] #46
Description
論文リンク
https://arxiv.org/pdf/2105.04339.pdf
言語処理学会にも論文あり
https://www.anlp.jp/proceedings/annual_meeting/2021/pdf_dir/C4-2.pdf
概要
S-BERTの学習後に得た文表現uをさらに洗練させる。
具体的には単語の定義文から対応する単語を予測するタスクでさらにBERTを学習させる。
単語予測層は事前学習時のMLMで用いた層をそのまま用いる。
「事前学習時の単語予測層をそのまま使っているため，提案手法で得られる文埋め込みは，
その文が表す意味内容に近い意味で使用されている単語が存在した場合，その文脈化単語埋め込みと類似する
という性質が期待できる」
↑
類義語とか似た単語を説明する定義文sentence embeddingは近くなり、
その逆もまた然りなことを期待している？
評価方法
教師なし設定のSTSで評価
S-BERTより明らかに少ない学習データで良い性能
SentEval（分類タスクなど色々含むデータセット）でも良い性能を発揮