DiffCSE: Difference-based Contrastive Learning for Sentence Embedding

[Sosuke115]

論文リンク

https://aclanthology.org/2022.naacl-main.311.pdf

概要

教師なしSimCSEをMLMに基づく置換単語推定タスクで拡張

対照学習に基づく教師なし文埋め込みでは正例ペアとして置換や削除などのデータ拡張手法
を用いるがこれらは元文の意味を変えてしまうため、これらの正例ペアは同じ意味を持つものと仮定して対照学習を行うのは微妙。
（反面SimCSEのdropoutノイズは意味はあまり変えなさそうなので良さそう）
-> insensitiveな文変換に基づく対照学習のロス（SimCSE）+ sensitiveな文変換（単語置換）に基づく予測タスク（置換ワード推定）という目的関数に落とし込むことで単語置換による文の違いを考慮しつつ直接正例ペアとして近づけるわけではない文埋め込み学習手法を提案。