Pairwise Supervised Contrastive Learning of Sentence Representations [2021]

[Sosuke115]

論文リンク

https://arxiv.org/pdf/2109.05424.pdf

概要

S-BERTなどのNLIデータセットでの学習における文ペアにおいて、矛盾ペアが必ずしも異なるセマンティクスに所属しているわけではなく、ハイレベルなコンセプトを捉えた文表現になっていない。

その問題を解決するためにpositive pairを他のペアから識別する
以下のinstance discrimination lossをSBERTのtripletロスに追加

SimCSEと上記目的関数は似ているが、negative exampleに重みをつけている。
重みαはペアの類似度（ziと他のネガティブサンプルと比較した際の相対的な価値）から計算

STSだとSimCSEに若干負けてるが、short text classificationでは勝っている

[Sosuke115]

メモ: タスクも参考になりそう

[Sosuke115]

メモ: devデータをどうしているか