NAACLまとめ

[Sosuke115]

リンク

https://aclanthology.org/events/naacl-2021/#2021-naacl-main

概要

興味ありそうなNAACL2021の論文をテーマ別にまとめていく

気になっているキーワード

Sentence embedding
Sentence representation
Contrastive learning
Multilingual sentence embedding

Sentence embedding

• Disentangling Semantics and Syntax in Sentence Embeddings with Pre-trained Language Models

意味情報と文法情報を分離させるようにBARTのSentence embeddingを学習する手法。

Sentence embeddingには意味情報と文法情報が混在しているため、一部の意味情報が効くタスクには活用し切れていない。
（文法が違う場合、性能が下がる）
→「Semantics」は同じだが「Syntactic」が異なるパラフレーズのペアを利用したParaBARTを提案

図のように
入力にはパラフレーズのソース分とターゲット文の構文木を入力し、それぞれ専用のエンコーダーで意ソース文埋め込み表現Aとターゲット文文法埋め込み表現Bに変換する。
構文情報をAから取り除くためにSyntax Discriminatorを導入し、

Unsupervised STSで評価
また、文法系のタスクで性能が低いこと（文法情報を含んでいないこと）を示し、
パラフレーズ検知で文法の違いにロバストであることを示した。

BARTについて

• Contextualized and Generalized Sentence Representations by Contrastive Self-Supervised Learning: A Case Study on Discourse Relation Analysis

Multilinguality

Knowledge Base