ACL 2022まとめ

[Sosuke115]

リンク

ACL anthology

概要

興味ありそうなACL2022の論文をテーマ別にまとめていく

Sentence embedding

• LaBSE

• A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings
  sentence embeddingをpseudo-token spaceに写像することで文の長さや文法などの表層的な特徴に依存しないベクトルの学習が可能。STSやalignment、uniformityで良い結果。

• A Contrastive Framework for Learning Sentence Representations from Pairwise and Triple-wise Perspective in Angular Space
  既存のSimCSEなどの教師なし文埋め込みは1. シンプルなnormalized temperature-scaled crossentropy loss（NT-Xent）
  を利用していて目的関数を探求していない 2. 文間の類似性の程度を考慮していない
  そこで論文では以下のNT-Xentにdecision marginを設けたArcCon Lossと、20%, 40%の連続部分語のmaskをかけたs' s''を用いたtriplet lossを提案
  
  
  

Multilinguality

Overlap-based Vocabulary Generation Improves Cross-lingual Transfer Among Related Languages
低資源言語と関連する高資源言語の語彙の重なりを考慮したOverlap BPEを提案し、Zero-shot cross-lingual transferの性能を向上。

Information Extraction

Language Model and PLMs

• Deduplicating Training Data Makes Language Models Better
  言語モデルの学習データの重複文を減らす手法を提案。重複を削除してもperplexityは上がらず学習効率が良くなる。下流タスクでの評価はなし。

• BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models
  BERTでタスクごとにバイアス項のみのパラメータ調整で、通常のfine-tuningと同等の性能を発揮。

• PPT: Pre-trained Prompt Tuning for Few-shot Learning
  Prompt tuningの良い初期soft promptを得るために事前学習時にsoft promptを入れる手法を提案。
  Prompt tuningについては以下の図を参照
  

• Knowledge Neurons in Pretrained Transformers
  どのようにして知識がTransformerに集積しているのかの説明手法を提案。特にFFN中にあるニューロンのうち、知識を表現するようなKnowledge neuronsの概念を提案し、これについて分析。

• bert2BERT: Towards Reusable Pretrained Language Models
  小さいPLMを活用して効率的に巨大なPLMを事前学習する手法を提案。