Integrating Knowledge Graph Embeddings and Pre-trained Language Models in Hypercomplex Spaces #197
Description
一言でいうと
知識グラフ埋め込みと複数の事前学習済み言語モデルを超複合空間で統合する新しいフレームワーク
著者/所属機関
Mojtaba Nayyeri, Zihao Wang, Mst. Mahfuja Akter, Mirza Mohtashim, Md Rashad Al Hasan Rony, Jens Lehmann and Steffen Staab
- University of Stuttgart, Stuttgart, Germany
DOI
会議名(ジャーナル名)
The 22nd International Semantic Web Conference (ISWC2023)
トラック
Research Track
動機
既存の知識グラフ埋め込み(KGE)モデルが単一の事前学習済み言語モデルに依存しており，異なるモデル間での相補的な活用がまだ
手法
超複合代数を使用して，構造的知識グラフの埋め込みと複数のテキスト表現間の相互作用をモデル化． Dihedron Modelを用いて、構造的知識、単語レベル、文レベル、ドキュメントレベルの4つの異なる表現を統合して複雑空間上に表現
背景
KGはAIシステムの中で重要な要素だが，実世界の事実と比べ不完全であるためテキストが必要だった
関連研究や新規性など。
結果
リンク予測のタスクで多くの手法と比較し，SOTAを達成
考察
小規模なデータセットから大規模なデータセットで有効であることを示した．特にデータがスパースな場合に、テキスト情報の統合の有用性を確かめることができた
課題
複数ソースの情報を統合し、マルチホップKG補完シナリオや他のタスクにモデルを適用
読んだ範囲
斜め読み程度