Pay Attention to MLPs

## Meta

- Link: https://arxiv.org/abs/2105.08050
- Author: google
- Date: 2021.3
- Journal: 

## どんなもの？（3行ぐらいで）
Google Brain から新たに発表された多層パーセプトロン (MLP) にゲート機構を組み合わせた「gMLP」、画像認識とBERT的言語モデルにおいてトランスフォーマーに匹敵する性能を叩き出す

## 先行研究と比べてどこがすごい？

## 技術や手法のキモはどこ？

## どうやって有効だと検証した？

## 議論はある？

## 次に読むべき論文は？

## 所感

## 参考リンク
https://twitter.com/stateofai_ja/status/1394509528780054530