Paper Reading: PERCEIVER IO: A GENERAL ARCHITECTURE FOR STRUCTURED INPUTS & OUTPUTS

Abstract

Perceiver IO的特点：

• 基于Perceiver（[细读经典+代码解析]Perceiver: General Perception with Iterative Attention - 知乎 (zhihu.com)）模型，但是对于output的输出进行优化，使其在size和含义上可以灵活改变。

  • input的尺寸也是可以灵活改变的。

• 通用性强，可以完成多种任务，不拘泥于特定场景。

Introduction

Output的获取是来自于输入到Decode中的Output query array的，并且需要注意到是，Output query array是针对Output进行设计的。其在设计上，与Output的含义高度相关。