ReXNet 是 NAVER 集团 ClovaAI 研发中心基于一种网络架构设计新范式而构建的网络。针对现有网络中存在的 Representational Bottleneck
问题,作者提出了一组新的设计原则。作者认为传统的网络架构设计范式会产生表达瓶颈,进而影响模型的性能。为研究此问题,作者研究了上万个随机网络生成特征的 matric rank
,同时进一步研究了网络层中通道配置方案。基于此,作者提出了一组简单而有效的设计原则,以消除表达瓶颈问题。论文地址
Models | Top1 | Top5 | Reference top1 |
FLOPS (G) |
Params (M) |
---|---|---|---|---|---|
ReXNet_1_0 | 77.46 | 93.70 | 77.9 | 0.415 | 4.838 |
ReXNet_1_3 | 79.13 | 94.64 | 79.5 | 0.683 | 7.611 |
ReXNet_1_5 | 80.06 | 95.12 | 80.3 | 0.900 | 9.791 |
ReXNet_2_0 | 81.22 | 95.36 | 81.6 | 1.561 | 16.449 |
ReXNet_3_0 | 82.09 | 96.12 | 82.8 | 3.445 | 34.833 |
Models | Crop Size | Resize Short Size | FP32 Batch Size=1 (ms) |
FP32 Batch Size=4 (ms) |
FP32 Batch Size=8 (ms) |
---|---|---|---|---|---|
ReXNet_1_0 | 224 | 256 | 3.08 | 4.15 | 5.49 |
ReXNet_1_3 | 224 | 256 | 3.54 | 4.87 | 6.54 |
ReXNet_1_5 | 224 | 256 | 3.68 | 5.31 | 7.38 |
ReXNet_2_0 | 224 | 256 | 4.30 | 6.54 | 9.19 |
ReXNet_3_0 | 224 | 256 | 5.74 | 9.49 | 13.62 |
关于 Inference speed 等信息,敬请期待。