关于内存的占用问题

[Krystal9999]

我因为硬件问题自己无法测试，请问如果每阶段都设置2层的block，模型大概占用多大内存呢？感觉24G服务器不太够用

[Yaziwel]

我因为硬件问题自己无法测试，请问如果每阶段都设置2层的block，模型大概占用多大内存呢？感觉24G服务器不太够用

你可以把batch size设置成1或者2，不用改网络，24G够用

[Krystal9999]

感谢你的回复，还有个问题想问大佬，你画的那个ERF图我特别感兴趣，你是怎么做出来，这好像是超分里面的东西  _Top '刺眼 ***@***.***  

…

------------------ 原始邮件 ------------------ 发件人: "Zhiwen ***@***.***>; 发送时间: 2024年7月29日(星期一) 晚上8:03 收件人: ***@***.***>; 抄送: "_Top ***@***.***>; ***@***.***>; 主题: Re: [Yaziwel/Restore-RWKV] 关于内存的占用问题 (Issue #6) 我因为硬件问题自己无法测试，请问如果每阶段都设置2层的block，模型大概占用多大内存呢？感觉24G服务器不太够用 你可以把batch size设置成1或者2，不用改网络，24G够用 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[Yaziwel]

感谢你的回复，还有个问题想问大佬，你画的那个ERF图我特别感兴趣，你是怎么做出来，这好像是超分里面的东西  _Top '刺眼 @.***  
…
------------------ 原始邮件 ------------------ 发件人: "Zhiwen @.>; 发送时间: 2024年7月29日(星期一) 晚上8:03 收件人: @.>; 抄送: "_Top @.>; @.>; 主题: Re: [Yaziwel/Restore-RWKV] 关于内存的占用问题 (Issue #6) 我因为硬件问题自己无法测试，请问如果每阶段都设置2层的block，模型大概占用多大内存呢？感觉24G服务器不太够用 你可以把batch size设置成1或者2，不用改网络，24G够用 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

代码在这里https://github.com/Yaziwel/Restore-RWKV/blob/main/erf_visualization.py，超分专用的是LAM吧。ERF我的理解应该都能用，可以参考https://github.com/DingXiaoH/RepLKNet-pytorch

[Krystal9999]

好的，那您这边能有一些网络的预训练模型，或者你训练期间生成的权重模型呢，我想把RWKV的ERF图做出来看看效果，但是个人能力跑不起来  _Top '刺眼 ***@***.***  

…

------------------ 原始邮件 ------------------ 发件人: "Zhiwen ***@***.***>; 发送时间: 2024年7月31日(星期三) 中午11:01 收件人: ***@***.***>; 抄送: "_Top ***@***.***>; ***@***.***>; 主题: Re: [Yaziwel/Restore-RWKV] 关于内存的占用问题 (Issue #6) 感谢你的回复，还有个问题想问大佬，你画的那个ERF图我特别感兴趣，你是怎么做出来，这好像是超分里面的东西  _Top '刺眼 @.***   … ------------------ 原始邮件 ------------------ 发件人: "Zhiwen @.>; 发送时间: 2024年7月29日(星期一) 晚上8:03 收件人: @.>; 抄送: "_Top @.>; @.>; 主题: Re: [Yaziwel/Restore-RWKV] 关于内存的占用问题 (Issue #6) 我因为硬件问题自己无法测试，请问如果每阶段都设置2层的block，模型大概占用多大内存呢？感觉24G服务器不太够用 你可以把batch size设置成1或者2，不用改网络，24G够用 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***> 代码在这里https://github.com/Yaziwel/Restore-RWKV/blob/main/erf_visualization.py，超分专用的是LAM吧。ERF我的理解应该都能用，可以参考https://github.com/DingXiaoH/RepLKNet-pytorch — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>