ptuning v2 如何启动quantization_bit 4

[xxll88]

按args.md调了些参数都没用，无法启动quantization_bit 8/4 ,直接爆显存
args.md 中 ptuning v2
global_args = {
"load_in_8bit": False, # lora 如果显卡支持int8 可以开启 ， 需安装依赖 pip install bitsandbytes
"num_layers_freeze": -1, # 非lora,非p-tuning 模式 ， <= config.json num_layers
"pre_seq_len": 32, #p-tuning-v2 参数
"prefix_projection": False, #p-tuning-v2 参数
"num_layers": -1, # 是否使用骨干网络的全部层数 最大1-28， -1 表示全层, 否则只用只用N层
}

  "load_in_8bit" 改成 True，有用吗

[ssbuild]

chatglm_finetuning/config/main.py

Line 10 in 02665fa

enable_ptv2 = False

chatglm_finetuning/config/sft_config_ptv2.py

Line 8 in 02665fa

# train_model_config = train_info_models['chatglm-6b-int4']

按照需求，修改这几处即可