这里要注意,原始的LLaMA权重文件,是不能直接调用huggingface的transformers库进行使用的。
如果要使用huggingface transformer训练LLaMA,需要使用额外的转换脚本(具体详见huggingface官网指南),把上述的LLaMa-xx进行额外的转换;或者使用上述已经被转换好的LLaMA-xx-hf. 另外,LLaMA的在不同版本huggingface中的模型类名也不同:Llama和LLaMA。。。(大致见如下)
建议提前确认自己的huggingface版本。参考报错:ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported. #22222