openai/chatgpt微调/fine-tuning/测试用/投喂资源

微调涉及以下步骤：

准备训练数据： 链接: https://download.csdn.net/download/gujunsheng837735/87537800

直接下载可用

整理了chatgpt微调所需要的测试资源数据                  ，按照fine-tuning的格式生成的数据集                  。可以直接 fine_tunes.create -t 使用 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 。微调完毕后可以 -p 回答结果


















。其中包含三四百条数据 
  
  
  
  
  
  
  
  
 。适合测试openai自定义模型的人群使用 
  
  
  
  
  
  
  
  
  。

chatgpt微调适用于以下模型：davinci curie babbage ada

 


 


 


 


 


 


 


 


 

。

第一步：安装 OpenAI 命令行界面 (CLI) pip3 install --upgrade openai 第二步：

设置环境变量：OPENAI_API_KEY

export OPENAI_API_KEY=“sk-************************************************ 
  
  
  
  
  
  
  
  
  ” export OPENAI_API_KEY="sk-************************************************"

下载上面的准备训练数据

格式为：

{“prompt
  
  
  
  
  
  
  
  
  
”: “
 


 


 


 


 


 


 


 


 

”, “completion 
 
 
 
 
 
 
 
 
 ”: “
   
   
   
   
   
   
   
   
   
”}

{“prompt
 

 

 

 

 

 

 

 

 
”: “ 

 

 

 

 

 

 

 

 

 ”, “completion                  ”: “

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
”}

{“prompt

















”: “                            ”, “completion
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
”: “


























”}

… 第三步（用上面的数据可跳过）： openai tools fine_tunes.prepare_data -f /文件存放位置/json_prepared.jsonl

它的作用是引导你完成建议的更改后 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 ，将输出保存到 JSONL 文件中 
 
 
 
 
 
 
 
 
。

第四步：

创建微调模型

使用 OpenAI CLI 启动微调： openai api fine_tunes.create -t "/文件存放位置/json_prepared.jsonl" -m davinci --suffix "davinci model test01"

-m:chatgpt微调适用于以下模型：davinci curie babbage ada 
   
   
   
   
   
   
   
   
   。(不加m参数 默认是curie)

–suffix:自定义模型名称

刚刚的命令会执行这几项操作：

第一次使用json_prepared.jsonl的时候会上传文件


















，如果下次依旧用这个文件训练其他模型的话 
  
  
  
  
  
  
  
  
 ，就不会重复上次了
 

 

 

 

 

 

 

 

 
。 创建微调任务 传输过程直到完成(一般情况挺快的 
  
  
  
  
  
  
  
  
  ，但如果前面很多排队的

 


 


 


 


 


 


 


 


 

，你就得慢慢等 
 
 
 
 
 
 
 
 
，自己训练数据量的大小也会影响速度) 如果事件中断了 
   
   
   
   
   
   
   
   
   ，可以通过以下命令来恢复： openai api fine_tunes.follow -i ft-************************

你的微调工作id：ft-************************

微调完成以后可以在命令行测试： openai api completions.create -m davinci:ft-********:davinci-model-test01-2023-03-02-09-13-35 -p "小明的妈妈有三个儿子
 

 

 

 

 

 

 

 

 
，大儿子叫大明
 

 

 

 

 

 

 

 

 

，二儿子叫二明                  ，三儿子叫什么
 

 

 

 

 

 

 

 

 

。"

-m： 刚刚创建成功的微调模型名称

-p： 你要提问的问题