gpt-2（训练自己的GPT2模型（中文），踩坑与经验）
GPT2与Bert 、T5之类的模型很不一样！！！
如果你对Bert 、T5 、BART的训练已经很熟悉 ，想要训练中文GPT模型 ，务必了解以下区别！！！
官方文档里虽然已经有教程 ，但是都是英文 ，自己实践过才知道有很多坑！！！
中文也有一些教程 ，但是使用了TextDataset这种已经过时的方法 ，不易于理解GPT2的真正工作原理 。
开门见山说结论 ，与bert的最主要区别：
GPT2Tokenizer ，是以字节为单位的字节对编码，不是以中文的字或词为单位的！
对于英文 ，GPT2Tokenizer大部分时候是以单词为单位进行切分的 ，但是对中文则完全不同 ，有时候2个id代表一个中文字 ，有时候又是1个？这一奇怪的现象正是因为采用字节对编码的结果 。
这也是为什么很多中文GPT使用BertTokenizer作为分词器 ，因为比较符合直观 。 GPT2Tokenizer没有默认的【pad_token】 ，需要自己设置 ，一般和eos_token设为一样 。而且GPT2Tokenizer不会自动在句末增加eos_token ，需要自己手动添加 ，否则模型generate的时候永远不会停下来直到最大长度 ，因为它不会生成eos_token！！！
而且train的时候需要padding在右边 ，否则模型永远学不会什么时候停下！！！
而且test的时候需要padding在左边 ，否则模型生成的结果可能全为eos！！！ 训练时GPT2的【labels】和【input_ids】是一样的！所以使用的DataCollator不同与T5的主要区别：
5. generate时的设置不同 ，因为input本身也是output的一部分 ，所以最好设置max_new_tokens
6. lm_head层不在model.parameters当中 ，因为词嵌入矩阵[‘transformer.wte.weight’]和lm_head的weight是参数共享的！而在T5中 ，只有encoder和decoder的词嵌入矩阵参数共享 ，lm_head则是一个独立的全连接层 。下面对这几点分别介绍：
1.tokenizer问题
官方介绍：如下
Construct a GPT-2 tokenizer. Based on byte-level Byte-Pair-Encoding. This tokenizer has been trained to treat spaces like parts of the tokens (a bit like sentencepiece) so a word will be encoded differently whether it is at the beginning of the sentence (without space) or not: from transformers import GPT2Tokenizer tokenizer = GPT2Tokenizer.from_pretrained("gpt2") tokenizer("Hello world")[input_ids] [15496, 995] tokenizer(" Hello world")[input_ids] [18435, 995]You can get around that behavior by passing add_prefix_space=True when instantiating this tokenizer or when you call it on some text, but since the model was not pretrained this way, it might yield a decrease in performance.
总结起来就是：
GPT-2 tokenizer 基于字节对进行编码 。更多介绍可以看Byte-Pair-Encoding GPT-2 tokenizer 会把空格视为token的一部分（T5也是如此） ，例如“hello ”与“ hello ”的encode结果截然不同 你可以设置add_prefix_space ，来避免上述情况 ，但是模型效果会下降tokenize过程：
由于英文字母转换为字节再转换为单字节字符后和原来是一样的 ，所以英文tokenize看起来和bert差不多 。（单字节字符共有256个 ，是ascii码的扩充 ，0-128和ascii码一样 ，所以不影响英文编码）
然而中文则面目全非 ，GPT-2 tokenizer的vocab里面看不见一个中文 ，因为vocab全都是单字节字符的组合。如下图：
那么中文是怎么变成id的呢？中文转换过程如下（这部分比较烦 ，不看不影响模型的训练
）
外部看起来的情况：中文（utf-8）–>字节串（一个中文3个字节）–>每个字节对应一个单字节字符–>单字节字符串–>寻找vocab里对应的子串 ，进行分词–>转变为input_ids
实际情况：中文（utf-8）–>字节串（一个中文3个字节）–>寻找vocab里对应的子字节串 ，进行分词–>转变为input_ids
可以看下面例子理解以上过程： >>> 中国.encode(utf-8) b\xe4\xb8\xad\xe5\x9b\xbd >>> [tokenizer.byte_encoder[b] for b in b\xe4\xb8\xad\xe5\x9b\xbd] [ä, ¸, Ń, å, Ľ, ½] >>> .join([ä, ¸, Ń, å, Ľ, ½]) ä¸ŃåĽ½ >>> tokenizer.tokenize(中国) [ä¸Ń, åĽ, ½] >>> tokenizer.convert_tokens_to_ids([ä¸Ń, åĽ, ½]) [40792, 32368, 121] >>> tokenizer.tokenize(ä¸ŃåĽ½) [ä, Â, ¸, Å, ĥ, Ã¥, Ä, ½, ½] #由于python的encode命令默认使用utf-8编码 ，而不是单字节字符集 ， #所以这里将“中国 ”的分词结果拼回去在分词 ，结果会不一样 >>> tokenizer.byte_decoder[ä] #此处使用单字节字符集 ，将ä映射为一个字节 228 #十进制228对应十六进制0xe4 >>> bytearray([228]) bytearray(b\xe4) >>> ä.encode(utf-8) #此处使用默认encode ，将ä映射为2个字节 b\xc3\xa42.Padding问题 由于gpt是自回归语言模型 ，理论上来说 ，是不需要pad的 ，因为生成的id必须立即接在输入的id后面
，中间不能有pad_token 。
train的时候需要padding在右边 ，并在句末加入eos ，否则模型永远学不会什么时候停下！！！
test的时候需要padding在左边 ，否则模型生成的结果可能全为eos！！！但是当一个batch进行generate时时 ，难免出现输入句子不一样长的情况 ，所以需要在前面添加pad_token而不是像Bert一样默认添加在后面 。
所以generate时需要设置： tokenizer.pad_token=tokenizer.eos_token tokenizer.padding_side=lefttrain的时候需要设置：
tokenizer.pad_token=tokenizer.eos_token tokenizer.padding_side=right #假设text为想要训练的文本 ，需要在句末加入eos text=text+tokenizer.eos_token3.训练label问题
对于GPT ，训练数据集里没有输入输出的区别 ，没有question与answer之分 。训练时 ，一整句话 ，既是input ，也是label 。所以labels与input_ids 完全一致
。举例如下：
假设我希望训练模型 ，使其能进行如下问答：question：“中国是首都是什么？ ”answer：“北京 ”T5：input_ids ：“中国是首都是什么？ ” ，labels：“北京 ”
GPT2：input_ids ：“中国是首都是什么？北京 ” ，labels：“中国是首都是什么？北京 ”当你的数据集已经有question和answer列 ，那么需要将question和answer拼接在一起 ，再tokenizer处理为input_ids与attention_mask列
当你的数据集已经有input_ids与attention_mask列 ，那么就使用 transformers提供的DataCollatorForLanguageModeling即可让dataloader自动生成labels 。如下是训练一个epoch的方式：
#dataset已经经过处理 ，有input_ids与attention_mask列 data_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False) data_loader = DataLoader(dataset, batch_size=batch_size, shuffle=True, collate_fn=data_collator, drop_last=False) # acclelrator包装 model, data_loader = accelerator.prepare(model, data_loader) #训练一个epoch for step, batch in enumerate(data_loader): optimizer.zero_grad() outputs = model(**batch) loss = outputs[0] accelerator.backward(loss) optimizer.step()4.Generate问题
由于模型的config中pad_token一般为None ，但在生成一个batch的时候 ，因为设置了early_stopping=True ，所以生成的序列不一样长 ，难免要用到padding ，所以这一项需要设置 ：pad_token_id=tokenizer.pad_token_id ，使所有生成序列一样长 。 GPT2生成的结果 ，max_length表示prompt+generate的总长度 ，max_new_tokens表示generate的长度 ，通常我们想要限制的都是generate的长度 ，input_ids的长度一般不算在内 ，所以设置 max_length=None, max_new_tokens=256 。 T5模型则一般设置max_length ，因为decoder部分一般没有前缀 。 前面提到过的 ，input需要padding ，但需要pad在左边 ，pad_token一般与eos_token相同 ，不影响生成结果 。 由于是生成（test）不是训练 ，所以input_ids和训练时不同 。训练时输入 问题+答案；测试时只输入 问题 ，不需要提供labels
举个例子 ，训练时 ，input_ids是“中国是首都是什么？北京 ”；测试时 ，input_ids则为“中国是首都是什么？ ” ，然后模型生成“中国是首都是什么？北京 ” ，需要自己再把后面部分截取出来作为 答案 input_ids=tokenizer("中国是首都是什么？")[input_ids] attention_mask=tokenizer("中国是首都是什么？")[attention_mask] generated_ids = model.generate( input_ids=input_ids, attention_mask=attention_mask, min_length=3, max_length=None, max_new_tokens=256, pad_token_id=tokenizer.pad_token_id, repetition_penalty=3.5, length_penalty=2.5, early_stopping=True,) decoded_preds = tokenizer.batch_decode(generated_ids, skip_special_tokens=True) >>> decoded_preds 中国是首都是什么？北京总结：别用GPT ，GPT不适合微调 ，只适合娱乐 ，想做生成任务建议用T5 、OPT 、Bloomz等
开源的语言模型 ，采用更优的相对位置编码 ，也不容易出乱码 (╬￣皿￣)
而且因为使用字节对编码 ，generate时极易出现乱码 ，因为一个中文3字节 ，而最小的token是2字节 。如果编码英文 ，很合理 ，编码中文则非常的反直觉 ，不如bert 、T5符合人类的习惯 。如果条件允许 ，可以自己定义新的tokenizer进行训练 。创心域SEO版权声明：以上内容作者已申请原创保护，未经允许不得转载，侵权必究！授权事宜、对本内容有异议或投诉，敬请联系网站管理员，我们将尽快回复您，谢谢合作！