2019-10-16 16:07:03 +08:00
# GPT2-Chinese
## Description
2019-10-25 23:37:34 +08:00
- Chinese version of GPT2 training code, using BERT tokenizer or BPE tokenizer. It is based on the extremely awesome repository from HuggingFace team [Transformers ](https://github.com/huggingface/transformers ). Can write poems, news, novels, or train general language models. Support char level, word level and BPE level. Support large training corpus.
2019-11-07 12:27:12 +08:00
- 中文的GPT2训练代码， （ kangzhonghua ](https://github.com/kangzhonghua )的贡献， ） ， ， ， （ ）
2019-10-17 10:29:18 +08:00
- 微信交流群：
2019-10-16 16:07:03 +08:00
2019-10-25 19:42:16 +08:00
## UPDATE 10.25
- 本项目第一个预训练模型已公布， ，
2019-10-16 16:07:03 +08:00
## 项目状态
- 目前项目主要架构已经稳定。如发现任何bug或是有功能意见与改进欢迎提交Issue，
- 如使用梯度积累，
## 使用方法
- 在项目根目录建立data文件夹。将训练语料以train.json为名放入data目录中。**train.json里是一个json列表， （ ）
- 运行train.py文件，
- 预处理完成之后，会自动执行训练。
### 生成文本
``` bash
python ./generate.py --length=50 --nsamples=4 --prefix=xxx --fast_pattern --save_samples --save_samples_path=/mnt/xx
```
- **--fast_pattern** (由[LeeCP8 ](https://github.com/LeeCP8 )贡献） ： ， ， ， ， ，
- **--save_samples**：默认将输出样本直接打印到控制台，传递此参数，将保存在根目录下的**samples.txt**。
- **--save_samples_path**：可自行指定保存的目录，默认可递归创建多级目录，不可以传递文件名称，文件名称默认为**samples.txt**。
## 文件结构
- generate.py 与 train.py 分别是生成与训练的脚本。
- train_single.py 是 train.py的延伸， （ ）
- eval.py 用于评估生成模型的ppl分值。
- generate_texts.py 是 generate.py 的延伸，可以以一个列表的起始关键词分别生成若干个句子并输出到文件中。
- train.json 是训练样本的格式范例，可供参考。
- cache 文件夹内包含若干BERT词表， ，
- tokenizations 文件夹内是可以选用的三种tokenizer， ，
- scripts 内包含了样例训练与生成脚本
## 注意
- 本项目使用Bert的tokenizer处理中文字符。
- 如果使用分词版的tokenizer， ，
- 如果使用分词版的tokenizer，
- 模型需自行运算。各位如果完成了预训练的话欢迎进行交流。
- 如果你的内存非常大或者语料较小的话， ，
- 若使用BPE Tokenizer，
## 语料
- 可以从[这里 ](https://github.com/brightmart/nlp_chinese_corpus )与[这里 ](http://thuctc.thunlp.org/#获取链接 )下载。
- 斗破苍穹语料可以从[这里 ](https://github.com/GaoPeng97/transformer-xl-chinese/tree/master/data/doupo )下载。
## FP16与Gradient Accumulation支持
- 我在train.py文件中加入了fp16与gradient accumulation支持， ， ，
## 联系作者
- Mail： @gmail .com
## Citing
```
@misc {GPT2-Chinese,
author = {Zeyao Du},
title = {GPT2-Chinese: Tools for training GPT2 model in Chinese language},
year = {2019},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/Morizeyao/GPT2-Chinese}},
}
```
2019-10-25 19:55:47 +08:00
2019-10-24 21:05:11 +08:00
## 模型分享
2019-10-24 21:57:07 +08:00
| 模型名称 | 模型介绍| 分享者| 链接地址1 | 链接地址2 |
2019-10-24 21:53:36 +08:00
| ------------ | ------------ | ------------ | ------------ | ------------ |
2019-10-25 19:55:47 +08:00
| 散文模型 | 使用130MB的名家散文、情感散文和散文诗歌训练所得 。 | [hughqiu ](https://github.com/hughqiu "hughqiu" ) | [百度网盘【fpyu】 ](https://pan.baidu.com/s/1nbrW5iw34GRhoTin8uU2tQ ) | [GDrive ](https://drive.google.com/drive/folders/1rJC4niJKMVwixUQkuL9k5teLRnEYTmUf?usp=sharing "GDrive" ) |
2019-10-24 21:53:36 +08:00
2019-10-24 21:33:15 +08:00
此处为热情大方的git友训练所得的模型文件， ，
2019-10-16 16:07:03 +08:00
## Demo
- 由用户[JamesHujy ](https://github.com/JamesHujy )根据本仓库改版代码训练得到的模型作为律诗与绝句后台，新版[九歌诗歌生成器 ](https://jiuge.thunlp.cn/lvshi.html )已经上线。
- 由[leemengtaiwan ](https://github.com/leemengtaiwan )贡献，提供[文章直觀介紹 GPT-2 以及如何視覺化自注意力機制 ](https://leemeng.tw/gpt2-language-model-generate-chinese-jing-yong-novels.html )。另提供 [Colab 筆記本與模型 ](https://colab.research.google.com/drive/1MaT8-HUHfZkdCra0OqZEIr0IFCq0MJBx )供任何使用者一鍵生成新樣例。
## 生成样例
2019-10-25 19:47:16 +08:00
-以下为文学散文的生成样例，由[hughqiu ](https://github.com/hughqiu "hughqiu" )贡献， ， ，
2019-10-16 16:07:03 +08:00
- 下为斗破苍穹的生成样例，
- 下为古诗词的生成样例，由用户[JamesHujy ](https://github.com/JamesHujy )运算并贡献。
- 下为古诗限定了生成体裁后的生成样例，由用户[JamesHujy ](https://github.com/JamesHujy )运算并贡献。
- 下为生成剧本的样例文本，由用户[chiangandy ](https://github.com/chiangandy )运算并贡献
[starttext]爱情游戏剧情讲述了钢琴父女明致怀萌的爱情、个有着努力的热情以及现实为人生的价值观众， ， ， ， ， ， ， ， ， ， ， ， ， ，
[starttext]学习爱情主要讲述了两对方小曼，经过啼笑皆非的考验，终于选择了三个孩子，携手共同创业来四个孩子，在大城市里创业的成功商。两家内事业的加入了北京城市，经过了一次元城市融风雨故、差异后得到异的他们，最终收获了梦想的真正属于自己的爱情。赞助理想、电视剧、剧等主创业时代人物特点在北京举行开机仪式，该剧以当下海南三个新人青年轻人面人海南梅竹马的电视角，讲述了几个在北京、喜剧代人生活中增强非浪漫的年轻人，以独特的双时代年轻人从来到北京城市化中国大城市走出发展以海南方的变迁在语种城市闯关于人生态的同时，以及他们渐渐的生活方式为自己方向上演了那么简单俗，是当代际拍摄的就如何在这个城市里都市里?那么平静的城市就是城市的风格特张嘉和支持工作打造，而这是一点就要打造出机场话剧组会。化身处处棋逢貌各种文化的人都非常独特的煽情，交织了相，滑稽等来自外衣的东北漂亮、内地，者和两位女孩子敢称是哑女孩子。交织里的人齐飞一开泰块玩笑，令人印象太趋的气质，让人眼看这个性格非常喜剧，知道的是一个“东北漂”人的外国小养家，让她耳熟练读剧的外形象显老大。之后齐飞、表示爱朗的齐飞、范儿、楚月子、白天杰。两代人的生活里友情似乎没有结合、精彩表态的开朗和丽丽丽。[endtext]
- 下為金庸武俠小說的生成樣例，由[leemengtaiwan ](https://github.com/leemengtaiwan )贡献。模型大小約 82M， ， 文章直觀介紹 GPT-2 以及如何視覺化自注意力機制 ](https://leemeng.tw/gpt2-language-model-generate-chinese-jing-yong-novels.html )。另提供 [Colab 筆記本與模型 ](https://colab.research.google.com/drive/1MaT8-HUHfZkdCra0OqZEIr0IFCq0MJBx )供任何使用者一鍵生成新樣例。
2019-10-24 21:05:11 +08:00
