【chp3】代码调试-车万翔-自然语言处理：基于预训练模型的方法

由于下载的维基百科语料库体量太大，并且都是中文，所以在pycharm中updating indexes非常非常久都无法完成编制索引，因此，下载的语料不要放在project中，而是放在chp3文件夹的外面，这样就不会进行索引了。

json错误，去掉后缀即可

# converter = opencc.OpenCC("t2s.json")converter = opencc.OpenCC("t2s")

f_in = open(sys.argv[1], "r", encoding="utf-8")

# print(需要打印的数据.encode(‘GBK’,‘ignore’).decode(‘GBK’))print(line_t2s.encode('GBK','ignore').decode('GBK'))

python .chp3-newconvert_t2s.py .wiki-textADwiki_07 > output_file_zyy

就可以看到output文件中是简体中文。

下载的语料库下载链接如下：
链接：https://pan.baidu.com/s/1opkdj-skr8VmjsW2UEd06A
提取码：1024
–来自百度网盘超级会员V6的分享