PythonScrapy爬虫中文乱码问题“鎴愬姛”

在爬取某个网站时，爬取第一个页面能正常获取，爬取第二个页面，获取文章内容时，返回的数据为中文乱码，乱码如下:

{"rptCode":200,"msg":"鎴愬姛","data":{"docId":989402,"docTitle":"閾惰淇濋櫓鏈烘瀯鎭㈠鍜屽缃鍒掑疄鏂芥殏琛屽姙娉�"}

查找办法让在setting.py文件中添加设置编码格式的代码：

FEED_EXPORT_ENCODING = 'utf-8'

添加后依旧不可以。

使用其他的格式编码：

reponse.body.decode('gbk')

会报错，某个字段不能被转换。

继续查找其他方法，此方法可以解决：

首先安装 chardet 库，使用以下代码，可以正常解决乱码问题，

import chardetgbkContent = response.body.decode(chardet.detect(response.body)['encoding'])print(gbkContent)

成功结果如下

{"rptCode":200,"msg":"成功","data":{"docId":989402,"docTitle":"恢复和处置计划实施暂行办法"}