elasticSearch核心概念的介绍（六）：常见的中文分词器

常见的中文分词器和使用

在上一章介绍了几种默认的分词器的规则和使用，有兴趣的可以参考一下
elasticSearch核心概念的介绍（五）：分词器的介绍和使用
在这一章我们介绍常见的中文分词器

为什么要使用中文分词器，我们可以简单来试一下。

请求

curl -X POST "http://172.25.45.150:9200/_analyze" -H 'Content-Type:application/json' -d '{ "analyzer":"standard", "text":"火箭明年总冠军"}'

响应

{ "tokens": [ { "token": "火", "start_offset": 0, "end_offset": 1, "type": "", "position": 0 }, { "token": "箭", "start_offset": 1, "end_offset": 2, "type": "", "position": 1 }, { "token": "明", "start_offset": 2, "end_offset": 3, "type": "", "position": 2 }, { "token": "年", "start_offset": 3, "end_offset": 4, "type": "", "position": 3 }, { "token": "总", "start_offset": 4, "end_offset": 5, "type": "", "position": 4 }, { "token": "冠", "start_offset": 5, "end_offset": 6, "type": "", "position": 5 }, { "token": "军", "start_offset": 6, "end_offset": 7, "type": "", "position": 6 } ]}

可以看到把每一个中文都进行了分词，我们通常希望它能够以词语等规则进行分词，所以这显然不是我们想要的结果

常见的分词器

​

smartCN : 一个简单的中文或英文混合文本的分词器(这里不做使用，因为用的比较少)IK分词器 更智能更友好的中文分词器

这里我的es是通过docker去安装的，因此有需要的朋友可以参考

Docker安装Elasticsearch和Kibana

版本为7.4.2

安装ik分词器

下载 Release v7.4.2 · medcl/elasticsearch-analysis-ik · GitHub尽量保持一致的tag

进入挂载目录

cd /mydata/elasticsearch/plugins

创建目录

mkdir ik

上传ik.zip

解压

unzip ./elasticsearch-analysis-ik-7.4.2.zip

删除压缩包

rm -rf ./elasticsearch-analysis-ik-7.4.2.zip

重启es

docker restart elasticsearch

使用ik分词器

请求

curl -X POST http://172.25.45.150:9200/_analyze -H 'Content-Type' -d '{ "analyzer":"ik_max_word", "text":"火箭明年总冠军"}'

响应

{ "tokens": [ { "token": "火箭", "start_offset": 0, "end_offset": 2, "type": "CN_WORD", "position": 0 }, { "token": "明年", "start_offset": 2, "end_offset": 4, "type": "CN_WORD", "position": 1 }, { "token": "总冠军", "start_offset": 4, "end_offset": 7, "type": "CN_WORD", "position": 2 }, { "token": "冠军", "start_offset": 5, "end_offset": 7, "type": "CN_WORD", "position": 3 } ]}

这就我们就能看到ik分词后的效果，达到了我们想要的效果。