# 1.下载ES
- https://www.elastic.co/cn/start#环境说明
在Linux(centos7中安装,es包里有自带jdk,es7一般要用jidk11+
es安装不能使用root用户,需创建普通用户
# 添加用户名$ useradd es_lxx# 修改密码$ passwd es_lxx# 普通用户登录$ su es_lxx
上传es压缩包到es_lxx用户目录下
#解压压缩包tar -zxvf elasticsearch-7.14.0-linux-x86_64.tar.gz
#解压后的目录结构[es_lxx@lxx02 elasticsearch-7.14.0]$ ll- bin 启动ES服务脚本目录- config ES配置文件的目录- data ES的数据存放目录(启动后生成)- jdk ES提供需要指定的jdk目录- lib ES依赖第三方库的目录- logs ES的日志目录- modules 模块的目录- plugins 插件目录
#启动es,在bin目录下启动$ ./elasticsearch
如果有报错,有可能是本地有安装了JDK用到本地的JDK了,指定下环境变量,没报错就不用
# 配置环境变量$ vim /etc/profile- export ES_JAVA_HOME=指定为ES安装目录中jdk目录- source /etc/profile
用本机返问下:返回这些信息代表成功,es默认的监听端口是9200
开启远程访问# 1.默认ES无法使用主机ip进行远程连接,需要开启远程连接权限- 修改ES安装包中config/elasticsearch.yml配置文件
修改完后启动报了三个错
需要修改每个进程最大同时打开文件数修改elasticsearch用户拥有的内存权限太小,至少需要262144因为es默认以集群的方式启动,这里缺少es集群的默认配置,这里我们给他改成单机版解决上面的错误:记得切换到root用户,否则会提示权限不足
# 解决错误-1,修改最大的打开文件数量#打开limits.conf文件$ vim /etc/security/limits.conf# 在最后面追加下面内容* soft nofile 65536* hard nofile 65536* soft nproc 4096* hard nproc 4096# 退出重新登录检测配置是否生效(su 到别的用户,在su 回来就可以)ulimit -Hnulimit -Snulimit -Huulimit -Su# 解决错误-2,修改最大的打开文件数量# 编辑sysctl.conf文件$ vim /etc/sysctl.conf#添加属性vm.max_map_count=655360# 执行以下命令生效:$ sysctl -p# 解决错误-3,修改集群模式# 编辑elasticsearch.yml配置文件,这个文件在es安装目录的config目录下$ vim elasticsearch.ymlcluster.initial_master_nodes: ["node-1"]修改后用es用户重启es
这样就可以用远程访问es了
安装完es之后,我们在来安装kibana。
安装kibanakibana是es的可视化平台,类似Navicat与mysql的关系,使用Kibana可以查询、查看并与存储在ES索引的数据进行交互操作,使用Kibana能执行高级的数据分析,并能以图表、表格和地图的形式查看数据。
注意kibana的版本号要和es的版本号一致,kibana安装前要先把es启动起来
# 1、下载Kibana- https://www.elastic.co/downloads/kibana#首先把下载好的kibana压缩包放到自己喜欢的目录# 2.解压下载的kibana- $ tar -zxvf kibana-7.14.0-linux-x86_64.tar.gz # 3、编辑kibana配置文件- $ vim /Kibana 安装目录中 config 目录/kibana/kibana.yml# 4、修改如下配置- server.host: "0.0.0.0" # 开启kibana远程访问- elasticsearch.hosts: ["http://localhost:9200"] #ES服务器地址# 5、启动kibana,进入到kibana安装文件夹下- ./bin/kibana# 6、访问kibana的web界面 - http://192.168.1.129:5601/ #kibana默认端口为5601
分词器 Analysis 和 Analyzer
`Analysis`: 文本分析是把全文本转换一系列单词(term/token)的过程,也叫分词(Analyzer)。Analysis是通过Analyzer来实现的。`分词就是将文档通过Analyzer分成一个一个的Term(关键词查询),每一个Term都指向包含这个Term的文档`。
Analyzer 组成
注意: 在ES中默认使用标准分词器: StandardAnalyzer 特点: 中文单字分词 单词分词
我是中国人 this is good man----> analyzer----> 我 是 中 国 人 this is good man
分析器(analyzer)都由三种构件组成的:character filters , tokenizers , token filters。
character filter 字符过滤器
在一段文本进行分词之前,先进行预处理,比如说最常见的就是,过滤html标签(hello --> hello),& --> and(I&you --> I and you)
tokenizers 分词器
英文分词可以根据空格将单词分开,中文分词比较复杂,可以采用机器学习算法来分词。
Token filters Token过滤器
将切分的单词进行加工。大小写转换(例将“Quick”转为小写),去掉停用词(例如停用词像“a”、“and”、“the”等等),加入同义词(例如同义词像“jump”和“leap”)。
注意:
三者顺序: Character Filters--->Tokenizer--->Token Filter
三者个数:Character Filters(0个或多个) + Tokenizer + Token Filters(0个或多个)
内置分词器
Standard Analyzer - 默认分词器,英文按单词词切分,并小写处理
Simple Analyzer - 按照单词切分(符号被过滤), 小写处理
Stop Analyzer - 小写处理,停用词过滤(the,a,is)
Whitespace Analyzer - 按照空格切分,不转小写
Keyword Analyzer - 不分词,直接将输入当作输出
内置分词器测试标准分词器
特点: 按照单词分词 英文统一转为小写 过滤标点符号 中文单字分词
POST /_analyze{ "analyzer": "standard", "text": "this is a , good Man 中华人民共和国"}
Simple 分词器
特点: 英文按照单词分词 英文统一转为小写 去掉符号 中文按照空格进行分词
POST /_analyze{ "analyzer": "simple", "text": "this is a , good Man 中华人民共和国"}
Whitespace 分词器
特点: 中文 英文 按照空格分词 英文不会转为小写 不去掉标点符号
POST /_analyze{ "analyzer": "whitespace", "text": "this is a , good Man"}
创建索引设置分词PUT /索引名{ "settings": {}, "mappings": { "properties": { "title":{ "type": "text", "analyzer": "standard" //显示指定分词器 } } }}
中文分词器在ES中支持中文分词器非常多 如 smartCN、IK 等,推荐的就是 IK分词器。
IK分词器安装开源分词器 Ik 的github:GitHub - medcl/elasticsearch-analysis-ik: The IK Analysis plugin integrates Lucene IK analyzer into elasticsearch, support customized dictionary.
注意 IK分词器的版本要你安装ES的版本一致
下载完ik分词器后是一个zip文件,在window解压后放入到es的plugins目录下
然后启动es
IK使用 IK有两种颗粒度的拆分:
ik_smart: 会做最粗粒度的拆分
ik_max_word: 会将文本做最细粒度的拆分
POST /_analyze{ "analyzer": "ik_smart", "text": "中华人民共和国国歌"}
POST /_analyze{ "analyzer": "ik_max_word", "text": "中华人民"}
扩展词、停用词配置 IK支持自定义扩展词典和停用词典
扩展词典就是有些词并不是关键词,但是也希望被ES用来作为检索的关键词,可以将这些词加入扩展词典。
停用词典就是有些词是关键词,但是出于业务场景不想使用这些关键词被检索到,可以将这些词放入停用词典。
定义扩展词典和停用词典可以修改IK分词器中config目录中IKAnalyzer.cfg.xml这个文件。
1、修改vim IKAnalyzer.cfg.xml <?xml version="1.0" encoding="UTF-8"?>
注意: 词典的编码必须为UTF-8,否则无法生效!