ElasticSearch之基本概念小结

一、产品及适用场景二、基本概念三、搜索和聚合四、DOC和Index 一、产品及适用场景 ElasticSearch是一个开源的分布式搜索与分析引擎，提供了近实时搜索和聚合两大功能。Elastic Stack包括ElasticSearch,Kibana,Logstash,Beats等产品
ElasticSearch是核心引擎，提供了海量数据存储，搜索和聚合能力
Beats是轻量的数据采集器
Logstash用来做数据转换
Kibana提供了可视化ElasticStack主要被广泛使用于：搜索、日志管理、安全分析、指标分析、业务分析、应用性能监控等多个领域相对于关系型数据库，ES提供了模糊查询、搜索条件的算分等关系型数据库不擅长的功能。但是在事务性方面，远不如关系型数据库。因此，在实际的生产环境中，需要考虑具体业务要求，综合使用 二、基本概念 ES集群可以运行在单节点上，也可以运行在多个服务器上，实现数据和服务的水平扩展索引
从逻辑角度看，索引是一系列具有详细结构的文档的集合
从物理角度看，分片是一个Lucence实例。分片存储了索引的具体数据，分片可以分布在不同的节点上。副本分片除了提高数据的可靠性，还能一定程度提升集群查询的性能ES的文档可以实任意的JSON格式的数据将文档写进ES的过长也叫做索引 indexingES提供了REST API和Transport API，建议使用REST API 三、搜索和聚合 Precosion指除了相关的结果，还反馈了多少不相关的结果Recall 衡量有多少相关的结果，实际上并没有返回精确值包括：数字，日期和某些具体的字符串全文本：是需要被检索的非结构文本Analyis是将文本转换成倒排索引中Terms的过程ElasticSearch的Analyzer是Char_filter - Tokenizer - Token Filter的过程要善于利用_analyze API去测试AnalyzerES搜索支持URL Search和REST Body两种方式ES提供了Bucket/Metrix/pipeline/matrix四种方式的聚合 四、DOC和Index 除了CRUD操作外,ES还提供了bulk，mget和msearch等操作。从性能角度上看，建议使用批量操作。但是单词操作的数据量也不建议过大，以免引发性能问题。每个索引都有一个Mapping定义。包含文档的字段和类型，字段的Analyzer相关配置等。Mapping可以被动态的创建，为了避免一些错误的类型推算或者满足你特定的需求，可以显示的指定索引mappingMapping可以动态创建，也可以显示指定定义。可以在Mapping中定制Analyzer可以为字段指定定制化的analyzer，也可以为查询字符串指定search_analyzerIndex Template可以定义Mapping和Settings，并自动应用到新创建的索引上，建议合理使用IndexTemplate！DynamicTemplate支持在具体的索引上指定规则，为新增加的字段指定对应的mappings