分类： Elasticsearch

Elasticsearch 安装备忘

下载地址

下载ES 下载kibana logstash cerebo analysis-ik中文分词插件 用户案例

所有软件及插件版本必须一致

安装ES

install-elasticsearch

启动方式systemed

service elasticsearch start

查看版本 

sudo /usr/share/elasticsearch/bin/elasticsearch --version
Version: 7.17.1, Build: default/deb/e5acb99f822233d62d6444ce45a4543dc1c8059a/2022-02-23T22:20:54.153567231Z, JVM: 17.0.2

开发机器修改内存配置

官方文档 ES6/7修改内存大小

Elasticsearch参数调优

//配置文件目录，如果没有权限请使用高权限账号修改
/etc/elasticsearch/jvm.options

//内存配置项，开发机建议设置为1~2g节省内存，生产环境不能超过32g
-Xms1g
-Xmx1g

安装插件 以analysis-ik为例

插件默认目录：/usr/share/elasticsearch/plugins 新建目录ik

下载插件，移动所有文件到ik目录下,重启elasticsearch

sudo cd /usr/share/elasticsearch/plugins
sudo unzip -o elasticsearch-analysis-ik-x.x.x.zip -d ik
sudo rm -rf elasticsearch-analysis-ik-x.x.x.zip

访问地址和默认端口 http://127.0.0.1:9200/

{
  "name" : "MINIPC-PN51-E1",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "e9ml_7fiTemo3tW5ug5_Jg",
  "version" : {
    "number" : "7.17.0",
    "build_flavor" : "default",
    "build_type" : "deb",
    "build_hash" : "bee86328705acaa9a6daede7140defd4d9ec56bd",
    "build_date" : "2022-01-28T08:36:04.875279988Z",
    "build_snapshot" : false,
    "lucene_version" : "8.11.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

配置用户名，密码

安装kibana

kibanna下载地址

service kibana start

访问地址和默认端口 http://localhost:5601/

汉化配置

//配置文件目录
/etc/kibana/kibana.yml
//i18n 设置为中文
i18n.locale: "zh-CN"

安装logstash

下载logstash 需要安装jdk

安装cerebro

下载地址 需要安装jdk

启动失败解决方法

#修改systemd配置 /usr/lib/systemd/system/cerebro.service
ExecStart=/usr/share/cerebro/bin/cerebro -java-home /usr/java/jdk-11.0.12 -Dhttp.port=9000 -Dhttp.address=127.0.0.1
service cerebro start

访问地址和默认端口 http://localhost:9000/

Elasticsearch Mapping 和 Setting

Mapping

是定义文档及其包含的字段的存储和索引方式的过程,相当于关系型数据库中定义数据库和表结构的语句

核心数据类型 Core datatypes

  • 字符串(string) : text 和 keyword
  • 数字(numeric): long ,integer ,short byte double float half_float scaled_float
  • 日期(date): date date_nanos （纳秒）
  • 布尔(boolean)
  • 二进制 (Binary)

复杂数据类型 Complex datatypes

  • Object json对象
  • Nested 嵌套类型

Geo 数据类型 （地理位置）

专有数据类型 Specialised datatypes

  • IP IPv4 and IPv6

Range 范围

https://www.elastic.co/guide/en/elasticsearch/reference/current/range.html

数组

在Es中数组不需要专门定义，任何字段都可以包含另个或多个值即数组，数组中的所有制都必须具有相同的数据类型。

多字段 Multi-fileds

为不同的目的以不同的方式为同一字段建立索引

设置多个字段可以使用不同方式索引，使用不同的analyzer

PUT my_index
{
  "mappings": {
    "properties": {
      "city": {
        "type": "text",
        "fields": {
          "raw": { 
            "type":  "keyword"
          }
        }
   },
   "comment": {
        "type": "text",
        "fields": {
          "english_comment": { 
            "type":  "text",
             "analyzer":"english"，
             "search_analyzer":"english"
          }
        }
      }
    }
  }
}

Dynamic Mapping 自动创建Mapping

创建index时,不需要定义Mapping，Es根据数据类型自动判断创建类型，优点是方便，缺点是有时后自动创建类型不是你想要的数据类型。

Mapping 字段类型修改机制

1.新增字段

Dynamic 设置为true时,一旦新增字段的文档写入，Mapping也同时被更新

Dynamic 设置为false，Mapping不会被更新，新增字段的数据无法被索引，但是信息会出现在_source中。

Dynamic设置成Strict,文档写入失败

2.已有字段，一旦已经有数据写入，就不再支持修改字段定义

Lucene实现的倒排索引,一旦生成后，就不允许修改

3.如果希望改变字段类型，必须Reindex Api，重建索引，因为如果修改了字段的数据类型，会导致已经索引的数据数据无法被搜索，新增自担不会有这种影响。

PUT movies
{
 "mappings":{
    "_doc":{
      "dynamic":"false"
    }
 }
}

自定义Mapping

1.参考API手册，纯手写

2.为了减少输入的工作量，减少出错概率，可以依靠以下步骤

  • 创建临时的index，写入一些样本数据
  • 通过访问Mapping API获取该临时文件的动态Mapping 定义
  • 修改后使用该配置创建你的索引
  • 删除临时索引

Index Options

四种不同界别的Index Options 配置，可以控制倒排索引记录的内容

  • docs – 记录doc id
  • freqs – 记录doc id 和 term frequencies
  • postions – 记录 doc id / term frequencies /term positon
  • offsets – 记录 doc id / term frequencies /term posistion / character offects

Text类型默认记录postions，其它默认为docs

记录内容越多，占用存储空间越大

null value

设置null_value 属性可以搜索null值

PUT users
{
  "mappings":{
    "properties":{
      "firstName":{
       "type":"text",
       "index":false //不索引该字段
      }，
     "bio":{
       "type":"text",
       "index_options":"offsets"
     },
     "mobile":{
       "type":"text",
       "null_value":"NULL"
     }
   }
  }
}

精确值和全文本 Exact values vs Full Text

精确值不需要做分词处理

创建自定义分词器

Elasticsearch CRUD基本操作

文档CRUD

IndexPUT my_index/_doc
{“user”:”mike”,”comment”:”you know for search”}
CreatePUT my_index/_create/1
{“user”:”mike”,”comment”:”you know for search”}
POST my_index/_doc(不指定ID,自动生成)
ReadGET my_index/_doc/1
UpdatePOST my_index/_update/1
{“doc”:{“user”:”mike”,”comment”:”you know, Elasticsearch”}}
DeleteDELETE my_index/_doc/1
  • Type名，约定都用_doc ，相当于RDMBS的表名都叫_doc
  • Create—如果指定的ID已存在，会失败
  • Index—如果ID不存在,创建新的文档。否则，先删除先有的文档，再创建新的文档，版本会增加
  • Update—文档必须已经存在，更新只会对响应字段做增量修改

Bulk API

在单次API调用中执行多个索引编制或删除操作。这样可以减少开销，并可以大大提高索引速度。

支持四种类型操作 Index,Create,Update,Delete

mget

在单次请求中对一个或多个索引进行查询

msearch

在单词API请求中执行多个search

Elasticsearch 基本概念：索引 文档 REST API

ES与关系型数据库相似性对比

RDBMS(以Mysql为例)Elasitcsearch
存储引擎不同的数据分布 Setting
数据库 Schema(Database)文档字段类型 Mapping 相当于关系型数据库的表结构
数据表 Table索引 Index 类型 Type
数据行 Row文档 Document
数据列(字段) Column字段 Fields
DQL(数据查询)DSL
DML(数据操作)DSL

ps:7.0以后一个Index只能创建一个Type,并统一命名为 _doc,相当于一个数据库只能创建一个表

文档

  • Es是面向文档的搜索引擎，文档是所有可搜索数据的最小单位，相当于关系型数据库中的一条记录
  • 文档以json格式存储，json对象由字段组成对应数据类型有:字符串,数值,布尔值，日期，二进制，范围类型
  • 每个文档都有一个Unique ID 你可以自己指定 ID 或者通过Es自动生成

文档元数据

  • _index 文档所属索引名
  • _type 文档所属类型名
  • _id 文档唯一ID
  • _source 文档的原始json数据
  • _version 文档的版本信息
  • _score 相关性打分
  • _all 所有字段的整合信息，已废除

索引

文档的容器，一类文档的结合

  • Index 体现了逻辑空间的概念：每个索引都有自己的Mapping定义，用于定义包含的文档字段名和字段类型
  • Shard 体现了物理空间的概念：索引中的数据分散在Shard上

索引的Mapping和Settings

  • Mapping定义文档字段的类型
  • Setting定义不同的数据分布

索引的不同语义

  • 名词：一个ES集群中，可以创建很多不同的索引
  • 动词：保存一个文档到ES的过程也叫索引（indexing）ES中，创建一个倒排索引的过程
  • 名词：一个B tree索引，一个倒排索引

相关文章

告别类型，迎接无类型

elasticsearch 基本概念：集群 节点 分片

极客时间学习笔记

简介

elasticsearch是用java语言开发的基于lucene的全文搜索引擎。

特性

高可用，可扩展的分布式系统

服务可以用性-允许有节点停止服务

数据可用性-部分节点丢失不会丢失数据

扩展性-请求量提升/数据不断增长（将数据分不到多有节点上）,水平扩容

分布式架构

不同的集群通过不同的名字区分，默认名字 “elasticsearch”,可以通过配置文件或者命令行启动时中 -E cluster.name = xxx 设定 配置文件

一个集群可以有一个或多个节点

节点

节点是一个elasticsearch的实例,本质上是一个java的进程，一台机器可以运行多个节点，生产环境建议一台机器只运行一个elasticsearch实例

每个节点都有自己的名字，通过配置文件，或者启东时 -e node.name = xxx 指定，节点启动后会分配一个UID，保存在data目录下

Master-eligible nodes 和 Master Node

每个节点启动后，默认就是一个master eligible 节点（可以通过配置关闭 node.master:false）

每一个Master-eligible节点都可以参加选主流程，成为Master节点

第一个Master-eligible节点启动时会将自己选举为Master节点

每个节点上都保存了集群的状态，只有Master节点才能修改集群的状态(大哥说了算，保持数据一致性)

集群状态中存储了必要信息 ：所有节点的信息；所有索引和相关Mapping与Setting信息；分片路由信息

Data node 和 Coordinaing Node

Data node 保存数据的节点，负责保存分片数据，数据扩展时起重要作用（待补充)

Coordinating Node

负责接受Client请求，将请求分发到合适的节点，最终把结果汇总到一起，每个节点默认都起到Coordinating Node的职责

其他的节点类型

Hot & Warm Node 不同配置的Data Node,用来实现Hot & Warm 架构 降低集群部署成本,Hot高配置机器，Warm低配置机器。

Machine Learning Node 负责跑机器学习 Job ,用来做异常检测

Tribe Node 连接不同的Es集群并支持将这些集群当成一个单独集群处理后续版本将会废弃，5.3开始使用Search across clusters替代

配置节点类型

开发环境一个节点可以承担多种角色

生产环境设置单一的角色节点（dedicated node）

节点类型配置参数默认值
maste eligiblenode.mastertrue
datanode.datatrue
ingestnode.ingesttrue
coordinating only无每个节点默认都是coordinating节点设置其他类型全部为false
machine learningnode.mltrue(需 enable x-pack)

分片(Primary shard & Replica Shard)

主分片,用以解决数据水平扩展的问题，通过主分片,可以将数据分布到集群内的所有节点之上

  • 一个分片是一个运行的Lucene的实例
  • 主分片数在索引创建时指定,后续不允许修改,除非Reindex

副本分片,用以解决数据高可用的问题。分片是主分片的拷贝

  • 副本分片数，可以动态的调整
  • 增加副本数，一定程度上提高服务的可用性（读取的吞吐量）

分片的设定

对于生产环境中分片的设定，需要提前做好容量规划

分片数设置过小

  • 导致后续无法增加节点实现水平扩展
  • 单个分片的数据量太大，导致数据重新分配耗时

分片数设置过大,7.0开始，默认主分片设置成1,解决了over-sharding的问题

  • 影响搜索结果的相关性打分，影响统计结果的准确性
  • 单个节点上过多的分片会导致资源浪费同事也会影响性能

查看集群状态

GET _cluster/health

{
  "cluster_name" : "elasticsearch",
  "status" : "yellow",//green主分片与副分片都正常 yellow主分片全部分配正常，有副本分片未能正常分配，red有主分片未能分配，例如当服务器磁盘容量超过85%去创建新的索引时
  "timed_out" : false,
  "number_of_nodes" : 1,
  "number_of_data_nodes" : 1,
  "active_primary_shards" : 7,
  "active_shards" : 7,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 1,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 87.5
}