elasticsearch、kibana、Ik分词器基于docker的单点部署

news/2024/4/27 4:02:12/文章来源:https://blog.csdn.net/qq_44749491/article/details/127627937

一、创建网络

由于需要让eskibana容器互联,因此需要先创建一个网络。

但当也可以使用docker-compose的方式来完成一键互联,那样的话就不需要创建网络。

docker network create es-network

二、安装elasticsearch

2.1 dockerHub直接拉取镜像的方式

2.1.1 dockerHub上搜索elasticsearch官方镜像

在这里插入图片描述

2.1.2 执行拉取镜像命令

docker pull elasticsearch:7.12.1

2.1.3 查看镜像

docker images

2.1.4 创建并运行容器

docker run -d \--name es \-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \-e "discovery.type=single-node" \-v es-data:/usr/share/elasticsearch/data \-v es-plugins:/usr/share/elasticsearch/plugins \--privileged \--network es-network \-p 9200:9200 \-p 9300:9300 \
elasticsearch:7.12.1

命令解析:

  • -d:后台运行

  • --name:设置容器名称

  • -e:设置环境变量

    • ES_JAVA_OPTS=-Xms512m -Xmx512m":配置java虚拟机堆内存,也就是以后es将来运行时能用的内存空间。这个值默认是1G,学习时为了减轻电脑压力调成512M,但是不能够再低于这个值。
    • discovery.type=single-node:配置es运行模式为单点运行。实际生产环境会配置成集群运行。
  • -v:设置数据卷

    • es-data:/usr/share/elasticsearch/dataes的数据保存目录
    • es-plugins:/usr/share/elasticsearch/pluginses拓展时的插件目录
  • --privileged:授予逻辑卷访问权

  • --network:把es加入到某个网络当中

    • es-networkdocker创建的网络名称
  • -p:向外暴露的端口:

    • 9200:9200:给用户访问的http协议端口
    • 9300:9300:将来es各个节点进行互联时的端口,现在不暴露也可以
  • elasticsearch:7.12.1:容器名称

其它命令选项:

  • -e "cluster.name=es-docker-cluster":设置集群名称
  • -e "http.host=0.0.0.0":监听的地址,可以外网访问
  • -v es-logs:/usr/share/elasticsearch/logs:挂载逻辑卷,绑定es的日志目录

2.2 本地上传镜像的方式

由于elasticsearch的镜像非常大,有一个多G,直接从dockerHub中拉取可能等待的时间会有一些长。

此时也可以选择直接从本地上传一个es镜像。

2.2.1 先从华为云上拉取一个对应版本的镜像

https://repo.huaweicloud.com/elasticsearch/

在这里插入图片描述

选择一个想要版本的镜像,下载到本地。

2.2.2 使用finallshell把本地镜像上传到服务器/虚拟机

1)新建一个文件夹存放镜像

# 进入/usr/local文件夹
cd /usr/local
# 新建目录docker-images
mkdir docker-images

2)上传本地下载好的镜像文件
在这里插入图片描述

3)把镜像加载到docker中

docker load -i es.tar

4)按上面的命令创建并启动容器

只需要注意镜像名称的不同即可

2.3 访问elasticsearch

浏览器中输入:

# ip为自己浏览器或者服务器的ip地址
http://192.168.137.102:9200 

如果看到下面elasticsearch的响应结果,则证明容器启动成功。
在这里插入图片描述

需要较为流畅的运行elasticsearch至少需要2G以上运行内存,否则会比较卡

三、安装kibana

属于elastic stack技术栈中的一个组件,不但提供了数据可视化的服务,还可以方便的编写DSL语句操作es

但是不一定说用到elasticsearch的话,以后一定会用到kibana、如果不用则不需要安装。

注意点:

kibana和elasticsearch要在同一个网络当中

kibana和elasticsearch版本要保存一致

3.1 拉取kibana镜像

docker pull kibana:7.12.1

如果怕拉取过慢,也可以使用windows系统去华为云上下载镜像,再上传到服务器。

https://repo.huaweicloud.com/kibana/

3.2 创建并运行kibana容器

docker run -d \--name kibana \-e ELASTICSEARCH_HOSTS=http://es:9200 \--network=es-network \-p 5601:5601  \
kibana:7.12.1

命令解析:

  • -d:后台运行
  • --name:设置容器名称
  • -e:设置环境变量
    • ELASTICSEARCH_HOSTS=http://es:9200:设置elasticsearch主机地址
    • eselasticsearch的容器名称
  • --network es-network :加入一个名为es-network的网络中,与elasticsearch在同一个网络中
  • -p 5601:5601:端口映射配置

3.3 访问kibana

kibana启动一般比较慢,需要多等待一会。

可以通过看看日志命令,当日志出现时,即代表kibana启动成功!

docker logs -f kibana

kibana启动成功后,浏览器访问如下地址:

# ip为自己浏览器或者服务器的ip地址
http://192.168.137.102:5601

在这里插入图片描述

上面界面正常显示则kibana部署正常!

3.4 使用DevTools工具

kibana中提供了一个DevTools工具。它可以很容易的发送一个elasticsearch请求。

1)点击Explore on my own

第一次使用,并没有数据需要添加,所以选择它。

2)点击右上角的devtools
在这里插入图片描述

3)devtools主页
在这里插入图片描述

这个界面中可以编写DSL来操作elasticsearch。并且对DSL语句有自动补全功能

四、安装IK分词器插件

elasticsearch自带的分词器,只对英语的分词效果好,而对中文的分词却效果不佳。

比如在kibanadevtools工具中用默认分词器对中文进行分词:

# 模拟分词请求
POST /_analyze                            
{"analyzer": "standard", 	                     "text": "你好,李银河。今天天气真不错!"
}
  • analyzer:分词规则
    • standard表示标准默认的分词规则
    • english表示英文分词规则
    • chinese表示英文分词规则
  • text:需要分词的内容
    在这里插入图片描述

无论使用哪一种分词规则,中文都是逐字分词,因为elasticsearch是没有办法理解中文含义的。

IK分词器就可以帮我们更好的进行中文分词。

4.1 在线安装ik插件(较慢)

1)进入容器内部

docker exec -it es /bin/bash

es是elasticsearch容器的容器名称

2)在线下载并安装

./bin/elasticsearch-plugin  install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip

3)退出容器

exit

4)重启容器

docker restart es

4.2.离线安装ik插件(推荐)

1)查看elasticsearch的数据卷目录

安装插件需要知道elasticsearchplugins目录位置,可以通过以下命令些查看:

docker volume inspect es-plugins

在这里插入图片描述

说明plugins目录被挂载到了:/var/lib/docker/volumes/es-plugins/_data 这个目录中。

2)下载和之前es版本一直的ik分词器

https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.12.1

在这里插入图片描述

3)把下载并且好的文件上传到插件目录下
在这里插入图片描述

4)重启容器

docker restart es

5)查看日志

docker logs -f es

4.3 测试IK分词器

IK分词器包含两种模式:

  • ik_smart:最少粒度切分
  • ik_max_word:最细粒度切分

ik_smart 分出的词比较少,搜索到的概率小一些,但是占用的内存空间也会更小

ik_max_word 可以分出更多的词,让搜索到的概率变大,但是也会占用更多的空间

1)ik_smart

GET /_analyze
{"analyzer": "ik_smart","text": "你好,李银河。今天天气真不错!"
}

在这里插入图片描述

2)ik_max_word

GET /_analyze
{"analyzer": "ik_max_word","text": "你好,李银河。今天天气真不错!"
}

在这里插入图片描述

4.4 扩展ik分词器词典

随着互联网的发展,在原有的词汇列表中并不存在的新的词语。所以IK分词器提供了扩展词汇的功能。

1)打开IK分词器config目录下的分词配置文件

在这里插入图片描述

打开后发现配置文件中已经有了默认的几种配置情况:
在这里插入图片描述

这里选择第一种,在ext_dict文件中配置拓展词典。要注意标签中间的文件名是还没有写的,需要自己补上。

在这里插入图片描述

这里就用ext_dict来作为文件名即可

2)新建一个拓展词典文件,并书写内容

# 进入ik分词器目录
cd /var/lib/docker/volumes/es-plugins/_data/elasticsearch-analysis-ik-7.12.1/config# 新建ext_dict文件
touch ext_dict

在这里插入图片描述

所有出现的新词都可以写在里面,一个只能写一个词

当前文件的编码必须是 UTF-8 格式,严禁使用Windows记事本编辑

4.5 停用词词典

在互联网项目中,在网络间传输的速度很快,但是很多语言是不允许在网络上传递的。

如:关于宗教、政治等敏感词语,那么在搜索时也应该忽略当前词汇。

1)配置停用词词典

在这里插入图片描述

默认目录下就有一个停用词词典,我们可以使用它,然后在stopword.dic文件中进行拓展。

2)拓展默认的停用词词典

在这里插入图片描述

默认的停用词词典配置了一些英文,我们在文件末尾继续添加想要停用的中文词汇即可。

当前文件的编码必须是 UTF-8 格式,严禁使用Windows记事本编辑

3)重启elasticsearch让修改的分词器配置生效

# 重启服务(es是容器名称)
docker restart es
docker restart kibana# 查看 日志
docker logs -f es

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_410375.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AWS 使用Lambda实现钉钉机器人报警

aws 支持邮件和短信的报警通知,考虑时效性问题和结合公司的使用情况,需要接入钉钉机器人的告警提醒,为了使用钉钉机器人的告警,我们利用LambdaSNS,利用Lambda接受SNS的警告信息,然后通过python发送到钉钉机…

Git快速入门

本文是我在学习过程中记录学习的点点滴滴,目的是为了学完之后巩固一下顺便也和大家分享一下,日后忘记了也可以方便快速的复习。 Git前言一、版本控制1.1、常见的版本控制工具二、版本控制分类2.1、本地版本控制2.2、集中版本控制 SVN2.3、分布式版本控制…

从0到1实现python基于RPC协议的接口自动化测试

01、什么是RPC RPC(Remote Procedure Call)远程过程调用协议是一个用于建立适当框架的协议。从本质上讲,它使一台机器上的程序能够调用另一台机器上的子程序,而不会意识到它是远程的。 RPC 是一种软件通信协议,一个程…

记一次VMOS Pro破解记录

vmos pro是在安卓上运行的安卓模拟器,自带root,免root运行Xposed,免root运行Magisk等,支持修改分辨率,支持谷歌GMS服务,后台可持续运行. 背景 意外发现这么一款好玩的虚拟机但使用起来有诸多限制&#xff…

科研快报|全长扩增子测序揭示口腔微生态变化可用作阿尔兹海默症识别指标

背景介绍 阿尔茨海默病(AD)是一种神经退行性疾病,通常影响老年人。由于老年人患牙根龋和缺牙的发病率较高,这些牙齿问题中涉及的细菌可能会恶化他们的认知功能。口腔中微生物群的改变可能通过从口腔迁移到大脑而诱发神经炎症。然…

Spring IOC 核心流程介绍

前言 接下来我们编写入口代码,跟代码梳理一下Spring IOC一些重要的方法节点。IOC有12个比较重要的方法,把这12个方法学习一下,整个Spring IOC基本就差不多了。 编写Spring IOC入口 1、创建需要被管理的类 接口类: package se…

爱尔兰药品局药品信息数据查询

爱尔兰位于欧洲西部的爱尔兰岛中南部,多年来实施低税率国家政策,吸引着全球各大巨头公司,如苹果、谷歌、脸书等巨头,其中不乏包含很多医药企业,如世界级生物医药巨头辉瑞(Pfizer)、诺华&#xf…

刷题笔记(牛客java选择题)

目录 访问权限修饰符 抽象类和接口 线性安全的集合类 线性不安全的集合类 方法重载与重写 getDeclaredMethods方法 浮点型 和 long 不能做 switch() 的参数类型 java程序运行命令 字符串的不可变性 访问权限修饰符 抽象类和接口 使用abstract修饰的类或方法,就…

MacOS安装FFmpeg

MacOS安装FFmpeg方式一、使用Homebrew安装FFmpeg1. 安装Homebrew2. 安装FFmpeg方式二、通过官网安装FFmpeg方式一、使用Homebrew安装FFmpeg 1. 安装Homebrew 如果你的Mac上没有安装Homebrew,那么就先来安装Homebrew吧!步骤如下: 打开Termi…

学习笔记-Linux 安全

Linux 安全 免责声明 本文档仅供学习和研究使用,请勿使用文中的技术源码用于非法用途,任何人造成的任何负面影响,与本人无关. 漏洞利用 OS-Exploits LOL Living Off The Land 相关文章 busybox docker 受限环境下回传文件命令行上线小技巧 相关资源 GTFOBinshttps://github.com…

前端高频手写题自测,你能做出几道

实现字符串的repeat方法 输入字符串s,以及其重复的次数,输出重复的结果,例如输入abc,2,输出abcabc。 function repeat(s, n) {return (new Array(n 1)).join(s); }递归: function repeat(s, n) {return…

edge:H5抓包

1、打开edge:并输入地址:edge://inspect/#devices 2、USB连接手机,并手机和电脑使用WiFi连接同一个ssid,以使手机和电脑在同一个网络; 3、手机设置:1)打开开发人员选项 2)进入开发人员选项,并开启USB调试 3)进入开发人员选项,设置USB配置为RNDIS 4、开始抓…

【架构】架构到底是是什么

对于技术人员来说,「架构」是一个再常见不过的词了。我们会对新员工培训整个系统的架构,参加架构设计评审,学习业界开源系统(例如,MySQL、Hadoop)的架构,研究大公司的架构实现,例如,微信架构、淘宝架构……虽然「架构」这个词常见,但如果深究一下「架构」到底指什么,…

简单的Java web项目源码(10个)

引言:Java web项目主要采用mvc的的设计思想,系统主要采用javajspservletmysqleclipse实现,具有登陆、分页、导出excel,增删改查等功能,适合初学者,满足基本的实训需求,以下是推荐的几款,总有适合…

【备战蓝桥杯 | 软件Java大学B组】十三届真题深刨详解(2)

个人名片: 🐼作者简介:一名大二在校生,喜欢编程🎋 🐻‍❄️个人主页🥇:小新爱学习. 🐼个人WeChat:hmmwx53 🕊️系列专栏:&#x1f5bc…

以开发之名 | 小红书:用年轻人的方式开发年轻人喜欢的应用

2013年,小红书在上海成立,同年12月,小红书推出海外购物分享社区。一个开放式的体验型分享社区走进了数亿用户的生活。每个人都能在这个开放社区,分享自己的生活笔记,给有同样需求的人种草。 小红书用户“一只雪梨酱”的…

EPICS记录参考--数据扇出记录(dfanout)

数据散出或"dfanout"记录用于最多转发数据到8个其它记录。除了向它添加了转发数据的能力外,它类似于fanout记录。它没有相关联的设备支持。 参数字段 在下面描述记录特定的字段,按功能分组。 扫描参数 数据fanout记录有用于指定其在什么情况…

k3s 指南

k3s 指南 文章目录k3s 指南简介什么是 K3s?技术亮点架构发展趋势云边缘k3s 周边单节点高可用代理注册部署清单集群要求大型集群cpu 与 内存数据库配置选项使用安装脚本二进制配置配置文件网络选项Flannel options简介 轻量级Kubernetes k3s是经CNCF一致性认证的Kubernetes发行…

Spring底层核心概念

在深入Spring核心源码之前,需要了解一些Spring的核心概念,便于后面的进行展开。 一:BeanDefinition 表示Bean定义,BeanDefinition中存在很多属性用来描述一个Bean的特点; class,表示Bean的类型scope,表示Bean作用域…

快速排序【模板+边界处理】

全文目录:😃快速排序的思想😕 快速排序演示图😴 代码模板❗️ i 和 j 的取值和循环处理 ❗️🗽 i 和 j 的取值 🗽🗽 循环条件判断 🗽💢 边界问题 💢&#x1f…