100字范文 > 安装配置ELK 安装配置ElasticSearch7.13 安装配置Kibana7.13 安装配置Logstash7.13

安装配置ELK 安装配置ElasticSearch7.13 安装配置Kibana7.13 安装配置Logstash7.13

时间：2018-07-24 12:59:19

提示：部分资源可能访问较慢，根据自身情况进行需修改

安装ElasticSearch7.13

linux安装

# 下载wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.13.0-linux-x86_64.tar.gz# 解压tar -zxvf elasticsearch-7.13.0-linux-x86_64.tar.gz# 将elasticsearch-7.13.0移动到usr下面并改为elasticsearchmv /root/elasticsearch-7.13.0 /usr/elasticsearch/# 进入/usr/elasticsearchcd /usr/elasticsearch# 修改 config 下的 elasticsearch.ymlvim config/elasticsearch.ymlnode.name: node-1 network.host: 172.26.46.96 #http.port: 9200 cluster.initial_master_nodes: ["node-1"]# 修改 config/jvm.optionsvim config/jvm.options-Xms1g-Xmx1g# 上面这两个修改我在 elasticsearch-7.13.0 中是默认注释的，更具配置文件的的说法可以指定大小，也可以系统自动分配（我选择自动分配）# 添加es用户，es默认root用户无法启动，需要改为其他用户useradd es# 修改es用户密码passwd es# 改变es目录拥有者账号chown -R es /usr/elasticsearch/# 1、错误：bootstrap check failure [2] of [2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]#(elasticsearch用户拥有的内存权限太小)# 修改/etc/sysctl.confvim /etc/sysctl.confvm.max_map_count=655360# 执行sysctl -p 让其生效sysctl -p# 2、错误：bootstrap check failure [1] of [2]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]#(文件权限不足)# 修改/etc/security/limits.confvim /etc/security/limits.conf末尾添加：*soft nofile65536*hard nofile65536*soft nproc 4096 *hard nproc 4096#3、错误(这个错误暂时没有遇见过，)# 线程不够# 修改 vim /etc/security/limits.d/90-nproc.confvim /etc/security/limits.d/90-nproc.conf* soft nproc 1024 修改为 * soft nproc 4096# 切换es用户su es# 启动es(第一种方式)/usr/elasticsearch/bin/elasticsearch# 启动es（第二种方式-后台启动）/usr/elasticsearch/bin/elasticsearch -d# 查看es进程ps -ef|grep elasticsearch#访问http://ip:9200

win安装

win系统上就是下载解压启动，配置的话和linux基本一样

ElasticSearch添加用户密码（Linux和win都可以使用）

#在config目录中，编辑elasticsearch.yml文件，添加如下xpack.security.transport.ssl.enabled: truexpack.security.enabled: truehttp.cors.enabled: truehttp.cors.allow-origin: "*"http.cors.allow-headers: Authorization,Content-Type,X-Requested-with,Content-Length# Linux 首先配置elasticsearch.yml文件后启动，然后在执行下方的操作#在bin目录下设置密码，输入y后输入自己设置的密码，要输入好几遍elasticsearch-setup-passwords interactive#将设置apm_system, beats_system, elastic, kibana_system, logstash_system, remote_monitoring_user这些内置用户的密码。请务必牢记！# 默认用户名elastic# 密码（自己设置的）2418870649

安装配置kibana

win安装

#访问http://127.0.0.1:5601

linux安装

# 下载https://artifacts.elastic.co/downloads/kibana/kibana-7.13.0-linux-x86_64.tar.gz# 解压tar -zxvf kibana-7.13.0-linux-x86_64.tar.gz# 将kibana-7.13.0-linux-x86_64移动到usr下面并改名为kibanamv /root/kibana-7.13.0-linux-x86_64 /usr/kibana/# 改变es目录拥有者账号chown -R es /usr/kibana/# 修改权限chmod -R 777 /usr/kibana/# 修改kibana.ymlcd /usr/kibanavim config/kibana.ymlserver.port: 5601server.host: "0.0.0.0"elasticsearch.hosts: ["http://172.26.46.96:9200"]# 启动（第一种方式）su es/usr/kibana/bin/kibana# 启动（第二种方式）nohup /usr/kibana/bin/kibana &# 用root启动（第三种方式）/usr/kibana/bin/kibana --allow-root# 查看kibana进程ps -ef|grep kibana# kibana dev tools快捷键：ctrl+enter 提交请求ctrl+i 自动缩进# 访问http://ip:5601

kibana中文界面显示

ElasticSearch设置密码后Kibana需要的设置

#在config目录里修改kibana.yml文件添加elasticsearch.username: "elastic"elasticsearch.password: "2418870649"# kibana推荐用 kibana_system 用户# 这个设配不知道是第一次配置谁，设就是超级用户，还是说默认的elastic就是超级用户（下一次配置设个试一下）elasticsearch.username: "kibana_system"elasticsearch.password: "2418870649"

安装配置Logstash

linux安装和win安装

# 说明就在 win下面配置过，在linux中应该基本相同，基本配置没有问题# 注意！！！！！！！！！！！将mysql的jar 包放入 logstash-7.13.0\logstash-core\lib\jars 下# 放在 logstash-7.13.0\config 下文件名 mysql.confinput {stdin {}jdbc{jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/ly?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai"jdbc_driver_class => "com.mysql.cj.jdbc.Driver"jdbc_user => "root"jdbc_password => "2418870649"# 是否分页jdbc_paging_enabled => "true"# 分页大小jdbc_page_size => "50000"#设置时区jdbc_default_timezone => "Asia/Shanghai"# 执行sql语句statement => "select wid, articlename,articlekeyword,articledescription,artuclecontent,artuclethumbnail,artuledata from ly_article"# 下载连接数据库的驱动包，建议使用绝对地址jdbc_driver_library => "E:\logstash-7.13.0\logstash-core\lib\jars\mysql-connector-java-8.0.16.jar"# 这是控制定时的，重复执行导入任务的时间间隔，第一位是分钟不设置就是1分钟执行一次schedule => "* * * * *"}}output {elasticsearch {# 要导入到的Elasticsearch所在的主机hosts => ["http://localhost:9200"]# 要导入到的Elasticsearch的索引的名称index => "article"# 主键名称（类似数据库主键）document_id => "%{wid}"}stdout{# JSON格式输出codec => json_lines}}#启动 (配置文件启动 mysql.conf自己创建)bin\logstash.bat -f config\mysql.conf

Elasticsearch集成IK分词器

#win系统安装现在对应版本的中文分词器解压后把其中所有的内容复制到 E:\elasticsearch-7.13.0\plugins\ik 下面ik 自己手动创建#linux1、集成IK分词器IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。IK分词器3.0的特性如下：1）采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。2）采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。3）支持个人词条的优化的词典存储，更小的内存占用。4）支持用户词典扩展定义。5）针对Lucene全文检索优化的查询分析器IKQueryParser；采用歧义分析算法优化查询关键字的搜索排列组合，能极大的提高Lucene检索的命中率。下载地址：/medcl/elasticsearch-analysis-ik/releases安装方式一1）/usr/elasticsearch/bin/elasticsearch-plugin install /medcl/elasticsearch-analysis-ik/releases/download/v7.13.0/elasticsearch-analysis-ik-7.13.0.zip2）会提示 Continue with installation?输入 y 即可完成安装3）chown -R es /usr/elasticsearch/ 因为安装ik分词器后在elasticsearch/plugins和/usr/elasticsearch/config下的analysis-ik目录所有者不是es用户4）重启Elasticsearch 和Kibana安装方式二#新建analysis-ik文件夹cd /usr/elasticsearch/pluginsmkdir analysis-ik#切换至 analysis-ik文件夹下 cd analysis-ik #上传资料中的 elasticsearch-analysis-ik-7.13.0.zip#解压 unzip elasticsearch-analysis-ik-7.13.0.zip#解压完成后删除rm -rf elasticsearch-analysis-ik-7.13.0.zip# 重启Elasticsearch 和Kibana测试：# ik_max_word (常用) 会将文本做最细粒度的拆分POST _analyze {"analyzer": "ik_max_word", "text": "南京市长江大桥" }# ik_smart 会做最粗粒度的拆分（不走扩展词）POST _analyze {"analyzer": "ik_smart", "text": "南京市长江大桥" }

扩展词典使用

进入到 elasticsearch/config/analysis-ik/(插件命令安装方式) 或 elasticsearch/plugins/analysis-ik/config(安装包安装方式) 目录下, 新增自定义词典vim zkc_ext_dict.dic输入：江大桥vim IKAnalyzer.cfg.xml<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE properties SYSTEM "/dtd/properties.dtd"><properties><comment>IK Analyzer 扩展配置</comment><entry key="ext_dict">zkc_ext_dict.dic</entry><entry key="ext_stopwords"></entry></properties>#重启Elasticsearch测试：# ik_max_word (常用) 会将文本做最细粒度的拆分POST _analyze {"analyzer": "ik_max_word", "text": "南京市长江大桥" }#可以看到江大桥

停用词典使用

进入到 elasticsearch/config/analysis-ik/(插件命令安装方式) 或 elasticsearch/plugins/analysis-ik/config(安装包安装方式) 目录下, 新增自定义词典vim zkc_stop_dict.dic输入：市长vim IKAnalyzer.cfg.xml<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE properties SYSTEM "/dtd/properties.dtd"><properties><comment>IK Analyzer 扩展配置</comment><entry key="ext_dict">zkc_ext_dict.dic</entry><entry key="ext_stopwords">zkc_stop_dict.dic</entry></properties>#重启Elasticsearch测试：# ik_max_word (常用) 会将文本做最细粒度的拆分POST _analyze {"analyzer": "ik_max_word", "text": "南京市长江大桥" }#看不到市长

同义词典使用

进入到 elasticsearch/config/analysis-ik/(插件命令安装方式) 或 elasticsearch/plugins/analysis-ik/config(安装包安装方式) 目录下, 新增自定义词典vim synonym.txtchina,中国meishibiexuejava,没事别学JAVA#重启Elasticsearch测试：1）创建索引PUT /zkc-es-synonym{"settings": {"analysis": {"filter": {"word_sync": {"type": "synonym","synonyms_path": "analysis-ik/synonym.txt"}},"analyzer": {"ik_sync_max_word": {"filter": ["word_sync"],"type": "custom","tokenizer": "ik_max_word"},"ik_sync_smart": {"filter": ["word_sync"],"type": "custom","tokenizer": "ik_smart"}}}},"mappings": {"properties": {"name": {"type": "text","analyzer": "ik_sync_max_word","search_analyzer": "ik_sync_max_word"}}}}2）插入数据POST /zkc-es-synonym/_doc/1 {"name":"中国第一" }POST /zkc-es-synonym/_doc/2{"name":"没事别学JAVA" }3）使用同义词china或meishibiexuejava进行搜索POST /zkc-es-synonym/_doc/_search {"query": {"match": {"name": "china" } } }POST /zkc-es-synonym/_doc/_search {"query": {"match": {"name": "meishibiexuejava" } } }

安装配置ELK 安装配置ElasticSearch7.13 安装配置Kibana7.13 安装配置Logstash7.13 ElasticSearch7.13安装中文分词器

本内容不代表本网观点和政治立场，如有侵犯你的权益请联系我们处理。

网友评论

网友评论仅供其表达个人看法，并不表明网站立场。