ELK笔记(一):Centos7部署elasticsearch-7.8.0集群

2023-05-16

Centos7部署elasticsearch-7.8.0集群

  • 1 部署前准备
    • 1.1 系统选择
    • 1.2 主机列表
    • 1.3 下载、解压缩安装包
    • 1.4 创建用户
  • 2 修改配置文件
    • 2.1 elastic search配置文件
    • 2.2 OS配置文件
  • 3 启动
    • 3.1 命令行启动
    • 3.2 开机自启动
  • 4 验证
    • 4.1 elasticsearch-head
    • 4.2 Postman

1 部署前准备

1.1 系统选择

均为centos7.9系统,内核版本为:3.10.0-1160.el7.x86_64

本来想选择centos8,无奈8的文件数限制修改方式跟7不一样,网上实在找不到相关文档,如果有知道的朋友可以在评论区指教下

1.2 主机列表

c1/c2/c3做master,c10/c11/c12做data,修改主机/etc/hostname并加入/etc/hosts中

cat /etc/hosts
10.0.8.1    c1  c1.pangfaheng.com
10.0.8.2    c2  c2.pangfaheng.com
10.0.8.3    c3  c3.pangfaheng.com
10.0.8.10   c10 c10.pangfaheng.com
10.0.8.11   c11 c11.pangfaheng.com
10.0.8.12   c12 c12.pangfaheng.com

1.3 下载、解压缩安装包

mkdir /opt/module
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz
tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module
mv /opt/module/elasticsearch-7.8.0/ /opt/module/elasticsearch-cluster/

1.4 创建用户

elasticsearch不允许root账户启动,需要为每台实例创建es用户

useradd es
passwd es
#userdel es
chown -R es:es  /opt/module/elasticsearch-cluster

2 修改配置文件

2.1 elastic search配置文件

#配置文件默认是全部注释的,所以直接在文档下方加入如下配置
#集群名称
cluster.name: elasticsearch-cluster

#节点名称,跟hostname对应,每个节点的名称不能重复
node.name: c1

#ip 地址,跟hostname对应,每个节点的名称不能重复
network.host: c1

#是不是有资格成为主节点
node.master: true

#是不是有资格成为数据节点
node.data: false

#默认端口号
http.port: 9200

# head 插件需要这打开这两个配置
http.cors.allow-origin: "*"
http.cors.enabled: true
http.max_content_length: 200mb

#es7.x 之后新增的配置,初始化一个新的集群时需要此配置来选举 master,也就是每个集群只能有一个master,而这个是一开始的master,后续这台主机挂了再由node.master决定选举新的master
cluster.initial_master_nodes: ["c1"]

#es7.x 之后新增的配置,节点发现
discovery.seed_hosts: ["c1:9300","c2:9300","c3:9300","c10:9300","c11:9300","c12:9300"]

gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true

#集群内同时启动的数据任务个数,默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16

#添加或删除节点及负载均衡时并发恢复的线程个数,默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16

#初始化数据恢复时,并发恢复线程的个数,默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16

2.2 OS配置文件

/etc/security/limits.conf

vim /etc/security/limits.conf
# 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536

/etc/security/limits.d/20-nproc.conf

# 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
# 操作系统级别对每个用户创建的进程数的限制
* hard nproc 4096
# 注:* 带表 Linux 所有用户名称

/etc/sysctl.conf

vim /etc/sysctl.conf
# 在文件中增加下面内容
# 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
vm.max_map_count=655360
sysctl -p

3 启动

3.1 命令行启动

切换es账户再启动,如果提示报错可以重新执行chown授权下,这里启动时需要注意不要一次性全部启动,要逐个实例启动

su es
cd /opt/module/elasticsearch-cluster/
#启动
bin/elasticsearch
#后台启动
bin/elasticsearch -d -p pid

3.2 开机自启动

vim /lib/systemd/system/elasticsearch.service
[Unit]
Description=elasticsearch
After=network.target
[Service]
Type=simple
User=es
Group=es
LimitNOFILE=100000
LimitNPROC=100000
Restart=no
ExecStart=/opt/module/elasticsearch-cluster/bin/elasticsearch
PrivateTmp=true
[Install]
WantedBy=multi-user.target
systemctl daemon-reload
systemctl enable elasticsearch
systemctl start elasticsearch

4 验证

4.1 elasticsearch-head

1、下载elasticsearch-head
下载地址:https://github.com/mobz/elasticsearch-head
使用方式:添加到谷歌插件中,然后连接集群任意节点,比如:http://10.0.8.1:9200/
结果如下,其中星号代表master:
在这里插入图片描述

4.2 Postman

连接集群任意节点,比如:http://10.0.8.1:9200/,get http://10.0.8.11:9200/_cat/nodes
结果如下,其中*号代表master:
在这里插入图片描述

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

ELK笔记(一):Centos7部署elasticsearch-7.8.0集群 的相关文章

随机推荐

  • 无人驾驶学习笔记 - LOAM 算法论文核心关键点总结

    目录 1 框架 2 特征点提取 3 点云去畸变 4 帧间匹配 特征关联与损失函数计算 a 线特征 b 面特征 5 运动估计 6 建图 7 姿态融合 8 LOAM 优劣势 9 参考连接 1 框架 loam框架核心是两部分 xff0c 高频率的
  • 动态窗口法的理解和一些细节

    机器人局部路径规划 动态窗口法 动态窗口法 xff08 Dynamic Window Approach xff0c DWA xff09 是一类经典的机器人局部路径规划算法 它的过程主要分为两部分 xff1a 速度空间 v
  • 无人驾驶学习笔记 - A-LOAM 算法代码解析总结

    目录 1 概述 2 scanRegistration cpp 2 1 代码注释 2 1 1 主函数 2 1 2 removeClosedPointCloud xff08 雷达周边过近点移除 xff09 2 1 3 laserCloudHan
  • 无人驾驶学习笔记-LeGO-LOAM 算法源码学习总结

    目录 1 概述 2 lego loam的贡献 3 系统框图 4 ros graph中的节点关系表 5 lego loam 的文件系统架构 6 各部分方法原理及代码注释 6 1 点云投影与目标分割 1 总结概述 2 代码注释 2 1 copy
  • Boost 中 signal2 用法

    boost 函数与回调 xff08 三 xff09 signals2
  • 树莓派学习笔记

    文章目录 树莓派基础入门笔记无显示屏使用方式基础教程5 树莓派文件传输 配置编译环境使用U盘直接传输使用vnc传输文件FTP文件传输协议Python配置编译环境C C 43 43 配置编译环境Linux常用终端命令nano和vi编辑器的使用
  • 22.IO与显示器

    README 1 本文内容总结自 B站 操作系统 哈工大李治军老师 xff0c 内容非常棒 xff0c 墙裂推荐 xff1b 2 显示器是输入型外设 xff1b 3 本章主要内容是讲 显示器是如何被驱动的 xff1b 或操作系统是如何让用户
  • BGP协议基础配置—学习

    BGP重要概念 IGP是运行在AS内部的路由协议 xff0c 主要有RIP OSPF及IS IS xff0c 着重于发现和计算路由 EGP是运行在AS之间的路由协议 xff0c 通常是BGP xff0c 它是实现路由控制和选择最好的路由协议
  • STM32 Not a genuine ST Device! Abort connection 错误解决方案

    STM32 Not a genuine ST Device Abort connection 错误解决方案 网上解决方案晶振设置不匹配导致Connect setting to with Pre reset降低MAX Clock 我自己的解决
  • VMware的.vmdk文件只赠不减的处理方法

    VMware虚拟机的虚拟磁盘的大小会随着使用时间不断变大 xff0c 而且只赠不减 即使在虚拟系统中删除了磁盘中的文件 xff0c 虚拟磁盘的大小仍然不会变小 释放空闲磁盘的方法如下 xff1a VMWare Tools中的 Shrink功
  • 使用码云(Gitee)进行代码管理,以及VsCode关联Git

    一 安装git Git的下载 安装与配置 git 简明指南 二 注册码云 1 xff09 注册码云账号 xff1a 码云官网 2 xff09 绑定邮箱 xff1a 右上角 头像 设置 邮箱管理 三 本地项目与码云关联 1 本地项目上传至码云
  • 删掉带页眉的空白页结果把所有页眉都删掉解决办法

    点击视图 大纲 会发现在之前的操作中有两个分节符 xff0c 把上面那个删掉即可 参考链接https zhidao baidu com question 105591450 html 小问题也蛮耗时的
  • ROS之多个订阅数据同步

    做传感器数据融合时 xff0c 常常会需要用到多个数据 xff0c 即需要同时订阅多个话题 那么 xff0c 如何同步这些传感器数据的时间辍 xff0c 并将它们放入一个回调函数中进行处理呢 xff1f 参考文档 xff1a http wi
  • C++中使用strtok函数分割字符串String

    C 43 43 中使用strtok函数分割字符串String string str getline cin str vector lt string gt vec char p 61 strtok char str c str 34 34
  • 利用python获取IP资源池的方法

    在使用爬虫的时候 xff0c 经常会遇到IP被禁止的情况 xff0c 所以一般都需要一个资源池来提高降低风险 以下代码中 xff0c 基于python3 7 xff0c 数据库用的是POSTGRESQL11 xff0c 为了效率使用了队列
  • DNS笔记(一):yum方式安装DNS与简单设置

    思路 客户端主机 gt DNS服务端主机 gt 后台主机 DNS服务端主机防火墙 iptables I INPUT 4 m state state NEW p tcp dport 53 j ACCEPT iptables I INPUT 4
  • Linux基础知识之df和du的差异

    创建文件前统计 xff0c 可以看出磁盘总共50G xff0c 已使用13G root 64 payne du sh 2 gt dev null 13G root 64 payne df h Filesystem Size Used Ava
  • Linux网络异常排查手段

    网络不通常用工具 xff1a ping mtr nmap telnet curl 域名IP服务器解析工具 xff1a nslookup dig 1 ping 启动方式及解释 xff1a ping c3 www baidu com PING
  • Prometheus学习(一):单节点部署与配置+Grafana安装

    Prometheus学习 xff08 一 xff09 xff1a 单节点部署与配置 43 Grafana安装 一 配置前准备1 下载软件2 主机列表3 同步时间4 创建账户 二 安装与配置1 node exporter安装与配置2 Serv
  • ELK笔记(一):Centos7部署elasticsearch-7.8.0集群

    Centos7部署elasticsearch 7 8 0集群 1 部署前准备1 1 系统选择1 2 主机列表1 3 下载 解压缩安装包1 4 创建用户 2 修改配置文件2 1 elastic search配置文件2 2 OS配置文件 3 启