Centos7.2 搭建ELK-5.6.4日志分析平台（一）_Amos_x的博客-CSDN博客
Centos7.2 搭建ELK-5.6.4日志分析平台（一）
Amos_x
于 2017-11-28 11:46:17 发布
6845
收藏
分类专栏：
Centos7系列
文章标签：
centos
elk5.6.4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41004350/article/details/78647334
版权
Centos7系列
专栏收录该内容
105 篇文章
14 订阅
订阅专栏
日志作为系统的重要的调试分析文件，是我们开发调试，运维监控，找错等。所以，必须需要建立一个日志分析平台，用于监控分析各个系统的日志。而业内最有知名的日志分析平台，则是ELK系统。是一整套完整的日志分析体系，官方地址为：https://www.elastic.co/cn/products
ELK，是Elasticsearch+Logstash+Kibana三个软件的简称，久而久之则称之为ELK，但是现在随着版本更迭，要完善整个日志分析系统，不单只需要这三个软件，而是多个软件的配合协助，构成一个完整的系统。
系统架构图如下：
ELK从5.0版本开始，统一版本信息，一套系统对应的版本号一致，以前的旧版本就很乱，各种兼容问题也比较麻烦，现在就简单多了，具体环境如下:
filebeat-5.64： 5.6.4版本，替代以前旧版本的logstash-agent，用于安装在各个主机，收集各个主机上的日志，实时采集内容发到redis队列。现在版本将这个采集器统一合并为beat，其中包含多个不用的软件，类似filebeat是采集日志文件，packetbeat是监控主机流量。。。等等，可以根据需求，安装不同的插件。
redis-4.0.1： 这里用redis做队列， 用做暂缓filebeat传过来的数据，避免因瞬间的传输量的飙升导致logstash的崩溃，类似于一个管道，让logstash能够定量的处理数据，不会受峰值流量的影响。
logstash-5.6.4： logstash是日志采集何过滤的软件，虽然也具备filebeat一样的日志采集功能，但logstash需要运行在java虚拟机上，更重量级，消耗资源。所以不推荐用开做数据采集，只用来做数据过滤，比如将采集的日志，通过各种插件，进行分类，分端，转换成json类的易于分析分类的信息，将其存储在elasticsearch中。
elasticsearch-5.6.4：是一个基于json的数据存储分析软件，可以分布式的拓展部署，存储的数据，用于kibana调用，实现日志的分析，展示。
kibana-5.6.4：日志分析平台的可视化界面，可以在这个界面上对系统进行管理，数据分析，监控等。配合x-pack中的其他插件，可以实现各种拓展功能。
x-pack： x-pack是一个拓展功能集合的插件包，可以实现安全防护，实时监控，生成报告等拓展功能，用的最多的就是安全防护功能，默认的ELK是没有密码认证的，直接就可以登陆的，加载了x-pack后，则可以使用密码认证，证书认证等功能，来实现ELK软件之间的相互认证。
整个ELK系统都是基于java的，5.64版本需要jdk环境1.8以上。这里我的是jdk_1.8_144，操作系统：centos-7.2。jdk环境的配置，这里就不赘述了，参考我之前的博文：centos7.2 安装 JDK-1.8
下面记录一下整个elk日志分析平台的搭建流程。与遇到的一些问题，和注意事项。
1. 下载基础的elk三个软件，elasticsearch，logstash，kibana。下载地址去官网找:https://www.elastic.co/cn/products
logstash下载地址：https://artifacts.elastic.co/downloads/logstash/logstash-6.0.0.tar.gz
elasticsearch下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.tar.gz
kibana下载地址：https://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-linux-x86_64.tar.gz
2. 在你选择安装elk的服务器上，选择一个地方，解压三个软件，我这里是放在/usr/local/下面
$ cd /usr/local/ #进入我放elk的目录
$ mkdir ELK #创建ELK文件夹，用于存放elk软件
$ tar -zxvf /usr/lcoal/ELK/logstash-6.0.0.tar.gz ## 解压各个软件，下同。
$ tar -zxvf /usr/local/ELK/elasticsearch-6.0.0.tar.gz
$ tar -zxvf /usr/local/ELK/kibana-6.0.0-linux-x86_64.tar.gz
3. 先安装elasticsearch数据存储器。用于数据存储，可以分布式部署。上一步解压后，直接修改配置文件，则可以启动。这里我用了两台主机坐了一个elasticsearch的集群，如果有需求可以根据需求，增加更多的机器用于存储数据，增加elasticsearch的节点
主机IP分别为：192.168.9.89  192.168.9.90
$ vim /usr/local/ELK/elasticsearch/config/elasticsearch.yml ## 编辑配置文件
# ---------------------------------- Cluster -----------------------------------
cluster.name: ES-cluster ##设置集群名称，集群内的节点都要设置相同，可自定义
# ------------------------------------ Node ------------------------------------
node.name: ES-02 ## 节点名称，自定义，各个节点不可相同
node.master: true ## 是否作为master节点
node.data: true ## 是否作为数据节点
node.ingest: true ## 是否作为ingest节点，ingest节点则可以对数据进行加工，类似logstash的功能，定义一个管道，在索引数据时，通过指定管道进行过滤，再展示出来
# ---------------------------------- Network -----------------------------------
network.host: 192.168.9.90 ## 本机IP
http.port: 9200 ## 端口，默认9200
# --------------------------------- Discovery ----------------------------------
discovery.zen.ping.unicast.hosts: ["192.168.9.89","192.168.9.90"] ## 此集群内所有节点的IP地址，这里没有使用自动发现，而是指定地址发现，因为规模较小
discovery.zen.minimum_master_nodes: 1 ##设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点，默认为1，推荐设置为集群master节点数/2 +1 。有一定的防止脑裂的功能。
按上述配置配置完成所有节点后，启动elasticsearch还是会报错，最常见的报错有如下几种原由，根据日志报错信息可以很容易分辨原由：
1.文件最大打开数没有65536，解决办法：修改系统最大文件打开数
vim /etc/security/limits.conf ##添加如下两行，保存后重新登陆用户及生效
* soft nofile 65536
* hard nofile 65536
2.vm.mx_map_count 太小，没有262144
vim /etc/sysctl.conf # 添加下面一行
vm.max_map_count = 262144
systcl -p ## 加载配置
3. 内存不足，elasticsearch默认是使用2G内存，在jvm的配置里可以自定义配置，在上述配置中我没有配置锁定内存，但如果有需要配置锁定内存，则很可能会报错锁定内存不足，解决办法，修改最大锁定内存。
vim /etc/security/limits.conf ## 添加下面一行，保存退出，重新登陆生效
work - memlock unlimited
OK，一一解决了这些问题后，就可以正常启动elasticsearch了，分别启动各个节点，查看日志，显示成功启动，选举出master即可。启动命令：
/usr/local/ELK/elasticsearch/bin/elasticsearchelk三个程序，默认启动都是非守护进程的，并不是后台启动，而是直接前台，如果关闭窗口，则进程中断。这里，我使用supervisor来管理进程，管理elk三个进程，具体的请参考我上一篇博文
《centos7 Supervisor的安装与配置，管理elk进程。》
启动之后，可以通过访问IP的9200端口判断elasticsearch是否启动成功，访问返回elasticsearch节点信息则为成功启动。
通过访问http://192.168.9.90:9200/_cluster/health?pretty 网址来查看集群状态，成功的话，则会出现集群的名称，节点数量。集群状态可分为绿色，黄色，红色。绿色则为正常运行。
二。elasticsearch之后，则安装logastash和kibana，先后无所谓，我这里先安装kibana
解压kibana到ELK内，编辑配置文件
vim /usr/local/ELK/kibana-5.6.4-linux-x86_64/config/kibana.yml
server.port: 5601 ## kibana默认端口
server.host: "192.168.9.90" ## 服务的host，直接填本机IP即可。
elasticsearch.url: "http://192.168.9.89:9200" ## elasticsearch的连接地址，集群时，连接其中一台节点即可。
启动kiban即可，启动命令：
/usr/local/ELK/kibana-5.6.4-linux-x86_64/bin/kibana
依然不是后台进程，用supervisor进行管理。启动后，则可以访问本机IP的5601端口，出现kibana的界面则安装成功。（另外，记得开放端口）
第一次访问，会要求创建索引，但是因为并没有数据，所以没办法创建，这是正常的，目前暂不用进去，只要能看到界面则OK了，日后完整搭建后，会再提到。
三。logstash的安装
解压logstash到ELK内，编辑配置文件
vim /usr/local/ELK/logstash-5.6.4/config/logstash.yml
http.host: "0.0.0.0" ##修改host为0.0.0.0，这样别的电脑就可以连接整个logstash，不然只能本机连接。
要启动logstash，还需要一个配置文件，来配置logstash过滤解析日志信息的规则，这个规则的配置文件则是需要自行定义，logstash对于这个规则的插件有很多，常用的有grok，kv，geoip等，这个配置文件需要有一个入口，和一个出口，中间是过滤器，一共三大部分。入口的化，根据我们的架构，是通过redis，将日志信息输入到logstash，所以入口配置为redis即可，而出口则是后面的elasticsearch数据存储器，所以出口也固定了，所以需要根据实际情况自定义的主要就是中间的过滤器filter。
下面贴出一个配置例子：
input { ## input为输入口
redis {
data_type => "list" ## 队列输入，默认输入类型为list
db => 10 ## 指定redis库
key => "redis-pipeline" ## redis是key-value式的内存数据库，指定key即是指定队列的标识key的大概意思
host => "192.168.9.79" ## 下面是连接信息，如果有密码则需要添加password这一项
port => "6379"
threads => 5 ## 线程数
filter { ## 过滤器filter
grok { ## grok插件，可以通过正则匹配，将日志的message进行格式化转换。
match => ["message","%{YEAR:YEAR}-%{MONTHNUM:MONTH}-%{MONTHDAY:DAY} %{HOUR:HOUR}:%{MINUTE:MIN}:%{SECOND:SEC},(?<MSEC>([0-9]*)) %{LOGLEVEL:loglevel} \[(?<Classname>(.*))\] - (?<Content>(.*))"]
output { ## 输出elasticsearch
elasticsearch {
hosts => ["192.168.9.89:9200","192.168.9.90:9200"] ## 输出的elasticsearch的数据节点IP
index => "logstash-test" ## 索引值
#user => "elastic" ## elasticsearch 的用户密码，需要安装x-pack才会有，这里先不用
#password => "changeme"
好的，配置好自定义过滤转换规则后，并将其保存在 ELK/conf/all.conf ,开启logstash，启动命令：
/usr/local/ELK/logstash-5.6.4/bin/logstash -f /usr/local/ELK/conf/all.conf
同上，logstash依然是使用supervisor进行管理，请参考《
centos7 Supervisor的安装与配置，管理elk进程。》
OK，到此，elk三个软件的部署搭建完成。 
下一篇，讲解如何搭建filebeat对日志文件进行监控，实时采集。和如何利用grok进行数据过滤，转化成想要的格式存储再elasticsearch里，用于展示。
Amos_x
关注
关注
点赞
收藏
打赏
评论
Centos7.2 搭建ELK-5.6.4日志分析平台（一）
日志作为系统的重要的调试分析文件，是我们开发调试，运维监控，找错等。所以，必须需要建立一个日志分析平台，用于监控分析各个系统的日志。而业内最有知名的日志分析平台，则是ELK系统。是一整套完整的日志分析体系，官方地址为：https://www.elastic.co/cn/productsELK，是Elasticsearch+Logstash+Kibana三个软件的简称，久而久之则称之为ELK，但
复制链接
扫一扫
专栏目录
Centos7下搭建ELK日志分析系统
11-02
本文档记录了个人在centos7环境下搭建ELK日志分析系统的步骤及遇到的问题、处理记录。明细罗列了本次搭建的系统环境和软件版本，操作系统为centos7.6,elk对应版本为7.9.3, redis版本为6.0.6。受限于更明细的环境差别，安装过程中报错可能不尽相同，主要记录了ELK各组件软件的安装步骤，供各位有需要的人参考！！！
CentOS7零基础部署ELK（7.2.0）集群步骤并监控日志告警
08-30
本人完全从Linux零基础一步步摸索总结出来的部署步骤。
ELK大致工作流程：Filebeat → Redis → Logstash → Elasticsearch → Kibana，Elastalert定时查询Elasticsearch保存的数据，当数据符合设定的规则时触发告警，发送 短信、微信、邮件通知。
ELK相关软件的版本都是7.2.0，Redis是5.0.4版本，Elastalert是0.1.39（需安装Python2），CentOS7.3。
参与评论
您还未登录，请先
登录
后发表或查看评论
elk 5.6.4安装
糯米鸡的博客
03-14
345
开发环境elk搭建请尊重知识产权，博客原文地址 http://blog.csdn.net/qq1032355091/article/details/79559003elasticsearch-5.6.4安装解压安装包到/data目录修改权限sudo chown elk:elk -R /data/elasticsearch-5.6.4创建文件夹
sudo mkdir -pv /data/es/dat...
ELK搭建以及介绍
最新发布
m0_47944994的博客
10-27
330
ELK搭建以及介绍
华为云contos7系统部署ES集群--3个主节点
wdquan19851029的专栏
01-20
3216
一、集群部署
1.ES集群的基本核心概念
Cluster集群
　　一个ElasticSearch集群由一个或多个节点(Node)组成，每个集群都有一个共同的集群名称作为标识。Node节点
　　一个ElasticSearch实例即一个Node，一台机器可以有多个实例，正常使用下每个实例应该会部署在不同机器上。ElasticSearch的配置文件中可以通过node.master、node.data来设置节点类型。
node.master：表示节点是否具有成为主节点的资格
true代表的是有资格竞选主节点
CentOS7-ELK集群搭建
TT-Learning
03-29
2320
文章目录1.准备（集群所有节点）2.Elasticsearch搭建2.1 ES下载
1.准备（集群所有节点）
IP
Hostname
Role
192.168.120.104
yellow.elk
192.168.120.105
blue.elk
192.168.120.106
green.elk
# 操作系统信息
[root@yellow ~]# cat /etc/redhat-release
CentOS Linux release 7.8.2003 (Core)
Centos7安装ELK
ruiace的博客
07-29
590
ELK是Elasticsearch、Logstash、Kibana的简称，是近乎完美的开源实时日志分析平台。这三者是日志分析平台的核心组件，而并非全部。
docker安装ELK详细步骤
yuemancanyang的专栏
02-02
1万+
系统配置：CentOS7.6 4核4G
ELK版本：7.7.1
elastic官网地址：https://www.elastic.co/cn/
elastic产品地址：https://www.elastic.co/cn/elastic-stack
yum源地址：https://mirrors.tuna.tsinghua.edu.cn/elasticstack/yum
前言
日志主要包括系统日志和应用程序日志，运维和开发人员可以通过日志了解服务器中软硬件的信息，检查应用程序或系统的故障，了解故障出现的原因，以
Centos7 搭建ELK(一)
qq_45397526的博客
11-28
311
Centos7 搭建ELK—搭建elasticsearch环境一、初始环境配置1、系统2、Java环境搭建二、建立用户三、上传ELK安装包1、切换用户2、上传ELK安装文件压缩包四、配置elasticsearch环境1、进入配置文件2、更改配置文件3、启动失败怎么办？
一、初始环境配置
1、系统
本次使用的是Centos7.2，在自己的阿里云服务器上进行搭建
2、Java环境搭建
搭建ELK要求java环境，且JDK版本需在1.8及以上
若环境中有jdk，可以使用以下命令查看已安装的JDK
rpm -qa|
centos7.4安装elk7.7.0最新版本（一）
huangfujin321的博客
05-27
2558
一、准备安装包
1、环境概况
系统：CentOS 7
es主节点/es数据节点/kibana/head 192.168.3.11
es主节点/es数据节点/filebeat 192.168.3.12
es主节点/es数据节点/logstash 192.168.3.13
2、下载资源包
mkdir -p /root/soft/elk && cd /root/soft/elk
CentOS7.4下ELK6.2.4从零开始安装部署
shanying0324的博客
04-30
197
项目中处理日志用到elk，我的项目使用docker镜像运行的，今天使用离线安装包操作一下
hostnamectl set-hostname node-1
环境说明：CentOS7.4、jdk1.8等
下面是安装过程
首先是确认环境rpm -qa|grepJava
如果有其他版本的请删除
rpm–e --nodeps java-*
检查是否删除
java –version
# 开始安装jdk...
centos7 安装elk日志分析系统
无风的雨
12-13
5926
架构图
Elasticsearch：搜索，提供分布式全文搜索引擎；
Logstash: 日志收集，管理，存储；
Kibana ：日志的过滤web 展示；
Filebeat：监控日志文件、转发，其已取代 logstash forwarder；一、准备工作
设置 yum源，采用官网提供的源
https://www.elastic.co/guide/en/elasticsearch/ref
CentOS7搭建ELK-6.2.3版本
程序员欣宸的博客
04-07
1万+
ELK是ElasticSerach、Logstash、Kibana三款产品名称的首字母集合，用于日志的搜集和搜索，今天我们一起搭建和体验基于ELK的日志服务；
环境规划
本次实战需要两台电脑（或者vmware下的两个虚拟机），操作系统都是CentOS7，它们的身份、配置、地址等信息如下：
hostname
IP地址
身份
配置
elk-server
192...
CentOS7 elk日志平台搭建
运维那些事儿
08-21
1222
第1章 ELK平台介绍
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用...
CentOS下使用ELK套件搭建日志分析和监控平台
热门推荐
崔炳华
01-30
2万+
1 概述
ELK套件（ELK stack）是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。
由于三个软件各自的版本号太多，建议采用ElasticSearch官网推荐的搭配组合：http://www.elasticsearch.org/overview/elkdownloads/
2 环境准备
2.1 软件要求
本文把ELK套
CentOS 7.5 快速搭建 ELK 日志分析平台
benarchen 的博客
06-17
1671
CentOS 7.5 快速搭建 ELK 日志分析平台
环境：CentOS 7.5
Java jdk ：1.8.0_212
软件版本 ：7.1.1
注：ELK 平台的搭建各软件一定要使用相同版本
1、安装 elasticsearch
首先下载软件包，我是直接用 wget 命令从官网下载（官网地址：https://www.elastic.co/cn/），这里默认下载的是最新版的 7.1...
CentOS7部署ELK
Lamar's Blog
03-03
2231
CentOS7部署ELK本文跳过了CentOS的安装过程，如有不懂的请自己百度下最近因为业务需要监控nginx和apache的日志，所以粗略研究了下ELK。这三个字母分别代表了Elasticsearch, Logstash, Kibana。他们组成了一个基础的日志统计系统，L负责日志信息获取，E负责创建日志缓存，K负责最终的视图呈现。
CentOS 7 快速部署 ELK+Filebeat
ABSong
05-16
3859
Centos 7.4 部署 Elastic Stack
目录
Centos 7.4 部署 Elastic Stack
一、Elastic Stack介绍
二、环境规划
三、Elasticsearch+Logstash+Kibana的安装
1.安装Elasticsearch
2.安装Kibana
一、Elastic Stack介绍
Kibana 能够以图表...
CentOS7.4部署ELK日志分析系统
angqianya1915的博客
10-25
226
官网地址:https://www.elastic.co/cn/，官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html, 安装指南：https://www.elastic.co/guide/en/elasticsearch/reference/5.x/rpm.html. ELK是Elas...
Centos7上部署ELK实时日志分析平台
IChen.的博客
01-21
696
简介：
什么是日志？
日志就是程序产生的，遵循一定格式（通常包含时间戳）的文本数据
通常日志由服务器生成，输出到不同的文件中，一般会有系统日志、 应用日志、安全日志。这些日志分散地存储在不同的机器上。
通常当系统发生故障时，工程师需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下，首先需要定位处理请求的服务器，如果这...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：技术黑板
设计师：CSDN官方博客
返回首页
Amos_x
CSDN认证博客专家
CSDN认证企业博客
码龄5年
暂无认证
122
原创
18万+
周排名
105万+
总排名
109万+
访问
等级
7000
积分
336
粉丝
398
获赞
546
评论
1547
收藏
私信
关注
热门文章
Centos7 搭建开源个人网盘Nextcloud与常用插件
87539
python requests发送json格式数据
81907
Windows Server2012，启动黑屏，只会弹出一个cmd命令窗口的解决办法
77315
Centos7 安装rabbitmq详细教程
54447
Win10 家庭版启用远程桌面服务
53361
分类专栏
Centos7系列
105篇
python
13篇
个人小记
3篇
最新评论
Centos7 安装rabbitmq详细教程
阿剑i:
首先这个警告不影响正常使用。如果发现没有启动起来rabbitmq。那么我建议直接用rabbimt-server启动一下，后给你报错信息。一般应该是rabbitmq.conf的问题。
Centos7 搭建openldap完整详细教程(真实可用)
x星云Nebularr:
addmember of那个文件有点问题
Centos7 搭建openldap完整详细教程(真实可用)
m0_47380164:
各位大佬有谁知道这个是啥原因啊：
[root@CentOS7-server ~]# ldapadd -Q -Y EXTERNAL -H ldapi:/// -f add-memberof.ldif
ldapadd: attributeDescription "dn": (possible missing newline after line 10, entry "cn=module{0},cn=config"?)
adding new entry "cn=module{0},cn=config"
ldap_add: Invalid syntax (21)
additional info: objectClass: value #3 invalid per syntax
Win10 家庭版启用远程桌面服务
weixin_52926517:
求助，任务管理器的服务已关闭，为什么还是不能保存，提示没有权限
centos7 Graylog3 最新版安装部署与使用详解
YeYingHeFeng:
额，大佬我Graylog启动后，去访问页面全是空白是因为什么呢？
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
Centos7 文件特殊权限属性，lsattr&chattr
Mysql B+树索引的使用
Mysql B+树索引
2021年8篇
2019年27篇
2018年28篇
2017年60篇
目录
目录
分类专栏
Centos7系列
105篇
python
13篇
个人小记
3篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
Amos_x
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值