程序员经验分享-hwhale

大数据课程M1——ELK的概述

2023-11-16

文章作者邮箱：yugongshiye@sina.cn              地址：广东惠州

 ▲ 本章节目的

⚪ 了解ELK的定义；

⚪ 掌握ELK的使用；

一、什么是ELK

1. 简介

ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案，是三个产品的首字母缩写，分别是 ElasticSearch、Logstash 和 Kibana。

2. ELASTICSEARCH

ElasticSearch简称ES，它是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。

3. LOGSTASH

Logstash是一个具有实时传输能力的数据收集引擎，用来进行数据收集（如：读取文本文件）、解析，并将数据发送给ES。

4. KIBANA

Kibana为 Elasticsearch 提供了分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找，交互数据，并生成各种维度表格、图形。

二、为什么要使用ELK

1. 分布式集群

1. 数据量庞大:PB级别甚至更高。

2. 搜索需求要求高:快,准,多维度全文搜索。

ELASTICSEARCH就支持这种场景,也是目前全文搜索功能使用最多的一种技术。

2. 数据源丰富

1. 数据库数据。

2. 日志数据。

3. 其他分散存储的数据。

LOGSTASH可以从多数据源采集数据。

3. 数据的价值

1. 所谓数据保存的越多,数据提现的价值就越多.前提是需要分析展示数据。

2. KIBANA就可以提供数据的仪表分析等功能。

所以基于上述的一些问题,开源实时日志分析 ELK 平台能够完美的解决， ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

ELK

大数据课程M1——ELK的概述 的相关文章

随机推荐

  • uniapp 使用svg

    如果一定要使用svg 可以通过换成base64再使用 src和背景的可以

  • 【如何快速学会verilog开发】

    什么是verilog编程 首先verilog是一门编程语言 verilog的主要应用场景是数字前端开发 也即是通常所说的RTL开发 verilog作为一种编程语言 是数字前段开发的必备工具 同时区别于面对对象语言 如C 等 函数式语言 py

  • RabbitMQ--扩展--12--内存，硬盘阈值

    RabbitMQ 扩展 12 内存 硬盘阈值 1 内存告警 当内存占用高于 内存阈值时 就会产生内存告警并阻塞所有生产者的连接 一旦告警被解除 有消息被消费或者从内存转储到磁盘等情况的发生 一切都会恢复正常 在出现内存告警后 所有的客户端连

  • CGAL点云AlphaShapes边缘提取算法编程

    CGAL点云AlphaShapes边缘提取算法编程 点云数据处理是计算机图形学和计算机视觉中的关键任务之一 AlphaShapes是一种常用的算法 用于从点云数据中提取几何形状的边缘 在本文中 我们将介绍如何使用CGAL Computati

  • Beyond One-Model-Fits-All: A Survey of Domain Specialization for Large Language Models

    大模型系列文章 针对 Beyond One Model Fits All A Survey of Domain Specialization for Large Language Models 的翻译 超越一个模型适合所有 大型语言模型领域

  • 在Myeclipse的web项目中使用echarts做数据可视化

    在线定制一个echarts https www echartsjs com zh builder html 下载放入项目目录 若出现报错则 选中当前工程 properties MyEclipse validation Excluded Re

  • 世界笔记本电脑排名_2019笔记本电脑十大销售排行榜

    阅读本文前 请您先点击上面的蓝色字体 电子荟 再点击 关注 这样您就可以继续免费收到最新文章了 每天都有分享 完全是免费订阅 请放心关注 笔记本电脑什么牌子好 想必买笔记本电脑的小伙伴都会注重品牌 毕竟一分价钱一分货 大的品牌品质还是比较有

  • Android adb shell读取手机上的QQ软件的sqlite数据库

    一 查询QQ软件下创建了哪些数据库 1 打开adb shell 2 进入软件安装包下数据库文件夹 3 查询有哪些数据库文件 或者 4 打开webview db

  • JS 获取 url 参数

    文章目录 获取 url 参数 描述 示例 题解 获取 url 参数 描述 获取 url 中的参数 指定参数名称 返回该参数的值 或者 空字符串 不指定参数名称 返回全部的参数对象 或者 如果存在多个同名参数 则返回数组 不支持URLSear

  • pack.json 的^和~的区别

    webpack 项目的package json 的版本说明 在版本说明前面还有个符号 插入符号 和 波浪符号 他们之间的区别 例如 波浪符号 他会更新到当前minor version 也就是中间的那位数字 中最新的版本 放到我们的例子中就是

  • 使用python实现京东抢购脚本

    环境 python3 7 浏览器 火狐 在python scripts文件夹下边放入相应版本的geckodriver cmd页面 pip install selenium pip install datetime 事先需要把商品放入购物车

  • 常用的OkHttpClient配置项

    OkHttpClient是一个功能强大的HTTP客户端 提供了各种配置选项来满足不同的需求 以下是一些常用的OkHttpClient配置项 连接池 Connection Pool 设置连接池 控制同时允许的最大连接数和连接的空闲时间 con

  • springMVC +Mybatis +spring aop 实现用户系统操作日志记录

    业务场景 业务要求记录用户在系统的操作行为 并保存到数据库当中 1 自定义注解 记录操作日志 import java lang annotation Documented import java lang annotation Elemen

  • 淘宝API接口介绍

    淘宝API接口 Taobao API interface 是淘宝平台进行业务开放的一个重大举措 针对小程序日渐受欢迎的局面 购物软件由于所占空间大 操作流程繁琐已经不占据优势 因此更多线上购物会以小程序的形式进行 而淘宝API接口就是将淘宝

  • UE4-蓝图函数库

    UE4 蓝图函数库 概述 蓝图函数库 Blueprint Function Library 是一个静态函数的合集 提供不与特定游戏性对象绑定的效用功能 即不用绑定到对象身上 再到蓝图中进行调用 可以非常方便的将代码中的函数暴露给所有蓝图使用

  • 图解U-Boot(没有SPL的uboot早期版本)：第二阶段源码分析

    原文地址 http blog csdn net ce123 zhouwei article details 7318851 说明 图片上传后有点模糊 可从http download csdn net detail ce123 4112241

  • druid与mysql连接超时的问题

    背景 公司一个项目使用了druid连接池 mysql数据库 生产环境日志偶尔会打印一个错误如下 com mysql jdbc exceptions jdbc4 CommunicationsException Communications l

  • 入门产品经理的7个实用方法

    关注同名公众号 获得更多产品经理知识干货 每天5分钟 你也可以成为优秀的产品经理 你好 我是郭杉 欢迎来到 郭杉 产品经理50讲 第2讲 正式开始今天的内容之前 我想先问你一个问题 你是不是一直苦于想入门但却没有人带 自己摸索却不知如何开始

  • Grafana如何正确配置数据源

    Grafana配置数据源的步骤如下 1 首先选择设置 点击数据源 再选择添加数据源 2 根据需要选择对应的数据库类型 3 输入对应的数据库信息 4 测试数据是否连接成功 5 若发现出现如上错误 更改Encrypt值为disable后 再次测

  • 大数据课程M1——ELK的概述

    文章作者邮箱 yugongshiye sina cn 地址 广东惠州 本章节目的 了解ELK的定义 掌握ELK的使用 一 什么是ELK 1 简介 ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案 是三个产品的首字母缩写

热门标签