ELK的原理与介绍-创新互联
- ELK:
- 使用ELK的原因
- Elasticsearch
- Logstash
- Kibana
ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana 。
当今业界非常流行的日志采集保存和查询的系统。
使用ELK的原因程序会存在许多日志信息,如何保存和查询日志信息是一个问题。
Idea控制台是临时显示的位置,可以将它保存在文件中。
但即使保存在文件中,海量日志信息要想查询需要的条目同样是个问题。
故我们使用ELK来保存日志信息并能够快速便捷地查询。
ElasticsearchElasticsearch(全文搜索引擎):一个由Java编写的开源分布式搜索引擎,高效的从大量数据中搜索匹配指定关键字的内容,提供搜集、分析、存储数据三大功能。
elastic:富有弹性的
search:搜索
Elasticsearch使用了Java的一套名为Lucene的API,该API提供了全文搜索引擎核心操作的接口(即搜索引擎的核心支持)。
Elasticsearch是在Lucene的基础上进行了完善,实现了开箱即用。
原因:数据库存在模糊查询效率严重低下的缺点。
特点:
- 分布式
- 零配置
- 自动发现
- 索引自动分片
- 索引副本机制
- Restful风格接口
- 多数据源-
- 自动搜索负载等。
LogstashElasticsearch官方文档:https://www.elastic.co/cn/products/elasticsearch
Logstash(日志采集工具):一款开源的日志采集,处理,输出的软件,每秒可以处理数以万计条数据,可以同时从多个来源采集数据,转换数据,然后将数据输出至自己喜欢的存储库中(官方推荐的存储库为Elasticsearch)。
主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式,还可以自动完成数据库数据和Elasticsearch中数据的同步问题。
一般工作方式为c/s架构,Client端安装在需要收集日志的主机上,Server端负责将收到的各节点日志进行过滤、修改等操作在一并发往Elasticsearch上去。
LogStash内部有3个处理数据的步骤
- input 将数据源的数据采集到Logstash
- filter (非必要)如果需要可以对采集到的数据进行处理
- output 将处理好的数据保存到目标(一般是Elasticsearch)
KibanaLogstash官方文档:https://www.elastic.co/cn/products/logstash
Kibana(Elasticsearch的可视化工具 ):可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。
Kibana官方文档:https://www.elastic.co/cn/products/kibana
你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧
网页标题:ELK的原理与介绍-创新互联
转载注明:http://azwzsj.com/article/dhcejd.html