您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识
sls是什么-sls是什么船司
数据,客户,阿里sls是什么-sls是什么船司
发布时间:2019-02-08加入收藏来源:互联网点击:
很多朋友想了解关于sls是什么的一些资料信息,下面是小编整理的与sls是什么相关的内容分享给大家,一起来看看吧。
2022年1月14日,阿里云用户组(AUG)第六期活动在北京顺利举办。阿里云产品经理吴华剑在现场生动讲解了 SLS 理念及发展历程,让客户清楚地理解了 SLS 的定位以及场景,对客户在业务上使用日志服务有极大的帮助。本文根据现场演讲整理而成。
大家好,我是吴华剑,来自阿里云的一位产品经理,目前负责阿里云 SLS 日志服务和Tablestore 表格存储的产品管理。
我之前负责过阿里云 OSS 对象存储的产品管理,相对来说,SLS不只是被开发同学集成到系统中由“代码”来日常使用产品的 RestFul API ,而且很多开发、运维同学也作为了最终用户,长时间地使用 SLS 、与 SLS 发生交互。
很高兴,今天我们团队有机会在阿里云用户组(AUG)的活动现场分享 SLS 产品规划与设计的一些想法,并能和各位 SLS 的用户进行面对面的互动讨论,收集大家的反馈。
我今天和大家主要分享的是 SLS 产品规划的一些思路和背后的思考,以及接下来的发展方向,并与各位用户进行互动讨论。
SLS是什么?SLS 是服务阿里云客户、阿里集团自用的统一的可观测数据平台,以及一站式的ITOM Data to Insight的方案。SLS 需要支撑客户的数据采集、加工、存储与分析需要,应用在日志分析问题排查、业务日志运营分析等,也包括运维监控、统一告警等智能运维的场景。
当前,SLS 对内服务阿里集团各个BU的大客户,对外服务各类的企业客户(包括头部的互联网客户、海量的创新客户、企业客户上云)。SLS 既支持单租户EB级的存储规模、每天PB级写入数据量、千亿级记录秒级检索能力,服务头部客户的需要。同时,SLS 也提供一站式、弹灵活、高稳定、高能等的可观测解决方案,支持大量创新客户,灵活迭代、快速创新、持续发展。
SLS 发展历程那SLS 产品是怎么演进到当前的形态呢?
2012年 - 海量日志实时采集与分发
2012年,SLS 的前身是一个内部产品,设计的目标是为了满足阿里集团与蚂蚁海量日志实时采集与分发的需求。它主要解决几个问题:
海量规模的支持:海量规模的采集分发,如何支撑;实时:包括日志采集的实时、采集进来后日志可见的实时(马上能够查询)、分发速度的实时;分发能力:怎么样做海量的数据管道?在那个时候,其实阿里内部也在调研开源方案,但发现不合适我们的需求。当时,SLS 并不是一个对外商业化的产品,主要服务内部,主要包含以下部分:
数据采集:agent ,以及后端的configserver等(agent的分发、配置管理、流控等)。今天大家看到的SLS 商业版agent logtail、以及开源的ilogtail 都是来源于此;数据管道:包括实时消费组、离线数据投递等;日志存储服务:后期根据内部客户的需求,并结合阿里云存储盘古的技术优势(SLS 是在阿里云存储团队),我们也给内部客户提供日志存储。虽然,是内部产品,但阿里集团各个BU使用时,都有很高的稳定要求。因此,我们也做了很多高可用的建设和可用保障。
2015年 - 日志实时采集与分发
到了2015年,随着服务内部更多实际的业务需求,这个产品能力演进为——服务阿里集团与蚂蚁集团的、统一的、日志数据采集存储分析平台。产品能力包括以下方面:
数据的实时采集、分发:单用户可支持PB级/天的写入,日志数据1秒即可见;日志数据的弹扩展&稳定&高价比存储:单用户可支持EB级存储,相比开源自建方案更高的价比、可用SLA 保证;快速分析的能力:千亿日志秒级检索。各种互联网应用业务快速发展、产品快速迭代,需要一个高价比、高能、灵活、功能强大的业务日志、系统日志的采集存储分析系统,满足业务日志运营分析、日志排错问题定位。我们发现,这些需求在阿里云的客户中也是普遍存在的。
这个时候,我们就在酝酿和筹备,这个产品的商业化,以便去服务阿里云的客户。经过筹备、公测等阶段,2016年,SLS正式对外商业化发布了。
2019年 - 一站式的日志与监控数据平台
从商业化后一直发展到2019年,在客户的需求驱动下,SLS 有了很大的变化,从日志存储平台演进到一站式的日志与监控平台。主要变化有:
日志与Metric数据的统一存储与分析平台:客户需要把日志、Metric(监控)数据进行统一的存储与分析,满足日志分析、问题排查、指标监测、运维管理等场景;更多的上下游对接:服务客户过程中,我们对接了几十种数据上下游开源生态;一站式,覆盖数据流转与处理的生命周期:从数据采集、分发、存储、加工、查询分析、可视化、告警,支持客户对于日志、 Metric等数据全周期的管理与洞察分析需要。在这个演进的时间段,开源生态中Log、Trace、Metric等多个项目在百花齐放,但也面临不同的数据源,需要使用不同的采集agent或协议,不同的存储、分析系统。
开源生态中,OpenTelemetry 项目在数据的“采集协议”方面解决了“数据采集”层面的统一,但在存储与分析系统,虽然有些项目在探索,但是这些不同数据的存储后端还是没统一,仍然需要多个存储、分析系统。
2020年至今 - 一站式可观测数据的Data to Insight平台
统一的可观测数据平台
2020年,随着内外部客户需求的驱动、以及技术发展的背景下,SLS 针对Log、Metic、Trace 的数据采集、存储、分析进行了统一,兼容了可观测数据相关开源生态。同时,SLS 也支持三方开放告警Alert信息的接入,并支持阿里云的云监控数据、ActionTrail/ConfigTrail/innerTrail数据的接入。
SLS 支持各类可观测数据的全面接入、统一存储与关联分析,支撑客户基于SLS 这个数据平台,构建可观测数据的存储与洞察分析平台。
Data to Insight
SLS 提供了数据平台对接上下游生态的能力,支撑客户进行二次集成开发、自定义洞察分析。在这个基础上,SLS 也提供了数据洞察应用“demo”,如Trace分析中心、移动应用诊断监控、全栈监控等这些应用。
这里的应用“demo”,是指它是一个通用场景的应用,客户可以直接拿去开箱即用,也可以基于SLS 数据平台的查询分析与可视化能力,加上这些“demo”,去构建一个自己的可观测运维系统。
业务挑战与待解决的问题如何管理一套复杂的IT系统,避免“孤岛”
当今数字化业务迭代越来越快,同时技术架构也在变革。比如,多云架构、微服务等带来架构、迭代的灵活,但是组件也越来越多。那我们怎么去管理一个这么复杂的IT系统呢?我们需要考虑,如何避免让整个数据平台变成是一个个独立的烟囱与孤岛。
在服务客户的过程中发现,不同场景里,都需要解决类似的需求。
安全场景:很多客户将日志用在安全事件、威胁检测场景。方案包括日志的采集,规则引擎,触发事件告警;运营场景:客户点击日志采集与清洗,包括运营活动日志与抽取指标、用户留存数据等,然后形成报表,并监测这些运营指标的异常;监控场景:解决如何实时、统一地拿到Metric数据,进行日志数据管理,并通过引擎规则或机器学习能力去推测一些告警事件;日志分析场景:如何去定位一些突发问题,比如进行能诊断,需要将Trace、日志数据等关联打通,去分析能的一个瓶颈点。上一篇:夏世忠-硖石中学
下一篇:返回列表
相关链接 |
||
网友回复(共有 0 条回复) |