您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识
毫秒和秒的换算(再不拥抱Serverless就晚了)
阿里,架构,数据库毫秒和秒的换算(再不拥抱Serverless就晚了)
发布时间:2019-02-08加入收藏来源:互联网点击:
二是自适应弹性,服务能够根据负载大小自动弹性伸缩,大大提升了资源使用效率。
三是开篇提到的按实际用量计费,只需根据实际的执行时间、流量或调用次数计费,降低了成本。
要想让用户用好 Serverless,单纯在应用运行时层面进行 Serverless 化是远远不够的,应用依赖的下游数据库等系统,如果没有良好的弹性,就会成为系统整体的“短板”。
全面实现 Serverless 化取决于整个研发链路上有多少云产品提供了这样的形态。阿里云是国内对 Serverless 探索最早的厂商之一,其于 2017 年推出了函数计算产品 FC,2018 年推出了 Serverless 应用引擎 SAE 和 Serverless 容器服务 ASK,2020 年开源了 Serverless Devs ...... 其中,函数计算日调用次数超过 200 亿次,有效支撑历年双 11 百万 QPS 洪峰,业务年均增速超 300%,整体规模位居国内首位。
截至目前,阿里云有超过 20 款核心产品提供了 Serverless 形态,在弹性速度、计费模型上帮助客户业务更好地驾驭底层算力,节约成本。其最新发布的 Serverless 应用中心提供海量的场景化模板,让 Serverless 应用全生命周期管理更简单。通过使用 Serverless 应用中心,用户在部署应用之前无需进行额外的克隆、构建、打包和发布操作,即可快速部署和管理应用,帮助用户快速联动云上的上下游服务,轻松沉淀最佳实践。
数据库:Serverless 最难攻坚的堡垒
云数据库帮助企业和开发者节省了很大一部分运维精力,但在很多场景下,工作负载并不均衡、波峰波谷差异极大,在预算有限的情况下,我们大多时候依赖持续监控和手动对数据库容量调整来满足业务所需,但这种方式耗时耗力,还可能出问题,这就是 Serverless 化大展身手的场景。
在本届云栖大会现场,阿里云数据库团队提出了云原生数据库发展的四个方向:云原生化、平台化、一体化以及智能化。Serverless 正是云原生化的体现。
云原生化意味着数据业务加速上云,用户对数据库的需求正从资源视角向能力视角演进,而这就是阿里云数据库做出 All In Serverless 决定的原因。
但是,数据库是 Serverless 最“不友好”的应用之一,数据库不仅仅是一个“stateful”的应用,而且是一个“state-heavy”的应用,包括云原生基础设施 Kubernetes 对于 stateful 应用的支持,也是等到 StatefulSet 和 operator 之后才有一个比较好的解决方案。而在这之前数据库都是作为 Serverless 对状态做解耦和状态下沉的工具,也是全栈 Serverless 解决方案中最难攻坚的一个堡垒。
要知道,数据库在使用过程中需要满足 ACID 原子性、一致性、隔离性、持久性等特性,同时在线事务型数据库,都是 OL 开头,强调了在线,这两个叠加起来,就决定了数据库实现 Serverless 化是非常有挑战的。
但是,阿里云做到了。
以阿里云的 PolarDB 为例。PolarDB Serverless 的核心就是通过 RDMA/CIPU 等实现软硬件结合,使得跨节点的内存状态实现融合,基于此实现了 PolarDB 的跨节点在线无感迁移和强一致横向扩展,突破了资源池的单机限制,大幅提升资源利用效率,降低成本。
目前,阿里云数据库的 PolarDB、AnalyticDB、RDS 等核心产品已与倚天 710、CIPU、飞天操作系统进行深度融合创新,并全面 Serverless 化,对外更好地提供一站式数据管理与服务。
在 Serverless 层面,阿里云数据库团队实现了如下三项突破:
PolarDB for MySQL 是业内首创支持跨机 Serverless 服务的云数据库,为解决 Serverless 形态下普遍存在的上限规格过低限制,PolarDB 突破了无感秒切和高性能全局一致性两大技术难点,实现了跨机无感弹升和强一致横向线性弹升,使得上限规格突破了 1000 核以上,带来了数量级的 Serverless 能力提升,最高成本下降可达 95%,使得 Serverless 技术具备支撑企业级业务的能力。RDS MySQL 采用计算存储分离架构,5 秒完成计算资源弹升;计费粒度精确到 1 秒,Serverless 最高实现 70% 成本下降;支持实例自动启停,无负载时仅保留存储资源计费,启动平滑最快 10 秒完成;天然支持了 DataAPI 能力,可以无缝融合 FaaS 提供全栈 Serverless 的解决方案。AnalyticDB 基于资源池化和弹性存储能力,结合 MPP 数据库架构、离在线一体化以及 Serverless 创新技术,支持海量数据毫秒 / 秒级实时分析查询,让数据分析更实时、更高效;最高节省 90% 的总拥有成本 TCO;高度兼容 MySQL/PG,无缝升级 Teradata/Oracle。2022 年 10 月,阿里云数据库作为首家云厂商,参与了中国信通院的 Serverless 能力评测。最终凭借过硬的 Serverless 技术实力,参与评测的 PolarDB for MySQL、RDS MySQL 数据库获得事务型数据库 Serverless 能力最高「先进级」评级;AnalyticDB MySQL 和 AnalyticDB PostgreSQL 获评分析型数据库 Serverless 能力「增强级」评级。
大数据 AI:向着 Serverless 形态不断演进
大数据相较于数据库,不仅仅是 online 和 offline 的区别。大数据最大的特性是数据非常的半结构化,很多数据需要用户写代码,而不能完全靠关系代数做 Join、Select 等,大数据是非常稀疏的,并不是每行每列都有。这种情况下如果完全用关系代数是非常低效的,这对计算性能等各个方面都提出了挑战,大数据如何处理动态性变得至关重要,这也是大数据与云计算紧密结合的原因之一。
此外,从系统角度帮助用户在不同的资源之间寻求平衡,达到最优性价比,需要与云计算的基础设施紧密结合,通过硬件实现加速。至于硬件选型层面,通用型的硬件加速是值得的,但如果是专用型,成本会急剧升高,这也是云计算非常重要的特点,是否能够利用规模性和集群去做一些事情。
以 CIPU 为核心的架构在增效降本层面有非常本质的不同,阿里云的基础设施团队已经意识到大数据和 AI 巨大的算力要求,因此 Spark、Flink 等引擎通过与之相结合可以带来更好的投入产出比。
在 Serverless 层面,大数据与 AI 业务存在明显的波峰波谷,Serverless 可以实现更好的弹性,也可以在突发的流量高峰下迅速分配资源。本届云栖大会,阿里云 ODPS 升级为一体化大数据平台,支持大规模批量计算、实时分析等服务,提供实时流式计算、机器学习等多种计算能力,可同时调度超 10 万台以上服务器规模进行并行计算。ODPS 也是目前中国唯一自研、应用最为广泛的一体化大数据平台。
2017 年,ODPS 将大规模批处理引擎 MaxCompute 以独立产品形式对外提供服务,MaxCompute 天生是 Serverless 化的,用户可以为使用的计算量计费。机器学习平台 PAI 也会朝着 Serverless 的模式演进,无论用户需要多少机器做训练,底层平台都可以将这些资源管好,阿里云并不是第一天开始做 Serverless,只是一直在试图更加精细化地帮助用户进行训练、计算和分析,高效利用算力资源。
如今,开源降低了用户的研发门槛,但要想在云上构建一套完全按量付费又具备极致弹性,同时可以对管控面进行集中化管理,屏蔽所有底层运维复杂性,又具备智能诊断能力,这对用户而言是很难的,阿里云的开源大数据平台在过去与底层基础设施团队进行了密切合作,基于神龙裸金属,加之 Kubernetes 等容器化技术、调度技术、多租户的隔离技术,网络隔离技术及相关适配,让用户做到真正的在云上开箱即用,按量按需所用,这也是阿里云大数据团队一直以来都在坚持的。
上一篇:毫秒换算(警告!别再使用 TIMESTAMP 作为日期字段)
下一篇:返回列表
相关链接 |
||
网友回复(共有 0 条回复) |