您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识

Spark应用是用来做什么的？

商业,框架,性能Spark应用是用来做什么的？

发布时间：2020-12-06加入收藏来源：互联网点击：

Spark应用是用来做什么的？

回答于 2019-09-11 08:43:50

回答于 2019-09-11 08:43:50

spark是实时计算的分布式框架

现代互联网或者IT公司常常会有大量数据沉淀，其中的商业价值有待发掘和利用。传统人工或者简单的数据库统计还有Excel工具性能太慢，单机也无法存储这么多数据。所以分布式计算框架应运而生：主要包括hadoop和spark。hadoop最早就是做一些定时处理任务。这些任务跟统计和机器学习相关。。个人或企业试图从中发现商业流向的动态以调整本身的定价模式，运行方向以获得更好的收益

hadoop对于机器要求不高（个人pc级别）就更有价值了（一个好的传统bi分析师至少好几万还不好找。。有些功能还做不到，hadoop只要你想都可以）

hadoop因为技术原因（基于硬盘）是定时批处理性质的，比较适合在闲时计算。。spark是基于内存的相对要求机器好点但是性能快的多（几百倍），而且由于摩尔定律，价格也变成商业可接受的范围。而且随着现代商业发现。。也越来越需要一些实时计算。。比如说商场人流分布这些计算等。。电商平台流量分布等。。

spark就更加火爆了

总的来说，spark是市面上性能最好的商业分析开发框架