您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识

大数据都会学习什么框架？必备的技能是哪个？

数据,技能,框架大数据都会学习什么框架？必备的技能是哪个？

发布时间：2020-12-06加入收藏来源：互联网点击：





05 数据分析核心工具

在Python数据分析的体系内，Numpy / Pandas / Matplotlib三个核心库是绕不过去的。也是这三个工具，能够让你实现数据清洗、科学计算、数据分析、数据可视化等核心的工作。

掌握这些，你就完全可以去实现描述型数据分析、探索型数据分析，再加上Sklearn，你可以去实现预测型数据分析，一个完整的数据分析项目，也不过云云。





06 数据报告撰写

数据报告撰写虽然看起来像是文档整理类的工作，但也是非常重要的，因为直接决定了你最终的输出成果。

对于如何撰写一份优秀的数据报告，问题拆解的逻辑、数据指标的选取、用户受众需求的分析、图形化的呈现形式都是非常重要的点。

如果你想快速地了解数据分析的技能体系，并知道各个技能分支的知识结构是怎样的，哪些是重要的知识点，可以详细阅读这张“数据分析技能地图”。

好好学习，天天向上！

回答于 2019-09-11 08:43:50

从你这个问题看来，你是打算进行初步的学习？然而这并不像是编程语言那样，先掌握语法然后找一个流行框架就可以学起来，比如，java之于spring。我建议你先看看我之前回答的有关大数据的介绍：

大数据是个名词，所以没法“操作”。如果你想了解大数据的前世今生，要从企业内部的数据仓库说起。企业提供产品或者服务的时候，通常会在整个业务流程中产生若干数据，涉及的领域越多、周期越长产生的数据就越多。比如，顺丰每天仅仅面单数据就能达到千万级的数量，更不要说后面还有结算、发票、分成等等衍生的业务数据。所以，在这么大量的数据产生之后，如果仅仅是提供“查询”功能，那就太浪费了，此时就产生了从数据仓库升级到“大数据”的契机：将大量的多维度的数据整合在一起，进行“在线分析”，也就是OLAP，可以有助于辅助决策——这是面向企业内部的应用。如果这些数据包含了大量的用户信息，比如BAT从所有的APP、游戏、软件等等产品搜集到了某些或某个特定用户的行为记录，就可以更有针对性的发布广告、推荐产品——这是互联网公司占比最高的利润来源。但是，想要进行大数据“操作”，前提是要有数据，其次是要有模型，最后还要有利润点，不然没有哪个公司会去做不赚钱的业务——至少也要是可能会赚钱的业务。

前面是从业务角度考察大数据，从技术上看，主要覆盖了数据搜集、数据存储、数据处理、数据分析、建模、预测等等一系列的流程。有些框架属于存储软件、有些属于计算框架、有些属于机器学习，所以你需要先了解一下从事哪一个行业、哪一个业务方向以及具体的技术角色，然后再考虑“框架”问题。或者也可以先找一门网课学习一下“数据分析”、“大数据应用”这样的课程，毕竟大数据已经进入了太广泛的领域，不是一个人能够全面掌握所有细节的了，而且不同的细分领域所使用的技术也有很大区别，甚至不同公司都可能偏向不同的实现技术。以上仅供参考。

回答于 2019-09-11 08:43:50

大数据开发培训已经成为了现在越来越多想要学习IT编程的人的选择，大数据开发工程师也是各公司争相争夺的金领人才之一，在当今科技发展非常迅速的社会里，大数据技术受到了越来越多的关注，越来越多人把职业规划投向了大数据开发。许多人在此选择了大数据培训学习，在大数据学习的过程中框架做为其中重要的一个学习内容，是学员必须要掌握的知识点，那么大数据培训课程中都学习那些框架呢？

1、Hadoop是一个能够对大量数据进行分布式处理的软件框架，他以一种可靠、高效、可伸缩的方式进行数据处理。具有高可靠性、高扩展性、高效性、高容错性、低成本的特点。

2、Hadoop hdfs–分布式文件系统

将文件分成多个block，分散存储到不同的节点上，并提供多副本，保证数据容错性能。

3、Hadoop yarn–资源的调度和管理平台

集中管理集群的整个计算资源，以container的形式进行资源分配。

4、Hadoop mapreduce

由两个阶段组成：Map和Reduce，Map阶段每个节点处理自己节点的数据。

Reduce阶段不同节点间进行数据交换，并进行聚合计算。

5、zookeeper

ZooKeeper是 Hadoop 的分布式协调服务，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

6、hive

基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

7、hbase

HBase是一个分布式的、面向列的开源数据库高可靠性、高性能、面向列、可伸缩，底层数据存在hdfs中处理非常庞大的表， 适合处理1亿条或者10亿条以及以上条记录或者有百万个列的数据库。

8、flume

Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。

flume是分布式的日志收集系统，它将各个服务器中的数据收集起来并送到指定的地方去比如说送到图中的HDFS，简单来说flume就是收集日志的。同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

9、Spark

Apache Spark™ 是一个通用的快速的大数据处理引擎.

Spark具有很强的适应性，能够读取HDFS、HBase、 Cassandra、 S3和Techyon为持久层读写原生数据，能够以Mesos、YARN和自身携带的Standalone作为资源管理器调度job，来完成Spark应用程序的计算。

10、kafka

Kafka 是一个高吞吐量的、持久性的、分布式发布订阅消息系统。

典型的生产消费模式，生产者向主题中发送消息消费者订阅主题消费消息。

应用场景：实时性较高的场合，比如流式处理，经典用法kafka+storm、kafka+sparkStreaming

 2/3   首页 上一页 1 2 3 下一页 尾页