您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识

怎么学习大数据？

数据,基础,熟悉怎么学习大数据？

发布时间：2020-12-06加入收藏来源：互联网点击：

怎么学习大数据？

回答于 2019-09-11 08:43:50

回答于 2019-09-11 08:43:50

本人从事大数据以及相关行业，算是一个业内人士，说说我的看法，仅供参考。

首先大数据这几年特别热门，同时也带来了很多的就业。大数据的价值也越来越明显，尤其是人工智能的发展和即将到来5G，都离不开大数据这个基础！所以选择学习大数据对未来的发展还是挺不错的。但同时也要清楚一些问题！

首先是确定学习的方向：大数据是一个大概念，必须知道他都有那些部分，自己将来就业要选择那个方向。下面就说一下大数据就业的方向和技能需求以及岗位需求！仅供参考！！

一，大数据开发

从事大数据开发工程师

岗位职责

1、利用Hadoop、Spark等技术在分布式系统上对海量历史数据进行预处理，挖掘用户信

息；

2、参与大数据基础平台的搭建和维护；

3、负责广告投放项目管理平台研发；

4、负责大数据计算处理平台项目研发。

技术要求

1、熟练掌握c++/Java开发，具备扎实的程序设计基本功和学习能力

2、熟悉 Linux，熟悉 shell/perl/python/php 等脚本语言的一种或多种。

3、熟悉传统数据库MySQL。

4、熟悉MapReduce、Storm、Spark、Spark Streaming等大数据开发工具，对源代码

有一定研究者优先；

5、熟悉linux环境，熟悉shell等脚本编程；

6、有大规模数据处理和日志处理经验的优先。

7、有较强的人际沟通、协调能力，具备与技术人员沟通数据需求的能力；

8、具备良好的逻辑分析能力和解决实际问题的能力。

二，大数据运维

从事大数据运维工程师

岗位职责

1、负责大数据平台整体软硬件的日常运维； 

2、分析平台运行状态，进行性能优化； 

3、负责大数据平台运行故障的分析、定位和解决； 

4、负责新技术、新组件的技术探索、测试和应用； 

5、支撑运维自动化系统的设计和开发。 

岗位要求： 

1、 熟悉hadoop生态圈主要开源技术组件及其工作原理，能阅读相关源代码，能顺利阅读英文文档； 

2、熟悉软硬件设备、网络原理，有丰富的大数据平台部署、性能优化和运维经验；

3、熟悉Linux，熟悉cacti、ganglia、zabbix等运维软件，熟悉SaltStack、Ansible等自动化软件，有python、java、shell编程基础； 

4、工作认真负责，有较强的学习能力、动手能力和分析解决问题的能力； 

补充：

熟悉Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等开源项目，有运维优化经验者优先；

熟悉Linux操作系统的配置、管理及优化；

熟悉Python、Linux、shell,有ETL维护经验、电信行业大数据维护经验者优先

三，数据挖掘

从事数据挖掘工程师

岗位职责

1、对海量数据进行分析，建立数据挖掘算法，利用大数据对产品进行研究和建模，为用户提供评估和预测等功能；

2、参与/负责用户画像、推荐等系统搭建，参与核心产品推荐场景算法的研发和优化；

3、采用先进的数据挖掘和机器学习算法，为公司业务部门提供决策依据；

4、搭建数据挖掘系统和机器学习系统，实现智能平台的自动化流程。

1、具备强悍的编码能力，有扎实的数据结构和算法功底；

2、优秀的学习能力、独立分析问题和解决问题能力；

3、熟悉Linux开发环境，熟悉Python，PHP，Java等语言两种以上；

4、熟悉基本的数据分析方法、数据挖掘、机器学习算法；

5、熟悉SPSS/Modeler/R/Python等至少一种数据挖掘工具；

6、熟悉Hadoop/Spark，有Elasticsearch，Solr，Kafka，Flume等开源项目使用经验

7、有画像、广告、推荐，搜索等算法方向实际工作经验优先

四，BI（商务智能）工程师— （包括数据库开发、BI开发工程师、ETL开发、报表开发、BI咨询顾问）

岗位职责

1、独立负责业务数据收集整理，构建经营分析和报表系统；

2、通过专题分析，对业务问题进行深入分析，为业务的策略、产品优化提供数据支持；

3、 以数据驱动业务为目标，进行数仓研发工作但不局限于数仓；

4、 参与数据仓库ETL设计、开发和优化工作，保证数据准确、稳定、组织合理 

岗位要求

1、掌握Oracle、MySQL、ODPS等数据库开发技能，熟练应用开发、数据库原理和常用性能优化和扩展技术；

2、掌握数据仓库建设、熟悉大数据平台操作，离线计算Hive/MR研发、实时计算spark streaming/storm； 

3、熟悉ETL逻辑、OLAP设计和数据分析技术（聚类分析、回归分析、决策树等）、数据挖掘相关算法；

4、熟悉Linux系统环境开发，掌握shell、perl、python等至少一种开发语言。

6. 有较强的逻辑/概率思维能力，善于分析、归纳、描述、沟通、和解决问题。

补充（根据企业工具区别）

1、全面熟知数据仓库设计理念、设计方法，熟练掌握Informatica、Kettle、Automation等至少一种ETL工具；

2、熟练掌握SAP BO、MSTR、SmartBI、Cognos、QV等至少一种BI工具；

3、熟悉数据仓库，掌握BI相关工具，如ETL工具（SSIS, SAP DataService）、OLAP工具（SSAS）和前端展示工具(BO CR/Webi)

五，数据可视化

从事可视化工程师

岗位职责

1、负责大数据平台业务逻辑和数据可视化功能，数据可视化组件研发；    

2、搭建基础的可视化分析平台，设计数据分析应用的架构，实现实时数据调用与展示；

3、数据相关性分析与根因分析；

4、支持客户需求分析和数据分析。

岗位要求

1、熟练Web前端技术（SVG/HTML5/JavaScriptdeJS等）；

2、熟练D3、Echarts、Three.js、WebGL等开源数据可视化库和技术；    

3、有Web服务器端编程语言（如Node/Java）开发经验优先；    

4、有blender(以及blender game engine)或者unity 3d或unreal engine等开发经验优先

一些BI岗位的详细介绍

BI工程师（开发、咨询、实施）

BI开发工程师

岗位职责

1、执行在框架设计的基础上完成具体组件的概要设计、详细设计编写；          

2、完成BI系统具体组件的代码编写、单元测试；                                 

3、参与BI系统报表平台技术架构设计，数据库结构设计；                  

4、参与BI系统数据仓库的构架、建模和实现。  

5、负责向需求方提供数据及业务分析服务，负责整体风控模型的优化，理解并掌握BI报表需求；

岗位要求

1、有数据仓库或统计分析类项目开发经验或较深的理论知识；

2、熟悉Cognos、Webfocus、ireport等数据分析报表开发工具和技术；

3、熟悉Linux/Unix服务器，并了解一些基本的操作命令；

4、至少熟悉Informix/Oracle/SQL Server等数据库中的一种,并在此基础上有过ETL程序或存储过程的开发。

5、能够熟练应用JSP/Servlet/JavaScript等WEB开发技术，熟悉Spring，Struts2和iBATIS等主流的开发框架，熟悉BIRT、JasperReports等开源报表工具；

 1/6    1 2 3 4 5 6 下一页 尾页