您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识
学习大数据有哪些技巧？
数据,基础,技术学习大数据有哪些技巧？
发布时间：2020-12-06加入收藏来源：互联网点击：
学习大数据有哪些技巧？
回答于 2019-09-11 08:43:50
回答于 2019-09-11 08:43:50
1.首先你需要对大数据有一个清晰地认知，什么是大数据？大数据都能干什么？我对大数据感兴趣吗？能坚持下来吗？我要学习大数据现在有什么基础？还有什么地方要补足？学习大数据之前千万要想好这些，要不很有可能你学习到一个阶段就半途而废了。
2.如果你之前没有编程的经历，那么你要选择一门编程语言去辅助你做大数据项目。我建议学习Java，现在Java培训机构很多，网上的视频文章等学习资源也很多，而且大数据相关技术栈中有相当一部分也是Java开发的，所以懂Java对于你学习大数据有很大的帮助。
3.如果你有Java基础，或者通过学习已经掌握了JavaWeb相关的技术，例如数据库，数据结构，JQuery，Spring等，就可以开始接触大数据相关的技术了。这一阶段需要学习的知识很多，批处理框架Hadoop，分布式文件管理系统HDFS，流式计算框架Spark，交互式框架Hive等，另外你还需要恶补一些数学知识，如概率论，离散数学，统计学等。
4.实践是检验真理的唯一标准，理论知识充足时候一定要实践，记住，实践非常重要，最好结合身边的应用场景，做一到两个大数据的项目，跟随着项目，你才能以最快的速度成长。
5.不断地学习新的知识技术，多去拜读大数据相关的论文，其实到大数据层面，更多的是解决问题的思路而不是解决问题的办法。
6.坚持，凑个偶数。
回答于 2019-09-11 08:43:50
本人从事大数据以及相关行业，算是一个业内人士，说说我的看法，仅供参考。
首先大数据这几年特别热门，同时也带来了很多的就业。大数据的价值也越来越明显，尤其是人工智能的发展和即将到来5G，都离不开大数据这个基础！所以选择学习大数据对未来的发展还是挺不错的。但同时也要清楚一些问题！
首先是确定学习的方向：大数据是一个大概念，必须知道他都有那些部分，自己将来就业要选择那个方向。下面就说一下大数据就业的方向和技能需求以及岗位需求！仅供参考！！
一，大数据开发
从事大数据开发工程师
岗位职责
1、利用Hadoop、Spark等技术在分布式系统上对海量历史数据进行预处理，挖掘用户信
息；
2、参与大数据基础平台的搭建和维护；
3、负责广告投放项目管理平台研发；
4、负责大数据计算处理平台项目研发。
技术要求
1、熟练掌握c++/Java开发，具备扎实的程序设计基本功和学习能力
2、熟悉 Linux，熟悉 shell/perl/python/php 等脚本语言的一种或多种。
3、熟悉传统数据库MySQL。
4、熟悉MapReduce、Storm、Spark、Spark Streaming等大数据开发工具，对源代码
有一定研究者优先；
5、熟悉linux环境，熟悉shell等脚本编程；
6、有大规模数据处理和日志处理经验的优先。
7、有较强的人际沟通、协调能力，具备与技术人员沟通数据需求的能力；
8、具备良好的逻辑分析能力和解决实际问题的能力。
二，大数据运维
从事大数据运维工程师
岗位职责
1、负责大数据平台整体软硬件的日常运维；
2、分析平台运行状态，进行性能优化；
3、负责大数据平台运行故障的分析、定位和解决；
4、负责新技术、新组件的技术探索、测试和应用；
5、支撑运维自动化系统的设计和开发。
岗位要求：
1、 熟悉hadoop生态圈主要开源技术组件及其工作原理，能阅读相关源代码，能顺利阅读英文文档；
2、熟悉软硬件设备、网络原理，有丰富的大数据平台部署、性能优化和运维经验；
3、熟悉Linux，熟悉cacti、ganglia、zabbix等运维软件，熟悉SaltStack、Ansible等自动化软件，有python、java、shell编程基础；
4、工作认真负责，有较强的学习能力、动手能力和分析解决问题的能力；
补充：
熟悉Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等开源项目，有运维优化经验者优先；
熟悉Linux操作系统的配置、管理及优化；
熟悉Python、Linux、shell,有ETL维护经验、电信行业大数据维护经验者优先
三，数据挖掘
从事数据挖掘工程师
岗位职责
1、对海量数据进行分析，建立数据挖掘算法，利用大数据对产品进行研究和建模，为用户提供评估和预测等功能；
2、参与/负责用户画像、推荐等系统搭建，参与核心产品推荐场景算法的研发和优化；
3、采用先进的数据挖掘和机器学习算法，为公司业务部门提供决策依据；
4、搭建数据挖掘系统和机器学习系统，实现智能平台的自动化流程。
1、具备强悍的编码能力，有扎实的数据结构和算法功底；
2、优秀的学习能力、独立分析问题和解决问题能力；
3、熟悉Linux开发环境，熟悉Python，PHP，Java等语言两种以上；
4、熟悉基本的数据分析方法、数据挖掘、机器学习算法；
5、熟悉SPSS/Modeler/R/Python等至少一种数据挖掘工具；
6、熟悉Hadoop/Spark，有Elasticsearch，Solr，Kafka，Flume等开源项目使用经验
7、有画像、广告、推荐，搜索等算法方向实际工作经验优先
四，BI（商务智能）工程师— （包括数据库开发、BI开发工程师、ETL开发、报表开发、BI咨询顾问）
岗位职责
1、独立负责业务数据收集整理，构建经营分析和报表系统；
2、通过专题分析，对业务问题进行深入分析，为业务的策略、产品优化提供数据支持；
3、 以数据驱动业务为目标，进行数仓研发工作但不局限于数仓；
4、 参与数据仓库ETL设计、开发和优化工作，保证数据准确、稳定、组织合理
岗位要求
1、掌握Oracle、MySQL、ODPS等数据库开发技能，熟练应用开发、数据库原理和常用性能优化和扩展技术；
2、掌握数据仓库建设、熟悉大数据平台操作，离线计算Hive/MR研发、实时计算spark streaming/storm；
3、熟悉ETL逻辑、OLAP设计和数据分析技术（聚类分析、回归分析、决策树等）、数据挖掘相关算法；
4、熟悉Linux系统环境开发，掌握shell、perl、python等至少一种开发语言。
6. 有较强的逻辑/概率思维能力，善于分析、归纳、描述、沟通、和解决问题。
补充（根据企业工具区别）
1、全面熟知数据仓库设计理念、设计方法，熟练掌握Informatica、Kettle、Automation等至少一种ETL工具；
下一篇：返回列表
相关链接 |
||
| 网友回复（共有 0 条回复） |