您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识
大数据就业方向有哪些？
数据,工程师,岗位大数据就业方向有哪些？
发布时间：2020-12-06加入收藏来源：互联网点击：
大数据工程技术人员职业定义：从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。
大数据工程技术人员主要工作任务：
1.研究和开发大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等有关技术；
2.研究、应用大数据平台体系架构、技术和标准；
3.设计、开发、集成、测试大数据软硬件系统；
4.大数据采集、清洗、建模与分析；
5.管理、维护并保障大数据系统稳定运行；
6.监控、管理和保障大数据安全；
7.提供大数据的技术咨询和技术服务。
大数据人才的渠道来源分为4个大类，分别是校招、社招、内部培养和推荐、培训机构招聘。企业大数据人才各渠道来源的人数和占比见下图。
图 大数据人才渠道来源（单位：人）
其中社招占比最大，比校招、内培和内推以及培训机构招聘的总和还要高。大数据人才目前主要依靠社招，说明学校教育与社会需求脱节，内培和培训也不能满足岗位要求。
获取大数据知识请M我，北京尚学堂
回答于 2019-09-11 08:43:50
一. 前言
自从2012年开始,互联网技术突飞猛进,到如今2018年,已经产生了抖音,滴滴打车,ofo,王者荣耀等巨大互联网产品。
在这些产品的历史轨迹中,我暂且将IT互联网行业分为三个产业ABC,人工智能/大数据/云计算,虽然有失偏颇。
首先互联网产品访问的人数居多,并发量巨高,而TCP连接通讯在一台再怎么牛的单机上,也会很快出现CPU,内存或硬盘资源不够的情况,这时需要有种手段,能让你自动解决资源分配,这就是C,Cloud,云计算,需要解决分布式负载访问,容灾备份等问题。程序员需要通过设计各种中间件来进行压力分流,尽可能人工对业务进行细粒度拆分,然后可弹性资源使用。目前微服务和容器运维是一个常见方案。比如,网站访问,可以用Nginx来负载均衡分流到十台机器,而十台机器可能需要访问到缓存redis,可以再根据主键Hash分流….(注意：事实上很多情况都是程序员自己根据业务来设计分布式负载,如果量翻倍还需改进,但事实上翻倍一般意味着投资人更多,能吸收更多人才来改进)。
中间件支撑了很多业务的落地,但是数据越来越多,越来越杂。如何更快的存储数据,如何存海量大体积数据,如何存海量小体积数据,如何更快地拿数据,于是出现了很多的分布式数据库中间件。由于数据的存储和数据的计算更多的和业务有关,出现了数据仓库,数据清洗,数据建模等,这部分为B,BigData,大数据,目前最流行的有Hadoop生态圈,分两块：分布式存储,分布式计算。（注：底层技术仍可以说是云计算）
数据很多,我们也清洗了很多数据,但是数据有什么用,早期由数据挖掘建模,用传统模型来进行业务决策,如今神经网络,深度学习,监督学习,统称机器学习LM,大统了该领域,称A,Artifical,人工智能。
现在很多人都想要去做算法,如AI,比如我本科毕业了,就想进大公司做AI。但是,你根本竞争不过硕士博士。而目前大公司很多AI其实是调参工程师。而云计算开发又需要不少经历来磨练,一般没两三年经验没人要,而事实上,你最缺的就是经验。云计算要摩擦摩擦,就如我一般。所以,大数据开发是相对容易入门的岗位。你只需具备基本的计算机常识,掌握一两门语言,研究一下Hadoop生态圈并简单使用即可。
除此ABC之外,还有传统的Web前后端开发,移动客户端开发,游戏引擎开发等,路还有很多哈。
二. 大数据工程师岗位介绍
其实目前大数据工程师有两个方向,一种是专门做业务的,负责将Hadoop底层的数据倒来倒去,或者不同源的数据进行转换,做下简单数据清洗或者统计后给到算法或开发端。
这种大数据偏分析，区别于业务后端开发。
另外一种是偏开发的,巨杂无比,根据公司业务有所不同。
三. 前期准备
工欲善其事必先利其器.
(1)编程语言
请掌握Java或Python语言基本语法。所以,学习大数据之前也要一定的计算机基础,学习这两门语言也是一个漫长的过程,但是不努力哪里会有得到好结果的喜悦呢？你说不努力得到好结果,那你不会很心虚吗。坑慢慢填,早晚要填的。学习编程语言,第一步就是找一些教材或视频,然后装下环境,边学习边敲代码实践。
(2)常识和挑战
数据越来越多,而数据类型分：
结构化数据：关系数据。
半结构化数据：XML数据。
非结构化数据：Word, PDF, 文本,媒体日志。
数据的挑战：
采集数据
存储数据
搜索数据
传输数据
分析数据
数据从哪里来,采集数据很重要。
数据如何存储,存在哪里。
数据太大存不下怎么办。
数据搜索,在海量数据怎么找到我想要的数据。
我如何将大批数据传输到另外的地方。
我想要统计海量数据中某城市的男女比例。这些都是巨大的问题。
总结：很缺人很缺人，但培训机构出来的很难找到工作，因为培训机构学个Python就标榜大数据，远远不够。
回答于 2019-09-11 08:43:50
很好的。但是具体看你在哪个岗位，薪资差异是有的。相对来说，越往底层软件开发，薪水越高。
回答于 2019-09-11 08:43:50
1.用户数据管理员
2.CRM运营
3.会员数据库技术管理
4、大数据挖掘员
5.大数据智能招商
6.大数据精准推广
7.二类电商广告运营或优化师
8.天猫店播粉丝运营
下一篇：返回列表
相关链接 |
||
| 网友回复（共有 0 条回复） |