大数据行业调研报告
前言：云计算和大数据自发展以来就着密不可分的关系，而对于我们云计算方向的计算机本科生来说，在将来若想找到一份专业对口的好工作，则必须了解大数据行的市场情况，以及大数据市场在未来的趋势，以发展自身能力去应对未来可能出现的挑战，这里我个人通过网上的相关资料，对大数据行业就以下几个方面做一个调研报告。
目前大数据产业的统计口径尚未建立，对于我国大数据产业的规模，各个研究机构均采取间接方法估算。中国信息通信研究院结合对大数据相关企业的调研测算，2016年我国大数据核心产业的市场规模约为168亿元，较2015年增速达45%，2017年达到234亿元，较2016年增速达39.3%。
随着国家政策激励以及大数据应用模式的逐步成熟，未来几年中国大数据市场仍将保持每年30%以上的快速增长，预计到2020年中国大数据市场规模将达到578亿元。
图1 中国大数据市场规模及增速(单位：亿元)
我国大数据产业集聚区主要位于经济比较发达的地区，北京、上海、广东是发展的核心地区，这些地区拥有知名互联网及技术企业、高端科技人才、国家强有力政策支撑等良好的信息技术产业发展基础，形成了比较完整的产业业态，且产业规模仍在不断扩大。
除此之外，以贵州、重庆为中心的大数据产业圈，虽然地处经济比较落后的西南地区，但是贵州、重庆等地依托政府对其大数据产业发展提供的政策引导，积极引进大数据相关企业及核心人才，力图占领大数据产业制高点，带动区域经济新发展。
珠三角地区依托广州、深圳等地区的电子信息产业优势，发挥广州和深圳两个国家超级计算中心的集聚作用，在腾讯、华为、中兴等一批骨干企业的带动下，珠三角地区逐渐形成了大数据集聚发展的趋势。
<div align="center"><font color="leight" size="3" >图2 大数据生态链</font></div>1
根据前瞻产业研究院发布的《2018-2023年中国大数据产业发展前景与投资战略规划分析报告》，在2017年，产业创新创投数据平台评选出的“大数据创新Top100”中，数据加工分析的公司达到19家，占比19%，金融大数据14家，营销大数据13家，数据采集、数据存储与数据可视化均为5家紧随其后。数据加工分析与数据可视化作为其他大数据项目的核心技术部分，占到榜单的24%，说明大数据核心技术的发展依然是目前行业的热门方向。同时，在应用领域，金融大数据和营销大数据共占到了26%的份额，也预示着未来这两个领域会有更大的发展。
图3 2017年大数据Top100细分行业分布
大数据是信息化发展的新阶段。随着信息技术和人类生产生活交汇融合，互联网快速普及，全球数据呈现爆发式增长，推动大数据产业快速发展。我国各地对于发展大数据的积极性较高，在政策、技术、产业、应用等多个层面取得了显著进展，行业应用得到快速推广，市场规模增速明显，推动我国加快建设数据强国步伐，为实现制造强国和网络提供请打的产业支撑。中国大数据产业市场在未来仍将保持较快增长，预计到2020年中国大数据产业规模将达到10100亿元，2015-2020年均复合增长率达到29.25%。
图4 2015-2020年中国大数据市场产值（亿元）
2017年中国大数据企业发展指数排行榜TOP100中，大数据企业发展指数百强榜单的变动率整体较大，新晋企业达到19家，其中以蚂蚁金服、滴滴出行、新美大、菜鸟网络等为代表的独角兽企业首次入榜，并强势入围30强；以智慧星光、量子数聚、腾云天下为代表的大数据专业厂商首次入围百强榜；以树根互联、徐工信息为代表的工业互联网平台服务提供商也首次入围榜单。
图5 2017年中国大数据企业发展指数排行榜TOP10
资料来源:中国电子信息产业研究院、中商产业研究院整理
1、大数据基础设施建设持续增长：基础设施是大数据产业高速发展的前提和保障。我国加快推进“宽带中国”战略，加快下一代互联网、4G通信网络、公共无线网络、电子政务网和物联网等网络基础设施的建设。
2、大数据开放共享进度加快：大数据时代，国家竞争力将部分体现为一国拥有数据的规模、活性以及该国解释、运用数据的能力，而国家数据主权体现了对数据的占用和控制。因此，大数据时代，数据主权成为另一个大国博弈的空间。
3、政府大数据深入应用：各级政府机关在日常管理中累积了大量的数据，但未对这些数据的价值进行充分挖掘，在未来多种数据的融合过程中，政府应用场景将更加丰富，数据挖掘和分析的结果对管理决策的辅助作用可逐步显现。
4、大数据相关立法加快：目前，我国暂无关于个人数据信息保护的专门法律，且大数据产业的行业力量、行业组织不够强大，企业自律难以实现，政府的调控和保护能力不够强。未来将通过建立个人信息和隐私保护制度，为公众创造一个良好的信息和隐私安全环境。未来随着国家大数据战略推进实施以及配套政策的贯彻落实，大数据产业发展环境将进一步优化，社会经济各领域对大数据服务需求将进一步增强，大数据的新技术、新业态、新模式将不断涌现，产业规模将继续保持高速增长态势。
5、技术影响趋势：大数据的技术发展与物联网、云计算、人工智能等新技术领域的联系将更加紧密，物联网的发展将极大提高数据的获取能力，云计算与人工智能将深度融入数据分析体系，融合创新将会不断地涌现和持续深入。
6、人才影响趋势：随着2017年教育部公布第二批获准开设“数据科学与大数据技术”的高校名单，加上第一批获批高校获批开设该专业。2018开始，大数据需要的复合型人才将源源不断形成。加之海外和传统行业跨界人才不断加入大数据行业，大数据产业将迎来创新发展。
7、资本影响趋势：近年来，伴随着资本大量进入大数据行业，出现了创业公司估值过高的现象。泡沫期的大数据行业，许多企业的发展远远无法回归企业的本质，导致创业企业供给与市场需求之间脱节。随着资本的沉没，理性资本将引领大数据行业健康发展。一些在资本热潮褪去之后还能沿正常轨道发展的企业将占据新一轮的资本优势，得到进一步的发展和壮大。
2.2.2大数据应用市场规模进一步扩大
大数据的可利用价值非常高，比如说大数据分析的场景化应用，它可以帮助各类企业从原本毫无价值的海量数据中挖掘出各类支持企业决策发展的高质量数据，使数据从量变到质变，真正产生应用价值，具有强大的经济带动作用，因此在未来的几年，大数据的应用领域必将迅速扩大。
欧盟27国因大数据的引进，至2020年将获得1.9%的额外GDP增长。预计到2020年美国大数据应用带来的增加值将占2020年GDP的2%-4%。到2020年大数据将带动中国GDP的2.8-4.2%。目前我国大数据应用已经不断渗透到金融、汽车、医疗、服务业等各个领域，行业应用范围逐步扩大，预计到2020年，我国大数据应用市场规模将达到5450亿元。
图6 2014-2020年我国大数据应用市场规模及增长率
首先，我们看两则报告，
《2016年中国互联网最热职位人才库报告》内容摘要：
研发工程师最为热门，数据分析人才最为紧缺。当前互联网行业最为热门的六大职位分别是研发工程师、产品经理、人力资源、市场营销、运营和数据分析。其中，数据分析作为新兴的热门职位，人才最为供不应求。
《大数据人才报告》内容摘要：
目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。
以上报告是职业社交平台领英2016年发布的中国互联网最热职位人才报告和数联寻英发布的大数据人才报告。两则报告表明了一个主旨，那就是大数据人才“稀缺”。
PS:各大招聘网站的岗位需求
前程无忧大数据岗位搜索，共54893个职位满足条件；
智联招聘大数据岗位搜索，共50000+个职位满足条件；
大数据作为一门基础学科，无论在数据开发及分析、物联网和人工智能算法训练领域，都有着核心技术和职位诉求，那么都有哪些对口的工作职位呢？
1、 大数据工程师，大数据开发工程师，大数据运维工程师，大数据架构师；
2、大数据分析师，大数据高级工程师，大数据分析师专家，大数据挖掘师，大数据算法师；
我们目前学习的是在hadoop集群上的开发，以此为例做一说明：
Hadoop开发工程师：
北京hadoop开发工程师平均工资：¥ 20130/月，取自 1734 份样本。
1、Hadoop开发工程师岗位职责：
a.参与优化改进数据平台基础服务，参与日传输量超过百TB的数据传输体系优化，日处理量超过PB级别的数据处理平台改进，多维实时查询分析系统的构建优化；
b.分布式机器学习算法在数据平台的构建与优化。
c.深入源码改进各种开源大数据项目（包括Hadoop、Spark、HBase等）。
2、任职要求：
a.计算机或相关专业本科以上学历；
b.熟悉Linux环境下开发，熟练掌握C++/Java/Scala等一种以上编程语言；
c.熟悉Hadoop生态系统相关项目，精通以下项目之一的源码（Hadoop/
Spark/Kafka/HBase/Flume/ElasticSearch/Druid/Kylin）；
d.具备良好的学习能力、分析能力和解决问题的能力；