一、 项目简介
大数据采集工程师是由工业和信息化部教育与考试中心推出针对大数据采集领域的专业人才考核体系。
“大数据采集工程师 ”职业技术考试是对在大数据采集、清洗、存储、处理及系统架构设计及大数据技术等前沿科技领域中，使用大数据采集技术作为主要工具和方法进行工作的专业人员的全面技能考核，该标准分为初、中、高级三个等级。
二、能力标准
1、大数据采集工程师（初级）
了解大数据采集的基本概念与常用技术框架，熟悉Python语言基础及网络爬虫的基本原理。
掌握简单的网页数据采集方法，能够运用基础工具进行静态网页数据爬取，如获取网页中的文本、图片链接等信息，并能对采集到的数据进行初步整理和存储。
具备一定的网页前端知识，可通过浏览器开发者工具分析网页结构，辅助数据定位与采集。
熟悉常见的数据格式转换与存储方式，能够将采集的数据保存为本地文件或简单数据库。
2、大数据采集工程师（中级）
熟练掌握Python网络爬虫技术，能够应对常规动态网页的数据采集挑战，构建高效的数据采集系统，实现大规模数据的自动化抓取。
深入理解数据传输原理，熟练掌握 Flume 等数据采集与传输工具的配置与优化，确保数据在不同系统间的稳定、高效传输。
熟悉常见的大数据存储技术基础，如 Hadoop、Hive 的基本操作，能够将采集的数据合理存储到分布式存储系统中，并进行简单的数据查询与管理。
3、大数据采集工程师（高级）
精通Python网络爬虫的高级技术与架构设计，能够针对复杂的网站结构和反爬机制制定有效的采集策略，实现深度和精准的数据采集。
熟练掌握 Flume 等数据采集工具的高级特性与性能优化技巧，可根据不同的数据源和应用场景定制高效的数据采集与传输流程，保障大规模数据采集的稳定性和可靠性。
在大数据存储技术方面，精通 Hadoop、Hive、MongoDB 等系统的深度应用，能够构建高可用、高性能的数据存储架构，优化数据存储结构与查询性能，实现海量数据的快速存储与检索。
具备扎实的数据处理与分析基础，能够对采集到的数据进行初步的清洗、转换和分析，为后续的数据分析与挖掘提供高质量的数据支持。
三、课程大纲
四、报考条件
1、初级： （满足以下之一皆可报名）
（1）取得初级标准所要求培训学时证明，
（2）具备相关中等专科及以上学历（含在读的应届生）。
2、中级： （满足以下之一皆可报名）
（1）取得中级标准所要求培训学时证明，
（2）获得初级职业技术证书。
（3）专科及以上学历从事相关工作 1 年以上
（4）专科以下学历从事相关工作 2 年以上
3、高级： （满足以下之一皆可报名）
（1）取得高级标准所要求培训学时证明，
（2）获得中级职业技术证书。
（3）本科及以上学历从事相关工作 3 年以上
（4）本科以下学历从事相关工作 4 年以上
（注：上述相关工作年限不限制行业）
五、考试方式
考试方式分为线下考试站点或线上考试系统统考两种方式，考试形式为上机答题，闭卷。
六、考试内容
初级：120 分钟，单选题+多选题+判断题+操作题+简答题，上机答题。
中级：120 分钟，单选题+多选题+判断题+操作题+简答题，上机答题。
高级：120 分钟，单选题+多选题+判断题+操作题+简答题，上机答题。
七、成绩评分
考试最终成绩满分为100分，成绩80-100分为优秀；成绩60-79分为合格；成绩60分以下为不合格。
八、证书样本
学员经考核合格，由工业和信息化部教育与考试中心颁发大数据采集工程师职业技术证书，证书可登录国家工信部教育与考试中心官网查询。
九、联系方式
