《网络爬虫开发》是我校大数据技术专业的一门专业核心课程,互联网中的海量数据孕育巨大价值,对海量数据的进行提取并进行专业化处理,分析提取“加工”后实现数据的“增值”,能更好地辅助各部门决策。该课程教学内容是以Python程序和网页设计为理论基础,利用相关软件和一定语法分析网页结构后获取网页结构中信息,并将信息存储为一定格式,然后对信息进行提取分析和挖掘。该课程旨在培养学生对标并具备网络爬虫工程师工作岗位的职业技能,主要培养学生互联网数据采集、数据处理、存储能力及实现数据可视化的综合能力。课程开设于大二第二学期,总学时60课时,在学习了《Python 程序设计》、《网页设计》、《数据库原理及应用》、《数据预处理》等课程的基础上,开展本课程的学习。
选用1+X职业技能等级证书配套系列教材(高职高专)《Python网络爬虫技术》(出版社:人民邮电出版社,2021年2月第6次印刷)并结合《Python3网络爬虫开发实战》(出版社:人民邮电出版社,2021年12月第2次印刷)相关章节内容进行内容重构。本单元内容选自大数据技术专业《网络爬虫开发》课程静态网页模块1-基础知识篇“初识爬虫”,理论+实训讲授2学时。