(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211007443.4 (22)申请日 2022.08.22 (71)申请人 江苏开放大学 （江苏城市职业学院） 地址 210036 江苏省南京市 鼓楼区江东北 路399号 (72)发明人 李海波　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陈月菊 (51)Int.Cl. G06F 16/951(2019.01) G06F 16/957(2019.01) G06F 16/28(2019.01) G06F 16/27(2019.01) G06F 16/26(2019.01)G06F 16/215(2019.01) G06Q 10/10(2012.01) (54)发明名称 就业技能需求分析系统 (57)摘要 本发明公开了一种就业技能需求分析系统， 包括数据采集与存储模块、 数据预处理模块、 数 据分析模块和数据可视化模块。 所述数据可视化 模块， 对MySQL数据库进行可视化展 示。 本发明用 网络爬虫、 数据挖掘和数据可视化等大数据技术 对招聘网站的海量招聘职位信息进行采集与分 析， 帮助就业者提前了解自己所学专业的岗位技 能要求， 对企业岗位和薪资待遇等进行评估， 有 针对性地学习相应的专业技能， 更好地为就业做 准备。 权利要求书2页 说明书8页 附图5页 CN 115422427 A 2022.12.02 CN 115422427 A 1.一种就业技能需求分析系统， 其特征在于， 包括数据采集与存储模块、 数据 预处理模 块、 数据分析模块和数据可视化模块； 所述数据采集与存储模块， 为获取大量具有时效性的招聘信息数据， 对招聘求职网站 的招聘信息进行采集， 分析网页结构， 编写分布式爬虫程序， 将获取的职位数据， 存储到 Hadoop分布式存 储系统中； 所述数据预处理模块， 确定数据分析字段， 编写数据预处理程序， 将采集到的繁杂多 样、 不完整、 重复和错误的数据进行清洗、 转换， 得到结构化的数据再存储到Hadoop分布式 存储系统中； 所述数据分析模块， 建立Hive数据仓库并装载预处理后的结构化数据， 利用Hive对数 据进行分析， 提炼对就 业求职有价 值的信息， 将分析 结果导入到MySQL数据库； 所述数据可视化模块， 对MySQ L数据库进行 可视化展示。 2.根据权利要求1所述的就业技 能需求分析系统， 其特征在于， 所述数据采集与存储模 块， 采用Scrapy分布式爬虫框架实现招聘网站数据的爬取； 具体步骤 包括： S1、 确定爬取对象； S2、 分析网页结构； S3、 编写Scrapy爬虫程序。 3.根据权利要求2所述的就业技能需求分析系统， 其特征在于， S1中， 爬取内容主要包 括招聘职位、 薪资、 工作经验、 学历要求、 公司名称、 所在行业、 工作 职责、 任职要求和工作地 址， 爬取的海量职位数据存 储到Hadoop分布式存 储系统中， 以便进行 数据处理和分析。 4.根据权利要求2所述的就业技能需求分析系统， 其特征在于， S2中， 需要对网页进行 分析， 并找出信息元素 的相似性； 使用浏览器 自带的开发者工具可以非常方便的分析网页 结构， 查看HTML代码， 对需要的网页元 素进行审查， 为编写爬虫程序做准备。 5.根据权利要求2所述的就业技能需求分析系统， 其特征在于， S3中， 爬虫的基本流程 主要分为发起请求、 解析内容、 获取响应内容和保存数据； 首先通过HTTP向目标站点发起 request请求， 等待服务器响应； 如果服务器能正常响应， 会得到一个包含所要获取页面内 容的respo nse， 类型有HTML、 JSON字符串、 二进制数据中的一种或多种类型。 6.根据权利要求1所述的就业技 能需求分析系统， 其特征在于， 所述数据采集与存储模 块， 采用Hadoop分布式存储系统， 包括三个节点： 一台主节点为Master， 两台从节点为 Slave1和Slave2； 每个节点上 都安装、 配置JDK和Hadoop， 并在主从节点之间建立SSH无密钥 登录； Master节点上主要运行NameNode和DataNode进程， Slave1和Slave2节点上主要运行 DataNode进程。 7.根据权利要求1所述的就业技 能需求分析系统， 其特征在于， 所述数据 预处理模块确 定数据分析字段的维度包括行业、 城市、 技能、 薪资和福 利中的一个或多个。 8.根据权利要求1所述的就业技能需求分析系统， 其特征在于， 所述数据可视化模块， 将地区热门岗位统计情况、 求职岗位地区分布情况、 地区岗位薪资福利数据对比情况， 以及 不同岗位所需技能分析情况的分析 结果， 进行Web可视化展示。 9.根据权利要求8所述的就业技能需求分析系统， 其特征在于， 所述数据可视化模块， 采用的可视化展示方法包括Flex、 JQuery和E charts中的一种或几种。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质中存储有至少一条指令、 至权　利　要　求　书 1/2 页 2 CN 115422427 A 2少一段程序、 代码集或指令集， 所述至少一条指令、 所述至少一段程序、 所述代码集或指令 集由处理器加载并执 行以实现如权利要求1 ‑9任一项所述的就 业技能需求分析系统。权　利　要　求　书 2/2 页 3 CN 115422427 A 3