招聘职位信息分析与可视化呈现  

Analysis and Visualization of Job Position Information

作　　者：杨浩宇 鄢田云 张帅 刘春莉 周懿 袁馨琪 罗艺 杨闰 邓文丽 郭霞 柳敏烊 李泽滔 

机构地区：[1]成都信息工程大学应用数学学院,四川 成都

出　　处：《软件工程与应用》2025年第1期8-16,共9页Software Engineering and Applications

基　　金：四川省大学生创新创业训练计划项目(S202410621115),成都信息工程大学创新创业训练计划项目(202410621323),四川省大学生创新创业训练计划项目(S202410621117),成都信息工程大学创新创业训练计划项目(202410621326)。成都信息工程大学2024年本科教学工程项目“数智项目”(在线实践平台数据可视化的数智实验教学模式创新)。

摘　　要：本文旨在借助大规模在线招聘职位信息的采集和分析,深度挖掘招聘市场的动态趋势和需求特点,为企业和求职者提供更全面的市场洞察和决策支持。首先,从求职者角度和企业角度分别展开需求分析,确定采用的技术方案及整体处理流程。然后,完成数据采集和数据整理。从招聘网址以爬虫的方法获取原始数据集,主要以Selenium与Edge WebDriver作为主要的网页爬取技术。数据爬取完成初始化网页浏览器、用户登录、信息提取、数据爬取、数据整合等工作。数据预处理完成数据去重、缺失值处理、数据拆分、数据整合、数据优化等任务。通过建立分类标准、应用自动化分类方法、手动审核与优化步骤完成数据分类流程。其次,为了有效地捕捉到文本数据的深层结构和含义,通过数据预处理、特征提取、模型建立、主题划分等流程,结合TF-IDF技术进行分析,对数据建立LDA主题模型,通过特征提取与主题分析,成功抽象出行业洞察。最后,用Matplotlib库对数据进行可视化呈现,完成基本数据可视化,对技能、薪资趋势和地区差异等数据展开关联分析,为招聘市场的动态变化提供了深入理解和全面分析。本文能为招聘市场的参与者提供深入洞察和一些实用指导。This thesis aims to explore dynamic trends and demand characteristics in the recruitment market through extensive collection and analysis of online job postings. And it provides comprehensive market insights and decision support for businesses and job seekers. Initially, the demand analysis is conducted from the perspectives of both job seekers and businesses, the technical approach is determined, and the overall process flow is outlined. The subsequent study involves the completion of data collection and organization. Data acquisition from recruitment websites for job posting data employs web scraping techniques, primarily utilizing Selenium and Edge Web-driver.

关 键 词：爬虫技术 数据挖掘 机器学习 LDA主题模型 TF-IDF 数据可视化 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]