基于语义相似度的聚焦爬虫研究  

Focused Reptilian Research Based on Semantic Similarity

作　　者：林春杰[1] 金苗娟 LIN Chunjie;JIN Miaojuan(School of Information Technology,Luoyang Normal University,Luoyang 471022,China;Department of Foreign Languages Teaching and Research,Luoyang Normal University,Luoyang 471022,China)

机构地区：[1]洛阳师范学院信息技术学院,河南洛阳471022 [2]洛阳师范学院公共外语教研部,河南洛阳471022

出　　处：《现代信息科技》2020年第8期1-3,8,共4页Modern Information Technology

基　　金：国家自然科学基金项目(61272015,61602231);河南省科技开放合作项目(172106000077);河南省高等学校重点科研项目(16A520022);河南省高等学校青年骨干教师培养计划(2017GGJS134);河南省科技创新杰出人才(184200510011);河南省高等学校重点科研项目计划(14B520061)。

摘　　要：实现高效获取互联网中特定领域信息的有效途径是使用聚焦爬虫,针对聚焦爬虫在判断主题相关时缺少语义信息的问题,提出了一个基于语义相似度计算的聚焦爬虫框架.该框架抽取网页的主题词、内容和链接信息作为网页特征,计算主题相似度.通过链接的主题相关度计算,过滤URL和判断URL的重要程度.最后给出了对比试验,验证了该方法的有效性.The effective way to achieve efficient access to information in specific areas of the internet is to use focused crawler.To solve the problem of lack of semantic information when focused crawler judges the relevant topics,a focused crawler framework based on semantic similarity calculation is proposed.The framework extracts the subject words,content and link information of web pages as the features of web pages,and calculates the subject similarity.Through the calculation of topic relevance of links,we can filter URL and rank URL.Finally,the experiment result demonstrated that the proposed method has higher performance than traditional crawlers.

关 键 词：聚焦爬虫 语义相似度 本体 搜索引擎 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]