分布式JS解析在Web信息采集系统中的应用  

作　　者：梁元 

机构地区：[1]中国航发贵州黎阳航空动力有限公司,贵州省贵阳市550014

出　　处：《电子技术与软件工程》2020年第10期163-164,共2页ELECTRONIC TECHNOLOGY & SOFTWARE ENGINEERING

摘　　要：本文为了能够突破原本网页信息采集系统无法实现脚本解析的动态化信息采集技术弊端,提出在Web信息采集系统中运用分布式JS解析技术。首先概述JS解析脚本语言常用引擎技术,并实现JS解析结合Hadoop分布式计算,提取解析系统的实际运行所处异构集群环境,基于原本Nutch系统文件的存储结构基础之上,设计整体系统文件数据结构及存储格式。发现设计的该分布式JS解析应用于Web信息采集系统思路,能够动态化、高效且准确的实现Web信息采集,为该领域提出出信息采集技术新思路。

关 键 词：分布式JS解析 WEB信息采集 Hadoop调度算法 

分 类 号：TP393.09[自动化与计算机技术—计算机应用技术] TP391.3[自动化与计算机技术—计算机科学与技术]