基于爬虫的用户迁徙网络的设计与实现  

The Design and Implementation of Crawling Driven User Migration Network

作　　者：周飞菲[1] 赵雪梅[1] 

机构地区：[1]郑州升达经贸管理学院,河南郑州451191

出　　处：《科技通报》2013年第9期137-141,共5页Bulletin of Science and Technology

基　　金：河南省教育厅科学技术研究重点项目(12B520071);郑州市科技发展计划项目(攻关计划)

摘　　要：在传统的互联网中,往往是由节点表示网站,节点之间的边表示两个网站之间有物理链接。由于直观的反应了网络状态,这种网络模型得到了广泛的应用。但当研究一些基于网络的高级应用如探讨用户访问网络、在各网站间的分布情况时,传统的互联网有其局限性。本文尝试研究不同网站之间的共同用户如何进行"网络迁徙"。我们使用爬虫搜集网络中的信息,构建了一个"用户迁徙"网络:网络中的节点代表网站,两个节点之间有边表示在一段时间内这两个网站有相同的用户访问,节点之间的权值代表了一段时间内可能访问这两个网站的共同用户的数量。这种用户迁徙网络不仅可以使我们了解互联网中用户的兴趣分布,而且还可以作为研究平台广泛应用于搜索或者网络广告投放研究等方面。In The World Wide Web where nodes are websites and the link of websites means there lies a physical connect. This network structure has widely application for it＇ s direct reflection of the reality. But it has its own limited when understanding how crowds＇ interests collectively spread on the Web. In this paper, we design a crawler which gather the information about the affinities among website to form a user-migration network. In this network, he nodes are websites and the weight of a link that connects two nodes corresponds to the average number of users that visits both of the websites over longer timescale. Using this user-migration network is useful for applications such as advertising of search.

关 键 词：用户迁徙网络 网络爬虫 网络属性 

分 类 号：TP393.02[自动化与计算机技术—计算机应用技术]