基于Scrapy框架网络爬虫技术的信贷大数据采集与应用研究  

Research on the Collection and Application of Credit Big Data Based on the Scrapy Framework Web Crawler Technology

作　　者：郑俊海 谢美婧 黄恩若 ZHENG Junhai;XIE Meijing;HUANG Enruo(Guangdong College of Finance and Commerce,Guangzhou 511457,China)

机构地区：[1]广东财贸职业学院,广州511457

出　　处：《移动信息》2023年第6期228-230,共3页MOBILE INFORMATION

基　　金：广东省普通高校青年创新人才类项目:运用大数据解决信贷中信息不对称的路径研究(2020WQNCX153)。

摘　　要：大数据技术为解决信息不对称问题提供了良好的思路,文中基于Scrapy框架网络爬虫技术,使企业可以获取更多用户的信贷信息,确保数据的完整性、可靠性,为信贷决策提供有效支撑。同时,文中基于Scrapy框架网络爬虫技术,提出了信贷大数据采集系统的设计方案,从而在互联网中获取更多有效数据,解决了企业信贷信息的不对称问题,减少了信贷风险。Big data technology provides a good idea for solving the problem of information asymmetry.Based on the Scrapy framework web crawler technology,this paper enables enterprises to obtain more users’credit information,ensure the integrity and reliability of data,and provide effective support for credit decision-making.At the same time,based on the Scrapy framework web crawler technology,this paper proposes a design scheme of the credit big data collection system,which obtains more effective data from the Internet,solves the asymmetric problem of enterprise credit information,and can reduce credit risk.

关 键 词：Scrapy框架 大数据 信贷 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]