基于文本信息的SparkSQL处理研究  

作　　者：史媛[1] 

机构地区：[1]山西机电职业技术学院,山西省长治市046011

出　　处：《电子技术与软件工程》2020年第15期213-214,共2页ELECTRONIC TECHNOLOGY & SOFTWARE ENGINEERING

摘　　要：本文以图书信息为例,介绍了Spark中对结构化数据进行处理的组件SparkSQL,使用SparkSQL转换文本信息文件为DataFrame数据集,然后运用Scala语言对数据集进行操作运算,得出最终结果并将结果输出,最后分析结果得出可以采取的策略。初步阐述了SparkSQL处理文本数据的过程与步骤和Scala语言的运用。

关 键 词：文本 SparkSQL Scala 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]