摘 要：实现高效获取互联网中特定领域信息的有效途径是使用聚焦爬虫，针对聚焦爬虫在判断主题相关时缺少语义信息的问题，提出了一个基于语义相似度计算的聚焦爬虫框架。该框架抽取网页的主题词、内容和链接信息作为网页特征，计算主题相似度。通过链接的主题相关度计算，过滤URL 和判断URL 的重要程度。最后给出了对比试验，验证了该方法的有效性。
关键词：聚焦爬虫；语义相似度；本体；搜索引擎
中图分类号：TP391.1 文献标识码：A 文章编号：2096-4706（2020）08-0001-04
Focused Reptilian Research Based on Semantic Similarity
LIN Chunjie1，JIN Miaojuan2
（1.School of Information Technology，Luoyang Normal University，Luoyang 471022，China；2.Department of Foreign Languages Teaching and Research，Luoyang Normal University，Luoyang 471022，China）
Abstract：The effective way to achieve efficient access to information in specific areas of the internet is to use focused crawler. To solve the problem of lack of semantic information when focused crawler judges the relevant topics，a focused crawler framework based onsemantic similarity calculation is proposed. The framework extracts the subject words，content and link information of web pages as the features of web pages，and calculates the subject similarity. Through the calculation of topic relevance of links，we can filter URL and rank URL. Finally，the experiment result demonstrated that the proposed method has higher performance than traditional crawlers.
Keywords：focused crawler；semantic similarity；ontology；search engine
基金项目：国家自然科学基金项目（61272015，61602231）；河南省科技开放合作项目（172106000077）；河南省高等学校重点科研项目（16A520022）；河南省高等学校青年骨干教师培养计划（2017GGJS134）；河南省科技创新杰出人才（184200510011）；河南省高
学校重点科研项目计划（14B520061）
参考文献：
[1] BRA P D，HOUBEN G J，KORNATZKY Y，et al. InformationRetrieval in Distributed Hypertexts [C]//4th International Conference，October 11-13，1994，Rockefeller University，NY，USA：DBLP，1994：481-493.
[2] BRIN S，PAGE L. The anatomy of a large-scale hypertextualWeb search engine [C]//Proceedings of the seventh internationalconference on World Wide Web 7，Amsterdam，Netherlands：ElsevierScience Publishers，1998：107-117.
[3] KAMVAR S D，HAVELIWALA T H，MANNING C D，etal. Extrapolation Methods for Accelerating PageRank Computations [D].USA：Stanford University，2003.
[4] 东熠，刘景发，刘文杰. 基于多目标蚁群算法的主题爬虫策略 [J/OL]. 计算机工程：1-11（2019-11-11）.https://doi.org/10.19678/j.issn.1000-3428.0055967.
[5] 孙红光，藏润强，姬传德，等. 基于语义的聚焦爬虫算法研究 [J]. 东北师大学报（自然科学版），2018，50（2）：51-57.
[6] 汪岿，费晨杰，刘柏嵩. 融合LDA 的卷积神经网络主题爬虫研究 [J]. 计算机工程与应用，2019，55（11）：123-128+178.
作者简介：
林春杰（1981—），男，朝鲜族，吉林人，讲师，硕士，研究方向：数据挖掘；
金苗娟（1982—），女，汉族，河南洛阳人，讲师，硕士，研究方向：自然语言处理。