《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 一種面向科技項(xiàng)目文本的相似度度量方法
一種面向科技項(xiàng)目文本的相似度度量方法
2020年電子技術(shù)應(yīng)用第5期
趙曉平1,馬 文1,劉雪萍2,陳 達(dá)2
1. 云南電網(wǎng)有限責(zé)任公司 信息中心,云南 昆明 650011;2. 云南云電同方科技有限公司,云南 昆明 650220
摘要: 現(xiàn)有的文本相似度度量方法主要采用TF-IDF方法,把文本建模為詞頻向量,但未考慮文本的結(jié)構(gòu)特征。現(xiàn)將文本的結(jié)構(gòu)特征和TF-IDF方法進(jìn)行融合,提出了一種面向科技項(xiàng)目文本的相似度度量方法。該方法首先對(duì)文本進(jìn)行預(yù)處理,其次根據(jù)文本的結(jié)構(gòu)特征提取模塊文本,然后使用TF-IDF方法提取每個(gè)模塊文本的TOP-N關(guān)鍵詞, 作為模塊文本的特征向量表示,最后使用余弦聚類(lèi)計(jì)算文本的相似度。實(shí)驗(yàn)結(jié)果表明,在電力行業(yè)的科技項(xiàng)目文檔數(shù)據(jù)集上,所提方法優(yōu)于TF-IDF方法。
中圖分類(lèi)號(hào): TP311
文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.191420
中文引用格式: 趙曉平,馬文,劉雪萍,等. 一種面向科技項(xiàng)目文本的相似度度量方法[J].電子技術(shù)應(yīng)用,2020,46(5):31-34,39.
英文引用格式: Zhao Xiaoping,Ma Wen,Liu Xueping,et al. A similarity measurement method for science and technology project text[J]. Application of Electronic Technique,2020,46(5):31-34,39.
A similarity measurement method for science and technology project text
Zhao Xiaoping1,Ma Wen1,Liu Xueping2,Chen Da2
1.Information Center,Yunnan Power Grid Co.,Ltd.,Kunming 650011,China; 2.Yunnan Yundian Tongfang Technology Co.,Ltd.,Kunming 650220,China
Abstract: Existing text similarity measurements often use the TF-IDF method to model texts as term frequency vectors without considering the structural features of texts. This paper combines the structural features of texts with the TF-IDF method and proposes a text similarity measurement for science and technology project texts. This approach firstly pre-processes a text and extracts module texts according to its structural features. After applying the TF-IDF method to these extracted module texts, this method extracts the top keywords of each module text, obtains its feature vector representation, and finally uses cosine formula to calculate the similarity of two texts. By comparing with the TF-IDF method, experimental results show that the proposed method can promote the evaluation metrics of F-measure.
Key words : text similarity;TF-IDF;text clustering;natural language process

0 引言

    文本相似度度量是指將文本看成一組詞的集合體,分析每個(gè)詞在文本中出現(xiàn)的次數(shù)以及在整個(gè)文本集合中出現(xiàn)次數(shù),進(jìn)而利用這些詞頻信息將文本建模為一個(gè)向量,并利用向量間的余弦距離等計(jì)算文本之間的相似度[1-2]

    文本相似度度量被廣泛應(yīng)用于許多領(lǐng)域,例如:信息檢索領(lǐng)域[3-4]、文本分類(lèi)[5-8]、文本摘要的自動(dòng)生成[9-10]、文本的查重檢測(cè)[11-12]。本文關(guān)注的是在電力行業(yè)的科技項(xiàng)目查重中應(yīng)用文本相似度度量。

    現(xiàn)有的TF-IDF[13-15]方法主要將文本建模為詞頻向量,再使用余弦相似度來(lái)計(jì)算兩個(gè)文本間的相似度。但是對(duì)于多數(shù)文本而言,這種采用詞頻向量模型的方法需要將文本表示為詞項(xiàng)數(shù)目與文本數(shù)目大致相當(dāng)?shù)木仃嚕仃囍械男辛邢蛄慷加兄浅8叩木S度并且是極度稀疏的,從而最終導(dǎo)致非常低效的計(jì)算[1,16]。此外,這種方法也忽略了文本的的結(jié)構(gòu)特征。

    針對(duì)上述問(wèn)題,本文提出一種既考慮了文本的結(jié)構(gòu)特征,又能有效降低文本表示模型維度的文本相似度度量方法。給定兩個(gè)文本,通過(guò)文本所提方法能夠高效、準(zhǔn)確地計(jì)算出兩者間的相似度,為電力行業(yè)科技項(xiàng)目的查重提供有效支撐。



論文詳細(xì)內(nèi)容請(qǐng)下載http://www.rjjo.cn/resource/share/2000002786




作者信息:

趙曉平1,馬  文1,劉雪萍2,陳  達(dá)2

(1. 云南電網(wǎng)有限責(zé)任公司 信息中心,云南 昆明 650011;2. 云南云電同方科技有限公司,云南 昆明 650220)

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
主站蜘蛛池模板: 黄色作爱| 欧美videos另类齐全 | 男人亚洲天堂 | 视频在线一区二区三区 | 99精品视频免费观看 | 综合558欧美成人永久网站 | 男女视频免费在线观看 | 男人的天堂高清在线观看 | 国产精品久久久久国产精品三级 | 欧美一级毛片不卡免费观看 | 成人自拍视频网站 | 日韩在线专区 | 日本一级特大毛片 | 男女性高清爱潮视频免费观看 | 黄色aaa毛片 | 一区精品视频 | 丝袜足液精子免费视频 | 欧美日韩中文字幕在线视频 | 免费人成年短视频在线观看免费网站 | 手机免费黄色网址 | 日本久草视频 | 亚洲综合在线观看视频 | 99久久免费视频在线观看 | 成人国产三级在线播放 | 国产九九精品 | 日本巨乳中文字幕 | 亚洲国产精品一区二区久久 | 日韩av线上 | 午夜在线精品不卡国产 | 久草在线视频免费播放 | 中文字幕在线观看91 | 免费一级视频在线播放 | 一色屋色费精品视频在线观看 | 97免费视频在线观看 | 毛片久久久| 欧美成人精品高清在线观看 | 在线观看黄网视频免费播放 | 久久亚洲成a人片 | 日本www高清 | 欧美一级淫片a免费播放口aaa | 欧美日韩不卡在线 |