什么是搜索引擎中文分词技术原理

发布者:技术编辑主任 发布时间:2017-09-20 09:50:37 阅读量:7822 标签: 搜索引擎中文分词  

导读 : 很多从事seo优化工作的朋友对搜索引擎分词比较感兴趣,因为如果懂得了搜索引擎中文分词的原理,掌握了一定的搜索引擎分词技术的话,对于网站seo优化的长尾关键词布局是非常有帮助的,今天就来和朋友们聊聊什么是搜索引擎中文分词技术。

很多从事seo优化工作的朋友对搜索引擎分词比较感兴趣,因为如果懂得了搜索引擎中文分词的原理,掌握了一定的搜索引擎分词技术的话,对于网站seo优化的长尾关键词布局是非常有帮助的,今天就来和朋友们聊聊什么是搜索引擎中文分词技术。

 

一般来说分词的方法有两种形式,一种是基于字符串匹配的分词方法,另一种是基于统计的分词方法。

1、基于字符串匹配的分词方法是按照匹配方向不同,分为正向匹配、逆向匹配和最少切词,同时还可以将这三种切词方法综合起来使用,也就是说可以通过正向最大匹配、逆向最大匹配、正向最小匹配、逆向最小匹配来进行分词。

A、正向最大匹配的分词原理:假设字典中最长的词语字数为M个,先根据汉语的标点符号及特征词把汉语句子切分成若干短语,然后去取短语的前M个字,在字库里面查找是否存在这个词语,如果存在的话,短语就去掉这个词;如果不存在的话,就去掉这M个字的最后一个字,接着检测剩下的词是否是单字,若是则输出这个字并将这个字从短语中去掉,若不是则继续判断字库中是否存在这个词。就这样反复循环检测,直到输出一个词,然后继续取剩余短语的前M个字反复循环,这样就可以将一个短语分成词语的组合了。

这样说可能很多朋友不是很好理解,那么就用一个例子来说明一下吧,以“我是一个好人为例子”,假设字典中最长词语字数为3个,正向最大匹配顺序为:a、取出短语“我是一”,检查“我是一”是否在字典中存在或是一个单字,处理方式是去掉最后面的“一”字;b、检查短语“我是”是否在字典中存在或者是一个单字,处理方式是去掉“是”字;c、检查“我”字是否在字典中存在或是一个单字,因为“我”是一个单字,所以将“我”字输出;d、然后在继续取词“是一个”,检查“是一个”是否在字典中存在或是一个单字,处理方法是去掉最后面的“个”字;通过这样的反复检查最后输出结果为我、是、一个、好人。

B、逆向最大匹配的分词原理:是以句子结尾处开始进行分词的方法,逆向最大匹配分词技术最大的一个作用是用来消歧。比如“某培训线下聚会在某城市举行”正向最大匹配的分词结果肯定是某、培训、线、下、聚会、在、某城市、举行,这样的分词结果肯定是非常不如人意的。采用逆向最大匹配的分词技术却可以更大程度的满足句子的本意,例如设定一个分词节点大小为6,那么“在某城市举行”中很显然“举行”是会被分词出来的,最后剩下的是“聚会在某城市”。

正向最小匹配和逆向最小匹配一般来说是很少用到的,实际上使用中逆向匹配的精准度要高于正向匹配度。

2、基于统计分词技术的原理

直接调用分词词典中的若干词进行匹配,同时也使用统计技术来识别一些新的词语,将所有的统计结果匹配起来发挥切词的最高效率。

分词词典是搜索引擎判断词语的依据,基本上收录了汉语词典当中所有的词语。如我们在搜索引擎当中输入“我要减肥了”,“减肥”两个字就会被判定为一个词语。现在网络上经常会出现新造的网络流行词语,比如“神马”、“犀利哥”、“浮云”等等,这样的词肯定也会被搜索引擎慢慢收录,并加入到分词词典当中,这也是分词词典为了满足用户需求而不断的进行更新的比如结果。

 

上一篇 下一篇

最近更新

热门文章

热门标签 茅台 市值蒸发 80后 节约2600万 280亿 国宝级国企 ofo人去楼空 Lime成功 互联网本质 ofo公众号 金立没落 Dolce & Gabbana 民进党惨败 刘立荣输钱 ofo创始人戴威 HTC 趣头条 子弹短信 中本聪 陈羽凡 阿里巴巴 蘑菇街 名创优品 滴滴“大象转身” 零售业“祖师爷” 摩拜 大润发创始人 全球手机产业链 创业公司 天音控股 瑞幸咖啡 百度外卖 当当 慧聪网 哈啰上线顺风车 打折卖 iPhone 海外支付大战 瑞幸 便利店 苹果市值蒸发 权健“帝国” 爆红营销事件 华为 小米 顺丰大举扩张 “无人货架”的衰落 酷派“罢免”CEO蒋超 诺基亚 浏览器混战 小罐茶 苹果 好市多 再见摩拜 马化腾 张小龙 华为、三星 三星血战印度 互联网贪腐高管 腾讯产品"死亡"名单 共享汽车途歌 苏宁认怂 王健林卖卖卖 流浪地球 视频网站 爱屋吉屋 华为嘲讽三星 黄怒波 全时谢幕 三大外资便利店 5年盟约 快递员 外卖员 ofo以购代退 魅族 电商办卡 借壳上市 九阳 人人车 大白兔 周黑鸭 绝味 拼多多 黄太吉 陈欧 顺丰“危机” 苹果新品发布 晨光文具 传音 乐友 江小白 努比亚 阿里拼多多 六个核桃 怀旧支付 通信 乐视网 外卖摆渡 全景网络 桥页 正确使用关键词加粗技巧来提升网站页面用户体验 网站是怎样分类 SEO刷排名 网站SEO优化的预期效果 怎么样去理解网站内容更新的重要性 百度熊掌号视频服务 将关键词优化到主页上 页面相似度对网站优化带来的不利影响 网站内容如何更新
官方客服 400-666-3155
友情链接

微信公众号

微信小程序

© 2020 dxm.so 《中华人民共和国增值电信业务经营许可证》编号: 川B2-20170249号 ICP证: 蜀ICP备14008752号 四川省成都市青羊区光华北三路98号光华中心D栋1609