成人性生交大片免费看视频r_亚洲综合极品香蕉久久网_在线视频免费观看一区_亚洲精品亚洲人成人网在线播放_国产精品毛片av_久久久久国产精品www_亚洲国产一区二区三区在线播_日韩一区二区三区四区区区_亚洲精品国产无套在线观_国产免费www

主頁(yè) > 知識(shí)庫(kù) > Python中文糾錯(cuò)的簡(jiǎn)單實(shí)現(xiàn)

Python中文糾錯(cuò)的簡(jiǎn)單實(shí)現(xiàn)

熱門(mén)標(biāo)簽:預(yù)覽式外呼系統(tǒng) 銀川電話機(jī)器人電話 電銷機(jī)器人錄音要學(xué)習(xí)什么 外賣地址有什么地圖標(biāo)注 企業(yè)彩鈴地圖標(biāo)注 上海正規(guī)的外呼系統(tǒng)最新報(bào)價(jià) 如何地圖標(biāo)注公司 煙臺(tái)電話外呼營(yíng)銷系統(tǒng) 長(zhǎng)春極信防封電銷卡批發(fā)

介紹

這篇文章主要是用 Python 實(shí)現(xiàn)了簡(jiǎn)單的中文分詞的同音字糾錯(cuò),目前的案例中只允許錯(cuò)一個(gè)字,自己如果有興趣可以繼續(xù)優(yōu)化下去。具體步驟如下所示:

  • 先準(zhǔn)備一個(gè)文件,里面每一行中放一個(gè)中文分詞,我這里的文件是下面代碼中的 /Users/wys/Desktop/token.txt ,你們可以改成自己,再運(yùn)行代碼
  • 將構(gòu)建一個(gè)前綴樹(shù)類,實(shí)現(xiàn)插入功能,將所有的標(biāo)準(zhǔn)分詞都插入到前綴樹(shù)中,另外實(shí)現(xiàn)一個(gè)搜索功能,用來(lái)搜索分詞
  • 將輸入的錯(cuò)誤分詞中的每個(gè)字都找出 10 個(gè)同音字,將每個(gè)字都用 10 個(gè)同音字替換,結(jié)果可以最多得到 n*10 個(gè)分詞,n 為分詞的長(zhǎng)度,因?yàn)橛械囊艨赡軟](méi)有 10 個(gè)同音字。
  • 將這些分詞都經(jīng)過(guò)前綴樹(shù)的查找,如果能搜到,將其作為正確糾正就過(guò)返回

代碼

import re,pinyin
from Pinyin2Hanzi import DefaultDagParams
from Pinyin2Hanzi import dag

class corrector():
    def __init__(self):
        self.re_compile = re.compile(r'[\u4e00-\u9fff]')
        self.DAG = DefaultDagParams()

    # 將文件中的詞讀取
    def getData(self):
        words = []
        with open("/Users/wys/Desktop/token.txt") as f:
            for line in f.readlines():
                word = line.split(" ")[0]
                if word and len(word) > 2:
                    res = self.re_compile.findall(word)
                    if len(res) == len(word): ## 保證都是漢字組成的分詞
                        words.append(word)
        return words

    # 將每個(gè)拼音轉(zhuǎn)換成同音的 10 個(gè)候選漢字,
    def pinyin_2_hanzi(self, pinyinList):
        result = []
        words = dag(self.DAG, pinyinList, path_num=10)
        for item in words:
            res = item.path  # 轉(zhuǎn)換結(jié)果
            result.append(res[0])
        return result

    # 獲得詞經(jīng)過(guò)轉(zhuǎn)換的候選結(jié)結(jié)果
    def getCandidates(self, phrase):
        chars = {}
        for c in phrase:
            chars[c] = self.pinyin_2_hanzi(pinyin.get(c, format='strip', delimiter=',').split(','))
        replaces = []
        for c in phrase:
            for x in chars[c]:
                replaces.append(phrase.replace(c, x))
        return set(replaces)

    # 獲得糾錯(cuò)之后的正確結(jié)果
    def getCorrection(self, words):
        result = []
        for word in words:
            for word in self.getCandidates(word):
                if Tree.search(word):
                    result.append(word)
                    break
        return result

class Node:
    def __init__(self):
        self.word = False
        self.child = {}


class Trie(object):
    def __init__(self):
        self.root = Node()

    def insert(self, words):
        for word in words:
            cur = self.root
            for w in word:
                if w not in cur.child:
                    cur.child[w] = Node()
                cur = cur.child[w]

            cur.word = True

    def search(self, word):
        cur = self.root
        for w in word:
            if w not in cur.child:
                return False
            cur = cur.child[w]

        if cur.word == False:
            return False
        return True

if __name__ == '__main__':
    # 初始化糾正器
    c = corrector()
    # 獲得單詞
    words = c.getData()
    # 初始化前綴樹(shù)
    Tree = Trie()
    # 將所有的單詞都插入到前綴樹(shù)中
    Tree.insert(words)
    # 測(cè)試
    print(c.getCorrection(['專塘街道','轉(zhuǎn)塘姐道','轉(zhuǎn)塘街到']))

結(jié)果

打印結(jié)果為:
['轉(zhuǎn)塘街道', '轉(zhuǎn)塘街道', '轉(zhuǎn)塘街道']

可以看出都糾正成功了,有一定的效果 ,之后會(huì)繼續(xù)優(yōu)化。

到此這篇關(guān)于Python中文糾錯(cuò)的簡(jiǎn)單實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Python中文糾錯(cuò)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • Python容錯(cuò)的前綴樹(shù)實(shí)現(xiàn)中文糾錯(cuò)

標(biāo)簽:盤(pán)錦 珠海 西寧 湖北 上饒 宜昌 潮州 佳木斯

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Python中文糾錯(cuò)的簡(jiǎn)單實(shí)現(xiàn)》,本文關(guān)鍵詞  Python,中文,糾,錯(cuò)的,簡(jiǎn)單,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Python中文糾錯(cuò)的簡(jiǎn)單實(shí)現(xiàn)》相關(guān)的同類信息!
  • 本頁(yè)收集關(guān)于Python中文糾錯(cuò)的簡(jiǎn)單實(shí)現(xiàn)的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    少妇高潮一区二区三区喷水| 欧美午夜影院一区| 久久综合伊人| palipali轻量版永久网页入口| 欧美日本免费| 五月婷婷欧美视频| 在线观看视频你懂的| 亚洲精品aⅴ| 91精品国产免费| 日韩欧美不卡在线观看视频| 人妻无码中文久久久久专区| 亚洲色图图片专区| 久久久久久久免费视频| 国产尤物精品| 黄色一级大片在线免费观看| 中文字幕无线码| 天天做天天爱天天爽综合网| 中出中文字幕| 亚洲永久精品ww.7491进入| 114国产精品久久免费观看| 久久人人97超碰国产公开结果| 精品欧美一区二区在线观看视频| 日本美女黄色一级片| 久久成人亚洲精品| 国产一线二线在线观看| 2020国产精品久久精品美国| 中文字幕一区二区三区乱码| 色综合天天综合网国产成人综合天| 精品一二三四五区| 91久久免费观看| 狂野欧美性猛交| 一区二区视频免费在线观看| 九九久久电影| 亚洲国产午夜精品| 高清不卡av| 欧美视频在线观看 亚洲欧| 欧美电影在线观看完整版| 蜜桃一区av| 91国拍精品国产粉嫩亚洲一区| 黄色小视频在线播放| 波多野结衣在线| 性欧美丰满熟妇xxxx性久久久| 精品一区二区三区在线| 国产资源在线一区| 欧美日韩国产页| 久久这里只有精品视频网| 亚洲精品中文在线| 韩国日本在线视频| 亚洲成人自拍偷拍| 国产v综合v亚洲欧| 国产成人精品一区二区三区四区| 91亚洲精品久久久蜜桃| 大地资源高清播放在线观看| 欧美日韩亚洲自拍| 成人在线免费看黄| 日韩精品社区| 日韩最新中文字幕电影免费看| 精品丝袜久久| 欧在线一二三四区| 99re免费99re在线视频手机版| 日本一区二区黄色| 波多野结衣久久| www.夜夜操.com| 鲁丝一区二区三区免费| 亚洲第一偷拍| 国产一区二区三区免费看| 在线亚洲观看| 久久一级黄色片| 国产日韩中文在线中文字幕| 国产精品夜夜夜爽阿娇| 4hu四虎永久网址| 天天干天天干天天操| 黑人40厘米全进去| 国产美女久久精品| 精品91久久久| 57pao成人永久免费视频| 色女孩综合影院| 国产精品一二一区| 香港欧美日韩三级黄色一级电影网站| 欧美综合视频| 久久久久国产精品夜夜夜夜夜| av手机在线看| 午夜成年女人毛片免费观看| 免费网站你懂的| 国产91porn| 91麻豆精品秘密| 国产一二三视频| 国产拍欧美日韩视频二区| 精品少妇一区二区三区在线| 9i在线看片成人免费| 亚洲毛片在线观看| 中文字幕第69页| 亚洲人成免费电影| 亚洲国产一成人久久精品| 欧美精品一区二区三区一线天视频| 国产欧美一区二区三区在线| 精品视频一区二区三区免费| 99久久综合狠狠综合久久止| 欧美性猛交xxxx乱大交丰满| 国产视频一二三四区| 四虎精品免费视频| 国产一区视频在线| 女人扒开腿免费视频app| 欧美国产成人精品| 日本一级二级视频| 秋霞网一区二区三区| 偷拍精品精品一区二区三区| 噜噜噜在线观看播放视频| 永久免费成人代码| 香蕉国产精品偷在线观看不卡| 日本一区二区三区视频| 欧美精品一区二区成人| 国产日韩欧美黄色| 日韩在线观看电影完整版高清免费悬疑悬疑| 亚洲精品一二三区| 国产精品一区二区久久精品| 亚洲免费黄色网址| 97人澡人人添人人爽欧美| 国产精品久久久久久久蜜臀| 久久久久久久久久久免费视频| 国产精品成人免费| 美女隐私在线观看| 无码人妻aⅴ一区二区三区| 亚洲免费观看高清在线观看| 可以免费观看的黄色网址| 国产精品亚洲电影久久成人影院| 91福利国产成人精品播放| 日韩一区二区免费在线观看| 国产精品永久在线| 黄色片免费观看| 九九热免费在线| 98精品国产高清在线xxxx天堂| 911精品国产一区二区在线| 欧美777四色影| 欧美xxxx老人做受| 日本免费一区二区三区最新| 亚洲色图自拍偷拍美腿丝袜制服诱惑麻豆| 欧美日韩国产色| 亚洲精品久久久北条麻妃| 欧美aaaxxxx做受视频| 国产福利精品一区二区三区| 理论片日本一区| 99久久精品免费视频| 欧洲成人性视频| 国产资源第一页| 国产精品激情自拍| 午夜私人影院在线观看| 欧美午夜精品一区二区三区电影| 亚洲欧美日韩在线观看a三区| www.555国产精品免费| 凹凸av导航大全精品| 韩日a级毛片| 亚洲精品成人无限看| 日韩av在线电影网| 国产成+人+综合+亚洲欧美| www在线免费观看视频| 女子免费在线观看视频www| 免费高清成人| 欧美大片va欧美在线播放| av在线观看地址| 一区二区亚洲| 深夜日韩欧美| 欧美成人高清电影在线| 老司机亚洲精品| 国产精品一区二区三区久久| 91亚洲精选| 丁香婷婷久久久综合精品国产| 欧美一区二区三区爱爱| 日韩在线欧美在线国产在线| 天堂视频中文在线| 亚洲网中文字幕| 在线成人av电影| 在线观看视频色潮| 色综合久久中文综合久久97| 中文字幕一区二区三区在线乱码| 亚洲区免费视频| 日韩毛片视频在线看| 香蕉视频在线网址| 色诱视频在线观看| youjizz在线视频| 日本一级淫片免费放| 精品久久久久久无码中文野结衣| 国产精品免费aⅴ片在线观看| 中文字幕在线视频观看| 丁香花高清电影在线观看完整版| 亚洲狼人精品一区二区三区| 亚洲第一精品久久忘忧草社区| 久久国产精品国语对白| 免费不卡在线观看| 亚洲一区二区三区四区电影| 337p粉嫩色噜噜噜大肥臀| 免费亚洲电影| 麻豆精品视频在线观看免费| 亚洲男人电影天堂| 久久97精品久久久久久久不卡| 国产精品亚洲第五区在线| 欧美日韩激情四射| 国产精品日韩一区二区| 国产suv精品一区二区三区88区| 中文字幕av在线一区二区三区| 色一区在线观看| 免费视频一区| 国产美女主播在线观看| hd100%videos日本| 污污片在线免费视频| 国产白袜脚足j棉袜在线观看| 日本一级淫片演员| 无码视频在线观看| 国产一区二区在线视频播放| 特级西西人体高清大胆| 性欧美18一19内谢| 欧美成人在线免费观看| 在线免费看黄av| 91九色丨porny丨国产jk| 久草在线中文888| 国产精品一区二区三区高清在线| 日本一道本久久| 国产免费黄色| 国产欧美日韩一区二区三区四区| 中文资源在线播放| free性欧美16hd| 国产曰肥老太婆无遮挡| 免费观看黄一级视频| 永久免费成人代码| www国产精品视频| 国产66精品久久久久999小说| 国产精品91久久久| jizz内谢中国亚洲jizz| 国产成人精品亚洲日本在线观看| 天天综合色天天综合色hd| 日本va中文字幕| 国产自产2019最新不卡| 毛片视频免费| 国产精品中文字幕久久久| 日韩精品福利网| 亚洲国产精品激情在线观看| 国产一级片在线| 看一级黄色录像| 国产一区二区精品久久| 日韩综合在线观看| 一级 黄 色 片一| 日韩亚洲精品视频| 欧美日韩福利电影| 午夜精品久久久久久久白皮肤| 精品日产乱码久久久久久仙踪林| 波多野结衣 作品| 筱崎爱全乳无删减在线观看| 韩国黄色一级大片| 可以免费看的黄色网址| 亚洲娇小xxxx欧美娇小| 国产精品久久久久久久久久小说| 国产激情久久久久| 精品国产伦一区二区三区| 国产3级在线观看| 亚洲精品中文字幕乱码三区不卡| 日韩av影院| 在线观看免费视频你懂的| 国产又黄又粗又硬| 国产精品密蕾丝袜| aa片在线观看视频在线播放| 在线看片你懂得| 中文字幕乱码一区二区| 亚洲福利二区| 国产成人aa在线观看网站站| 国产精品-区区久久久狼| 中文字幕在线永久在线视频| 中文字幕九色91在线| 国产污视频在线看| 超级污的网站| 99re6这里只有精品视频在线观看| 亚洲国产精品t66y| 日韩一区二区三免费高清| 亚洲一区视频在线播放| 精品国产一二区| 国产精品久久久久久久浪潮网站| 亚洲精品国产精华液| 亚洲第一页中文字幕| 偷窥自拍亚洲色图| 有没有片在线看www| 久播影院第一理论片| 中文字幕日韩一区二区| 久久―日本道色综合久久| 久久亚洲精品中文字幕冲田杏梨| 久久1电影院| 亚洲天堂在线视频观看| 亚洲自拍第二页| 欧美性猛交xxxx免费看手交| 成人午夜淫片100集| 欧美一区二区三区免费看| 日韩av一区二区三区在线| 黄p免费网站| 日韩中文字幕免费在线观看| 欧美6699在线视频免费| 99久久久成人国产精品| 成人黄色在线免费观看| 亚洲h精品动漫在线观看| 国偷自产av一区二区三区小尤奈| 久久精品免费看| 中文字幕 欧美激情| 视频区 图片区 小说区| 日韩大陆av| 美日韩在线视频| 久久综合色之久久综合| 日本高清视频一区二区三区| 欧美三级电影在线| 国语自产偷拍精品视频偷| 久久久久久免费毛片精品| 亚洲视频在线播放| 国产高清视频免费观看| 丰满少妇又爽又紧又丰满电影| 精品国产视频在线观看| 久久这里只有精品9| 欧美性天天影院| 欧美在线视频观看免费网站| 69视频免费看| 好吊妞视频一区二区三区| 国产欧美在线一区二区| 日韩精品最新网址| 欧美在线啊v一区| 欧美黄色片免费观看| 伊人久久噜噜噜躁狠狠躁| 国产美女精品一区二区三区| 中文字幕一区二区三区四区五区六区| 国产一区二区视频在线免费观看| 国产精品白浆一区二小说| 欧美性猛交xxxx乱大交| 精品深夜福利视频| 欧美三级资源在线|