import nltk
text = nltk.word_tokenize("And now for something compleyely difference")print(text)print(nltk.pos_tag(text))nltk.tag.str2tuple('word/類型')text = "The/AT grand/JJ is/VBD ."print([nltk.tag.str2tuple(t) for t in text.split()])
nltk語料庫ue肚臍提供了統一接口，可以不必理會不同的文件格式。格式:語料庫.tagged_word()/tagged_sents()。參數可以指定categories和fields
print(nltk.corpus.brown.tagged_words())
這里以名詞為例
from nltk.corpus import brown
word_tag = nltk.FreqDist(brown.tagged_words(categories="news"))print([word+'/'+tag for (word,tag)in word_tag if tag.startswith('V')])################下面是查找money的不同標注#################################wsj = brown.tagged_words(categories="news")
cfd = nltk.ConditionalFreqDist(wsj)print(cfd['money'].keys())def findtag(tag_prefix,tagged_text):
cfd = nltk.ConditionalFreqDist((tag,word) for (word,tag) in tagged_text if tag.startswith(tag_prefix))return dict((tag,list(cfd[tag].keys())[:5]) for tag in cfd.conditions())#數據類型必須轉換為list才能進行切片操作tagdict = findtag('NN',nltk.corpus.brown.tagged_words(categories="news"))for tag in sorted(tagdict):print(tag,tagdict[tag])需要nltk.bigrams()和nltk.trigrams()，分別對應2-gram模型和3-gram模型。
brown_tagged = brown.tagged_words(categories="learned") tags = [b[1] for (a,b) in nltk.bigrams(brown_tagged) if a[0]=="often"] fd = nltk.FreqDist(tags) fd.tabulate()
最簡單的標注器是為每個標識符分配統一標記。下面就是一個將所有詞都變成NN的標注器。并且用evaluate()進行檢驗。當很多詞語是名詞時候，它有利于第一次分析并提高穩定性。
brown_tagged_sents = brown.tagged_sents(categories="news")
raw = 'I do not like eggs and ham, I do not like them Sam I am'tokens = nltk.word_tokenize(raw)
default_tagger = nltk.DefaultTagger('NN')#創建標注器print(default_tagger.tag(tokens)) # 調用tag()方法進行標注print(default_tagger.evaluate(brown_tagged_sents))注意這里規則是固定（由自己決定）。當規則越來越完善的時候，精確度越高。
patterns = [ (r'.*ing$','VBG'), (r'.*ed$','VBD'), (r'.*es$','VBZ'), (r'.*','NN')#為了方便，只有少量規則] regexp_tagger = nltk.RegexpTagger(patterns) regexp_tagger.evaluate(brown_tagged_sents)
這里和書里是有差別的，不同于python2，注意調試。而查詢標注器就是存儲最有可能的標記，并且可以設置backoff參數，不能標記的情況下，就使用這個標注器（這個過程是回退）
fd = nltk.FreqDist(brown.words(categories="news"))
cfd = nltk.ConditionalFreqDist(brown.tagged_words(categories="news"))##############################################python2和3的區別#########most_freq_words = fd.most_common(100)
likely_tags = dict((word,cfd[word].max()) for (word,times) in most_freq_words)#######################################################################baseline_tagger = nltk.UnigramTagger(model=likely_tags,backoff=nltk.DefaultTagger('NN'))
baseline_tagger.evaluate(brown_tagged_sents)一元標注器的行為和查找標注器很相似，建立一元標注器的技術，為訓練。
這里我們的標注器只是記憶訓練集，而不是建立一般模型，那么吻合很好，但是不能推廣到新文本。
size = int(len(brown_tagged_sents)*0.9) train_sents = brown_tagged_sents[:size] test_sents = brown_tagged_sents[size+1:] unigram_tagger = nltk.UnigramTagger(train_sents) unigram_tagger.evaluate(test_sents)
N元標注器，就是檢索index= n 的 word，并且檢索n-N<=index<=n-1 的 tag。即通過前面詞的tag標簽，進一步確定當前詞匯的tag。類似于nltk.UnigramTagger()，自帶的二元標注器為:nltk.BigramTagger()用法一致。
很多時候，覆蓋范圍更廣的算法比精度更高的算法更有用。利用backoff指明回退標注器,來實現標注器的組合。而參數cutoff顯式聲明為int型，則會自動丟棄只出現1-n次的上下文。
t0 = nltk.DefaultTagger('NN')
t1 = nltk.UnigramTagger(train_sents,backoff=t0)
t2 = nltk.BigramTagger(train_sents,backoff=t1)
t2.evaluate(test_sents)可以發現，和原來比較之后，精確度明顯提高
對于句首的單詞，沒有前n個單詞。解決方法：通過已標記的tagged_sents來訓練標注器。
較上面的都優秀。實現的思路：以大筆化開始，然后修復細節，一點點進行細致改變。
不僅占用內存小，而且關聯上下文，并且根據問題的變小，實時修正錯誤，而不是一成不變的。當然，在python3和python2的調用有所不同。
from nltk.tag import brill brill.nltkdemo18plus() brill.nltkdemo18()
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com
Copyright ? 2019-2025 51dongshi.com 版權所有
違法及侵權請聯系：TEL:177 7030 7066 E-MAIL:11247931@qq.com 本站由北京市萬商天勤律師事務所王興未律師提供法律服務
