作业要求来自于

 

1. 下载一长篇中文小说

2. 从文件读取待分析文本

3. 安装并使用jieba进行中文分词

4. 更新词库，加入所分析对象的专业词汇

5. 生成词频统计

6. 排序

7. 排除语法型词汇，代词、冠词、连词

8. 输出词频最大TOP20，把结果存放到文件里

9. 生成词云

 版本一：

版本2：

 

具体代码如下：

import jiebatxt=open('人间失格.txt','r',encoding='utf-8').read()#加载停用词表stopwords = [line.strip() for line in open('stops_chinese1.txt',encoding='utf-8').readlines()]#分词wordsls=jieba.lcut(txt)wcdict={}for word in wordsls:    #不在停用词表中    if word not in stopwords:        #不统计字数为一的词        if len(word)==1:            continue        else:            wcdict[word]=wcdict.get(word,0)+1#更新词库jieba.add_word('海诺莫钦')jieba.add_word('卡尔莫钦')#排序wcls=list(wcdict.items())wcls.sort(key=lambda x:x[1],reverse=True)#输出词频最大TOP20for i in range(20):    print(wcls[i])#排序好的单词列表word保存成csv文件import pandas as pdpd.DataFrame(data=wcls).to_csv('人间失格.csv',encoding='utf-8')#词云from wordcloud import WordCloudimport matplotlib.pyplot as plt#版本1wl_split=' '.join(wcdist)#空格分隔字符串mywc = WordCloud().generate(wl_split)#生产词云plt.imshow(mywc)#显示词云plt.axis("off")plt.show()#版本2from os import pathfrom PIL import Imageimport numpy as np#去掉文件名，返回目录d = path.dirname(__file__)#打开蒙版图片alice_mask = np.array(Image.open(path.join(d, "alice_mask.jpg")))#设置词云的一些属性wc = WordCloud(background_color="white", max_words=2000, mask=alice_mask,stopwords=stopwords)# 生成词云wc.generate(txt)#保存到本地wc.to_file(path.join(d, "alice.png"))#展示plt.imshow(wc, interpolation='bilinear')plt.axis("off")plt.show()

词云结果图：

排序

版本一

版本二