python-简单爬虫及相关数据处理（统计出文章出现次数最多的50个词）

这次爬取了笑傲江湖这本小说；

网站是：'http://www.jinyongwang.com/xiao/'+str(696+i)+'.html'

考虑到每一章的网址如上递增，所以使用一个循环来遍历网址进行爬取。

然后找出文章的标签：

如图：是<p>,</p>

所以：代码如下：

然后爬取之后，存在文档里，

进行处理。

我用的是nlpir的分词系统：

作了处理之后，把所有词存进一list里面。

之后，

创建一个字典，并且遍历list，将每个词的出现次数存进key（词）对应的value里面：

for str in list:
    str1 = str.split(' ')
    for word in str1:
        if word in count:
            count[word] += 1
        else:
            count[word] = 1

再换成元组，方便排序和输出:

word_freq = []
# 遍历字典转换为元组
for word, freq in count.items():
    word_freq.append((word, freq))
word_freq.sort(reverse=True)
# 遍历前十个输出
for word, freq in word_freq[:60]:#前7-9个为标点符号
    if freq not in ['，', ',', '。', '；', ';', '：', ':', '？', '?', '！', '!', '......', '······', '……',' ','“','”','…','、']:
      print(word, freq)

默认情况下内置的sort和sorted函数接收的参数是元组时，他将会先按元组的第一个元素进行排序再按第二个元素进行排序。 然而，注意到结果中(0, 'B')在(0, 'a')的前面。这是因为大写字母B的ASCII编码比a小。

list sort 排序默认是从小到大， reverse是list sort() 方法的一个参数，意思是反转排序也就是从大到小

输出的时候调过来了

~~~