欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python数据挖掘-文本挖掘

程序员文章站 2022-12-01 18:35:10
文本挖掘概要 搞什么的? 从大量文本数据中,抽取出有价值的知识,并且利用这些知识更好的组织信息的过程。 目的是什么? 把文本信息转化为人们可利用的知识。 举例来说,下面的...

文本挖掘概要

搞什么的?

从大量文本数据中,抽取出有价值的知识,并且利用这些知识更好的组织信息的过程。

目的是什么?

把文本信息转化为人们可利用的知识。

举例来说,下面的图表利用文本挖掘技术对库克iphoneX 发布会的内容进行分析,得出此次发布会报告中的几个常青词汇、词频的趋势变化情况。

(一)语料库(Corpus)

在python中,如何根据以往的文档文件搭建一个语料库?

1.什么是语料库

语料库是我们要分析的所有文档的集合。

在日常工作中我们对文章的管理,先是一篇篇的文章不断的积累,我们存了大量的文章之后,会对文章信息进行一些归类的工作,一般体现于建立不同的文件夹来保存不同类别的文章。

同样的,我们把我们需要分析的文本文件,读取内存变量中,然后在内存变量中使用不同的数据结构,对这些文本文件进行存储,以便进行下一步的分析。

这个内存变量就是语料库

2.语料库构建实操

我们通过一个案例来了解语料库构建的过程。

这里,jacky为了分享,整理了一份iphone8发布后,主流新闻网站评论的语料数据。

Python数据挖掘-文本挖掘
Python数据挖掘-文本挖掘

我存放iphone 语义文件夹的路

file:///Users/apple/Downloads/Iphone8

如果是windows系统要替换成响应的路径。

1) 如何把语料数据作为语料库导入到内存中