在Python上基于Markov链生成伪随机文本的教程
程序员文章站
2022-05-24 19:00:50
...
首先看一下来自Wolfram的定义
马尔可夫链是随机变量{X_t}的集合（t贯穿0,1,...），给定当前的状态，未来与过去条件独立。
Wikipedia的定义更清楚一点儿
...马尔可夫链是具有马尔可夫性质的随机过程...[这意味着]状态改变是概率性的，未来的状态仅仅依赖当前的状态。
马尔可夫链具有多种用途，现在让我看一下如何用它生产看起来像模像样的胡言乱语。
算法如下,
- 找一个作为语料库的文本，语料库用于选择接下来的转换。
- 从文本中两个连续的单词开始，最后的两个单词构成当前状态。
- 生成下一个单词的过程就是马尔可夫转换。为了生成下一个单词，首先查看语料库，查找这两个单词之后跟着的单词。从它们中随机选择一个。
- 重复2，直到生成的文本达到需要的大小。
代码如下
import random
class Markov(object):
def __init__(self, open_file):
self.cache = {}
self.open_file = open_file
self.words = self.file_to_words()
self.word_size = len(self.words)
self.database()
def file_to_words(self):
self.open_file.seek(0)
data = self.open_file.read()
words = data.split()
return words
def triples(self):
""" Generates triples from the given data string. So if our string were
"What a lovely day", we'd generate (What, a, lovely) and then
(a, lovely, day).
"""
if len(self.words)
为了看到一个示例结果，我们从古腾堡计划中拿了沃德豪斯的《My man jeeves》作为文本，示例结果如下。
In [1]: file_ = open('/home/shabda/jeeves.txt')
In [2]: import markovgen
In [3]: markov = markovgen.Markov(file_)
In [4]: markov.generate_markov_text()
Out[4]: 'Can you put a few years of your twin-brother Alfred,
who was apt to rally round a bit. I should strongly advocate
the blue with milk'
[如果想执行这个例子，请下载jeeves.txt和markovgen.py
马尔可夫算法怎样呢？
- 最后两个单词是当前状态。
- 接下来的单词仅仅依赖最后两个单词，也就是当前状态。
- 接下来的单词是从语料库的统计模型中随机选择的。
这是一个示例文本。
复制代码 代码如下:"The quick brown fox jumps over the brown fox who is slow jumps over the brown fox who is dead."
这个文本对应的语料库像这样，
{('The', 'quick'): ['brown'],
('brown', 'fox'): ['jumps', 'who', 'who'],
('fox', 'jumps'): ['over'],
('fox', 'who'): ['is', 'is'],
('is', 'slow'): ['jumps'],
('jumps', 'over'): ['the', 'the'],
('over', 'the'): ['brown', 'brown'],
('quick', 'brown'): ['fox'],
('slow', 'jumps'): ['over'],
('the', 'brown'): ['fox', 'fox'],
('who', 'is'): ['slow', 'dead.']}
现在如果我们从"brown fox"开始，接下来的单词可以是"jumps"或者"who"。如果我们选择"jumps"，然后当前的状态就变成了"fox jumps"，再接下的单词就是"over"，之后依此类推。
提示
- 我们选择的文本越大，每次转换的选择更多，生成的文本更好看。
- 状态可以设置为依赖一个单词、两个单词或者任意数量的单词。随着每个状态的单词数的增加，生成的文本更不随机。
- 不要去掉标点符号等。它们会使语料库更具代表性，随机文本更好看。
声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。
相关文章
相关视频
专题推荐
-
独孤九贱-php全栈开发教程全栈 170W+
主讲：Peter-Zhu 轻松幽默、简短易学，非常适合PHP学习入门
-
玉女心经-web前端开发教程入门 80W+
主讲：灭绝师太 由浅入深、明快简洁，非常适合前端学习入门
-
天龙八部-实战开发教程实战 120W+
主讲：西门大官人 思路清晰、严谨规范，适合有一定web编程基础学习
作者信息
网友评论
文明上网理性发言，请遵守 新闻评论服务协议
我要评论1 条评论PHP 中文网，敢不敢拿PHP实现这个算法生成随机中文文本