欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

社区发现

程序员文章站 2022-11-03 19:25:37
这是一次课程作业,实现有点粗糙。有更好的方案,欢迎交流。 我们需要评估每两个用户之间的相似度,以此来发现社区。现在我们以每对用户的共同关注人数量作为评估标准。 原始数据格式: 关注人_id:粉丝_1_id 粉丝_2_id 希望得到的输出格式是 用户_id:相似的人_1_id 相似的人_2_id 使用 ......

这是一次课程作业,实现有点粗糙。有更好的方案,欢迎交流。

我们需要评估每两个用户之间的相似度,以此来发现社区。现在我们以每对用户的共同关注人数量作为评估标准。

原始数据格式:

关注人_id:粉丝_1_id 粉丝_2_id

希望得到的输出格式是

用户_id:相似的人_1_id 相似的人_2_id

 

使用两次mapreduce 过程

 

第一次

输入格式:followee_1_id:follower_1_id follower_2_id follower_3_id

map:将后面的粉丝两两配对,并输出。key为 id-id 的形式,value为1,表示这对用户有一个共同好友

reduce: 类似wordcount,将相同key的value加起来

第二次

map:读取并切分,比如将 a-b 4 分为 a b 4 和 b a 4

reduce:将同一键的值合并到列表中, 并按相反的顺序对其进行排序。然后输出格式是 user_2:similiar_person_1 similiar_person_2 ...

此处只排出前十人。

 

代码:

https://github.com/londist/community-dectection

数据集:

small scale dataset https://www.dropbox.com/s/ntzk80l5iiiuh50/small%20dataset.txt?dl=0 

medium scale dataset https://www.dropbox.com/s/6sxnnadhxbyk7ho/medium%20dataset.txt?dl=0 

large scale dataset https://www.dropbox.com/s/lrlgz50m88j6fpc/large%20dataset.txt?dl=0