ModuleNotFoundError: No module named 'resource'问题及解决方法
程序员文章站
2022-07-14 21:39:58
...
这几天在调试pyspark程序的时候, 只要一涉及到RDD相关的程序就报这个缺少“resource” ModuleNotFoundError: No module named ‘resource’:
- 状况:我用朋友pycharm运行spark程序,如图一的程序,一直不成功,报resource的错误。
- 预测问题:spark程序可能调用spark里面没有的模块。
- 解决方法:我将我原来的spark-2.4.0-bin-hadoop2.7版本换成了spark-2.4.4-bin-hadoop2.7之后就可以正常使用了,python解释器用的是Anaconda3里面的python解释器。
- 注意:我只是给大家提供个思路,配置pyspark网上的配置很多,基本都正确,实在没有的话可以私我,我有教程
- 测试代码:
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("wordcount").master("local[2]").getOrCreate()
sc = spark.sparkContext
#案例1:
# ls = [1, 2, 3, 4, 5, 6, 7, 8, 9]
# rdd = sc.parallelize(ls)#parallelize 是转换算子
# print(rdd.collect())#collect是行动算子
#
# rdd1 =rdd.map(lambda x:x*2)# map是对每个数据都进行操作,都执行一个函数,x*2是自己定义的一个函数
# print(rdd1.collect())
#案例2:为方便操作集合或者列表,将列表转为RDD
list = ["Hadoop","Spark","Hive","Spark"]
rdd = sc.parallelize(list)
pairRDD = rdd.map(lambda word : (word,1))#(hadoop,1) ((Hive,1) (spark,2)
pairRDD.foreach(print)#foreach;是行动算子
图一:缺少resource模块的结果
图二:正确运行的结果
推荐阅读
-
巨坑总结:ModuleNotFoundError: No module named ‘tools‘引发的一系列问题
-
解决方法:在Python中使用Win32api报错的问题,No module named win32api
-
【昊鼎王五】执行python3脚本,报“ModuleNotFoundError: No module named 'dateutil'”错的解决方法
-
ModuleNotFoundError: No module named 'resource'问题及解决方法
-
tensorflow安装中遇到No module named ‘tensorflow‘的问题及解决
-
[Tensorflow]解决ModuleNotFoundError: No module named ‘tensorflow.python.eager‘问题
-
ModuleNotFoundError: No module named ‘pip‘问题的解决方案和jupyter notebook的安装
-
巨坑总结:ModuleNotFoundError: No module named ‘tools‘引发的一系列问题
-
下载python的Crypto库出现的问题的解决:ModuleNotFoundError: No module named 'Crypto'
-
Python学习:ModuleNotFoundError: No module named 'pygal.i18n' 的解决方法