'requirement failed: Cannot have an empty string for name. '

今天测试pyspark重的encode出现了

pyspark.sql.utils.IllegalArgumentException: 'requirement failed: Cannot have an empty string for name. '

这个问题的主要原因是OneHotEncoder不能处理空字符串。所以我们需要将数据集中的空字符串提前处理一下。
一般可以使用 dropna 或者 na.fill／na.replace 来处理。

例如：

df = df.na.replace('','NA')