欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

spark处理脱敏字段

程序员文章站 2024-01-30 15:26:40
...

问题描述
spark1.5中,使用spark-sql无法使用replace函数

问题原因
目前版本兼容性问题

解决措施
spark不支持replace函数。
使用regexp_replace替代。

 //改*方式脱敏拼接sql
    spark.sql("SELECT  id,name,age,  regexp_replace(email,SUBSTR(email,2,3), \"*\") AS pv FROM  db").show()