最近有个需求, spark 作业执行前, 需要判断某个 hdfs 的地址是否在 hive 上存在分区的元信息.
例如下面的 hdfs 地址
/user/s_user_profile/god/user_crowd/date=20220214/job_id=100055
想要获取里面的 date 的值和 job_id 的值
如果还不清楚正则表达式语法的, 可以先了解下
https://blog.csdn.net/u012745499/article/details/108763880
.r 表示正则表达式字符串使用 [0-9]+ 表示连续的数字用小括号包裹后, 可以被引用到下面的变量里
// 定义正则表达式 val pattern = ".*date=([0-9]+).*job_id=([0-9]+)".r // 将小括号的内容, 赋值到 date 和 jobId 的变量里, 之后就可以直接使用了 val pattern(date, jobId) = "/user/s_user_profile/god/user_crowd/date=20220214/job_id=100055" println(date, jobId)
结果