SparkSQL下UDF的使用

在hive中UDF函数可以在使用add jar 的方法添加，然后createTemporary function aaa as 包名.类名创建临时函数，在spark-shell这样使用会报java.lang.ClassNotFoundException: com.luogankun.udf.HelloUDF。

这时将jar包放到（1）spark jars下 或（2）配置将jar包的路径配置到spark-env.sh的SPARK_CLASSPATH中，形如：
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/hadoop/software/mysql-connector-java-5.1.27-bin.jar:/home/hadoop/lib/weekday.jar

sql("create temporary function weekday as 'cn.xdl.hive.WeekDay'")就可以直接创建临时函数

如下使用：
sql("select weekday(vdate),count(distinct(uid)) from useraction1 group by weekday(vdate) order by count(distinct(uid))").show