异常用户发现(Spark MLlib+Spark SQL+DataFrame)
来源:互联网 发布:外汇平台 知乎 编辑:程序博客网 时间:2024/06/05 07:44
环境:Amabri 2.2.2、HDP 2.4.2、Spark 1.6.1 ***这是我自己东拼西凑整出来的,错误在所难免,但应该也有部分可借鉴之处...***整体思路:对原始数据提取特征后,使用KMeans做聚类,把元素明显少的类视为异常类,类中的用户视为异常用户,打上标签,之后用随机森林进行分类,训练出模型后对新数据进行分类,找出异常用户。之前统计分析、特征工程部分用的MySQL,聚类用了R和Mahout,分类用了MLlib,怎一个乱字了得。我想了想觉得完全可以只用Spark完成。1.前面的统计分析、特征工程用Spark SQL代替MySQL即可,都是SQL只有部分函数不一样,改一下就行,比较简单不再做了。(我的原则是能用SQL解决的坚决先用SQL 0.0)2.将MySQL中的特征表通过Sqoop导入Hive。(Hive和Spark SQL的元数据是共享的)
#因为特征表没有主键,需要切分字段或设置map数为1[hdfs@ws1dn1 root]$ sqoop import --connect jdbc:mysql://192.168.1.65:3306/v3 --username root -P --table t_log_2016_all --hive-import -m 1
3.使用Spark MLlib进行聚类、分类,注意与[Spark MLlib RandomForest(随机森林)建模与预测](http://blog.csdn.net/dr_guo/article/details/53258037)的区别,这里是对DataFrame操作的,那篇博客是对RDD操作的。请注意包名与类名不同org.apache.spark.mllib.tree.RandomForest/org.apache.spark.ml.classification.RandomForestClassifier遗憾的是Spark1.6.1中MLlib没有提供基于DataFrame的API来支持ML持久化,据说spark2.0支持了。[Apache Spark 2.0预览: 机器学习模型持久化](http://www.infoq.com/cn/articles/spark-apache-2-preview)下面上代码
import org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.ml.clustering.KMeansimport org.apache.spark.ml.feature.VectorAssemblerimport org.apache.spark.ml.feature.StringIndexerimport org.apache.spark.ml.classification.RandomForestClassifierimport org.apache.spark.ml.evaluation.BinaryClassificationEvaluator/** * Created by drguo on 2016/11/25. */object RunKMeansAndRF { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("km") val sc = new SparkContext(sparkConf) val sqlContext = new SQLContext(sc) val v3 = sqlContext.sql("select * from t_log_2016_all").cache() //选出特征列 val featureCols = Array("machine_chg_cnt", "ip_chg_cnt", "login_cnt", "logout_cnt", "otherop_cnt", "report_cnt", "send_email_cnt", "out_work_cnt", "out_commun_cnt", "udisk_out_cnt", "copy_cnt", "udisk_self_exa_cnt", "doc_cnt", "xls_cnt", "pdf_cnt", "ppt_cnt", "et_cnt", "gd_cnt", "txt_cnt", "xml_cnt", "eqs_cnt", "rar_cnt", "zip_cnt", "tif_cnt", "jpg_cnt", "png_cnt", "bmp_cnt", "op_total_cnt") //在原DF上增加一列,将前面选出的特征转成vector添到此列 features: vector val assembler = new VectorAssembler().setInputCols(featureCols).setOutputCol("features") val data = assembler.transform(v3) //data.show //data.printSchema val kmeans = new KMeans().setK(6).setFeaturesCol("features").setPredictionCol("cluster") val model = kmeans.fit(data) //model.clusterCenters.foreach(println) 查看类中心 //model.computeCost(data) 可以用来评价模型好坏、调参(越小越好) val pred = model.transform(data) //pred.show() /* +--------------------+---------------+----------+---------+----------+-----------+----------+--------------+------------+--------------+-------------+--------+------------------+-------+-------+-------+-------+------+------+-------+-------+-------+-------+-------+-------+-------+-------+-------+------------+-------+--------------------+-------+ | usersid|machine_chg_cnt|ip_chg_cnt|login_cnt|logout_cnt|otherop_cnt|report_cnt|send_email_cnt|out_work_cnt|out_commun_cnt|udisk_out_cnt|copy_cnt|udisk_self_exa_cnt|doc_cnt|xls_cnt|pdf_cnt|ppt_cnt|et_cnt|gd_cnt|txt_cnt|xml_cnt|eqs_cnt|rar_cnt|zip_cnt|tif_cnt|jpg_cnt|png_cnt|bmp_cnt|op_total_cnt|date_ym| features|cluster| +--------------------+---------------+----------+---------+----------+-----------+----------+--------------+------------+--------------+-------------+--------+------------------+-------+-------+-------+-------+------+------+-------+-------+-------+-------+-------+-------+-------+-------+-------+------------+-------+--------------------+-------+ |001461E4-86C64780...| 1| 6| 7.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 1.0| 6| 201601|[1.0,6.0,7.0,1.0,...| 0| */ //注册为临时表,用sql处理。换成永久表用CTAS语句或直接pred.write.saveAsTable("tablename")! pred.registerTempTable("v3_km") //查看每个类各有多少用户,把用户明显过少的类标为异常类,其中的用户标为异常用户 /*sqlContext.sql("select cluster, count(1) as cnt from v3_km group by cluster").show() +-------+-----+ |cluster| cnt| +-------+-----+ | 0|15575| | 1| 1| | 2| 3| | 3| 46| | 4| 270| | 5| 2| +-------+-----+ */ /*下面的CTAS语句不可行,因为features是vector格式的,不能转化为struct 0类作为负样本,打上标签0 sqlContext.sql("create table rf_input as select *, 0 as label from v3_km where cluster = 0 order by rand() limit 250") 其他类作为正样本,打上标签1 sqlContext.sql("insert into table rf_input select usersid, date_ym, features, 1 from v3_km where cluster != 0 order by rand() limit 250") */ //0类作为负样本,打上标签0 val negative_samples = sqlContext.sql("select usersid, date_ym, features, 0 as cluster from v3_km where cluster = 0 order by rand() limit 250") //其他类作为正样本,打上标签1 val positive_samples = sqlContext.sql("select usersid, date_ym, features, 1 as cluster from v3_km where cluster != 0 order by rand() limit 250") //合并正负样本 val rf_input = negative_samples.unionAll(positive_samples).cache() //rf_input.count // Create a label column with the StringIndexer val labelIndexer = new StringIndexer().setInputCol("cluster").setOutputCol("label") val rfDataset = labelIndexer.fit(rf_input).transform(rf_input) //将数据集划分为训练集、测试集 val splitSeed = 5043 val Array(trainingData, testData) = rfDataset.randomSplit(Array(0.7, 0.3), splitSeed) // create the classifier, set parameters for training val classifier = new RandomForestClassifier().setImpurity("gini").setMaxDepth(3).setNumTrees(20).setFeatureSubsetStrategy("auto").setSeed(5043) // use the random forest classifier to train (fit) the model val rfmodel = classifier.fit(trainingData) // print out the random forest trees //rfmodel.toDebugString // run the model on test features to get predictions val predictions = rfmodel.transform(testData)//要对新数据进行分类,向量化后放进去即可 //predictions.show /* +--------------------+-------+--------------------+-------+-----+--------------------+--------------------+----------+ | usersid|date_ym| features|cluster|label| rawPrediction| probability|prediction| +--------------------+-------+--------------------+-------+-----+--------------------+--------------------+----------+ |013BEA87-5D73409E...| 201603|[1.0,1.0,1.0,1.0,...| 0| 0.0|[18.1097422934236...|[0.90548711467118...| 0.0| |0592E1A4-7339B97B...| 201609|[1.0,2.0,1.0,1.0,...| 0| 0.0|[17.6858421744611...|[0.88429210872305...| 0.0| |0646BA92-1A06462F...| 201606|[1.0,1.0,1.0,1.0,...| 0| 0.0|[16.9666881487346...|[0.84833440743673...| 0.0| |081D24DC-74960FD1...| 201602|[1.0,4.0,1.0,1.0,...| 0| 0.0|[18.2040819160651...|[0.91020409580325...| 0.0| */ //将预测结果保存到表中 //predictions.saveAsTable("rf_output") predictions.write.saveAsTable("rf_output") // create an Evaluator for binary classification, which expects two input columns: rawPrediction and label. val evaluator = new BinaryClassificationEvaluator().setLabelCol("label") // Evaluates predictions and returns a scalar metric areaUnderROC(larger is better). AUC:ROC曲线下的面积,越趋近于1,分类效果越好,为0.5时相当于瞎猜的效果 val accuracy = evaluator.evaluate(predictions) //accuracy: Double = 0.9992023928215354 }}
最后贴一下DataFrame的函数Action 操作1、 collect() ,返回值是一个数组,返回dataframe集合所有的行2、 collectAsList() 返回值是一个java类型的数组,返回dataframe集合所有的行3、 count() 返回一个number类型的,返回dataframe集合的行数4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean, stddev, min, and max),这个可以传多个参数,中间用逗号分隔,如果有字段为空,那么不参与运算,只这对数值类型的字段。例如df.describe("age", "height").show()5、 first() 返回第一行 ,类型是row类型6、 head() 返回第一行 ,类型是row类型7、 head(n:Int)返回n行 ,类型是row 类型8、 show()返回dataframe集合的值 默认是20行,返回类型是unit9、 show(n:Int)返回n行,,返回值类型是unit10、 table(n:Int) 返回n行 ,类型是row 类型dataframe的基本操作1、 cache()同步数据的内存2、 columns 返回一个string类型的数组,返回值是所有列的名字3、 dtypes返回一个string类型的二维数组,返回值是所有列的名字以及类型4、 explan()打印执行计划 物理的5、 explain(n:Boolean) 输入值为 false 或者true ,返回值是unit 默认是false ,如果输入true 将会打印 逻辑的和物理的6、 isLocal 返回值是Boolean类型,如果允许模式是local返回true 否则返回false7、 persist(newlevel:StorageLevel) 返回一个dataframe.this.type 输入存储模型类型8、 printSchema() 打印出字段名称和类型 按照树状结构来打印9、 registerTempTable(tablename:String) 返回Unit ,将df的对象只放在一张表里面,这个表随着对象的删除而删除了10、 schema 返回structType 类型,将字段名称和类型按照结构体类型返回11、 toDF()返回一个新的dataframe类型的12、 toDF(colnames:String*)将参数中的几个字段返回一个新的dataframe类型的,13、 unpersist() 返回dataframe.this.type 类型,去除模式中的数据14、 unpersist(blocking:Boolean)返回dataframe.this.type类型 true 和unpersist是一样的作用false 是去除RDD集成查询:1、 agg(expers:column*) 返回dataframe类型 ,同数学计算求值df.agg(max("age"), avg("salary"))df.groupBy().agg(max("age"), avg("salary"))2、 agg(exprs: Map[String, String]) 返回dataframe类型 ,同数学计算求值 map类型的df.agg(Map("age" -> "max", "salary" -> "avg"))df.groupBy().agg(Map("age" -> "max", "salary" -> "avg"))3、 agg(aggExpr: (String, String), aggExprs: (String, String)*) 返回dataframe类型 ,同数学计算求值df.agg(Map("age" -> "max", "salary" -> "avg"))df.groupBy().agg(Map("age" -> "max", "salary" -> "avg"))4、 apply(colName: String) 返回column类型,捕获输入进去列的对象5、 as(alias: String) 返回一个新的dataframe类型,就是原来的一个别名6、 col(colName: String) 返回column类型,捕获输入进去列的对象7、 cube(col1: String, cols: String*) 返回一个GroupedData类型,根据某些字段来汇总8、 distinct 去重 返回一个dataframe类型9、 drop(col: Column) 删除某列 返回dataframe类型10、 dropDuplicates(colNames: Array[String]) 删除相同的列 返回一个dataframe11、 except(other: DataFrame) 返回一个dataframe,返回在当前集合存在的在其他集合不存在的(implicit arg0: scala.reflect.api.JavaUniverse.TypeTag[B]) 返回值是dataframe类型,这个 将一个字段进行更多行的拆分df.explode("name","names") {name :String=> name.split(" ")}.show();将name字段根据空格来拆分,拆分的字段放在names里面13、 filter(conditionExpr: String): 刷选部分数据,返回dataframe类型 df.filter("age>10").show(); df.filter(df("age")>10).show(); df.where(df("age")>10).show(); 都可以14、 groupBy(col1: String, cols: String*) 根据某写字段来汇总返回groupedate类型 df.groupBy("age").agg(Map("age" ->"count")).show();df.groupBy("age").avg().show();都可以15、 intersect(other: DataFrame) 返回一个dataframe,在2个dataframe都存在的元素16、 join(right: DataFrame, joinExprs: Column, joinType: String)一个是关联的dataframe,第二个关联的条件,第三个关联的类型:inner, outer, left_outer, right_outer, leftsemidf.join(ds,df("name")===ds("name") and df("age")===ds("age"),"outer").show();17、 limit(n: Int) 返回dataframe类型 去n 条数据出来18、 na: DataFrameNaFunctions ,可以调用dataframenafunctions的功能区做过滤 df.na.drop().show(); 删除为空的行19、 orderBy(sortExprs: Column*) 做alise排序20、 select(cols:string*) dataframe 做字段的刷选 df.select($"colA", $"colB" + 1)21、 selectExpr(exprs: String*) 做字段的刷选 df.selectExpr("name","name as names","upper(name)","age+1").show();22、 sort(sortExprs: Column*) 排序 df.sort(df("age").desc).show(); 默认是asc23、 unionAll(other:Dataframe) 合并 df.unionAll(ds).show();24、 withColumnRenamed(existingName: String, newName: String) 修改列表 df.withColumnRenamed("name","names").show();25、 withColumn(colName: String, col: Column) 增加一列 df.withColumn("aa",df("name")).show();
0 0
- 异常用户发现(Spark MLlib+Spark SQL+DataFrame)
- Spark SQL中的DataFrame
- spark sql DataFrame操作
- Spark SQL与DataFrame
- spark sql dataframe操作
- Spark SQL 之 DataFrame
- Spark SQL与DataFrame
- Spark-SQL DataFrame操作
- Spark Sql和DataFrame指南(部分)
- Spark SQL and DataFrame for Spark 1.3
- Spark SQL and DataFrame Guide
- Spark SQL和DataFrame指南
- Spark SQL and DataFrame Guide
- Spark SQL、DataFrame和Dataset
- spark sql和DataFrame本质
- Spark SQL DataFrame 小案例
- Spark SQL DataFrame/Dataset介绍
- Spark MLlib
- Fiddler中文乱码
- Unity3d相机跟随角色移动
- 大道至简——你比你想象中更早接触微服务
- 设计模式---单例模式
- Hrbust 1212 乘积最大【Dp+bignumber】恶心题....
- 异常用户发现(Spark MLlib+Spark SQL+DataFrame)
- ctfIDF实验室古老的邮件编码问题
- rsync-Inotify文件数据实时同步
- 常用的Android5.0的新特性--RecyclerView
- 网络编程
- 结构体与共用体
- Glide动态加载圆形图片和圆角图片
- C/S与B/S应用程序的比较
- spring cloud教程之使用spring boot创建一个应用