42.top10热门品类之本地测试
来源:互联网 发布:中国电信网络资源管理 编辑:程序博客网 时间:2024/06/06 05:10
本文为《Spark大型电商项目实战》 系列文章之一,主要进行top10热门品类模块中的本地测试环节。
本地测试
像之前本地测试时一样,将MySQL数据库中task
中task_param
的参数日期改为当天日期,然后再运行程序。
程序运行完成后,没有报错,并且在表top10_category
中出现类似于以下数据
说明测试通过。
注意事项
由于整理本系列文章时已经进行过拍错,之前的代码运行应该不会出现太大的错误,这个模块需要注意的事项或是说容易出现的错误点为:
- 当第一步拿到品类id后必须要去重,如果不去重,会出现对重复的
categoryid
进行排序,得到的结果也是重复的数据; - 自定义的二次排序key必须实现
Serializable
接口,表明是可以序列化的,否则会报错; - 在获取各品类点击次数RDD时,要返回
row.get(6) != null ? true : false
,而不要使用getLong
,否则会拿到点击为0的数据。
以上注意事项在代码实现过程中已经标注或已经更正,需要特别注意。
《Spark 大型电商项目实战》源码:https://github.com/Erik-ly/SprakProject
本文为《Spark大型电商项目实战》系列文章之一,
更多文章:Spark大型电商项目实战:http://blog.csdn.net/u012318074/article/category/6744423
0 0
- 42.top10热门品类之本地测试
- 41.top10热门品类之获取top10品类并写入MySQL
- 39.top10热门品类之自定义二次排序key
- 40.top10热门品类之进行二次排序
- 43.top10热门品类之使用Scala实现二次排序
- 36.top10热门品类之获取session访问过的所有品类
- 37.top10热门品类之计算各品类点击、下单和支付的次数
- 38.top10热门品类之join品类与点击下单支付次数
- 35.top10热门品类之需求回顾以及实现思路分析
- 47.top10活跃session之本地测试以及阶段总结
- 44.top10活跃session之开发准备以及top10品类RDD生成
- 45.top10活跃session之计算top10品类被各sessoin点击的次数
- Gartner:全球IT未来十年热门技术TOP10
- 应用产品类业务--测试总结
- Gartner:全球IT未来十年热门技术TOP10 (zz)
- 中国十大热门网站榜中榜/Alexa综合排名TOP10(2015)
- [TOP10]十大渗透测试演练系统
- [TOP10]十大渗透测试演练系统
- json与Dictionary 传输对比
- 深入理解Aop编程思想
- JSONArray转HTML
- 欢迎使用CSDN-markdown编辑器
- spark的持久化存储
- 42.top10热门品类之本地测试
- V4L2采集yuv视频花屏:Linux视频采集与编码(一)
- 进阶篇:定时任务执行之ScheduledThreadPoolExecuter(十六)
- Numpy学习笔记之ndarray对象
- LeetCode 50. Pow(x, n) x的n的次方
- 集合
- window 7下安装scrapy
- light oj 1038
- JVM 虚拟机 精华一页纸