基于大数据的房价分析
来源:互联网 发布:js上传多张图片 编辑:程序博客网 时间:2024/04/26 18:11
大二自学的是python和java,大三却找了个和前端相关的实习工作,好在不是很忙,工作之余做一些自己以前想做懒得做的东西,复习一下python和java,也能增强自己的工作技能,第一个项目就是基于房价的大数据分析
1.前置准备
1.工具
使用的是python2.7下的scrapy爬虫框架,用到的包还有lxml,BeautifulSoup,requests等等
2.爬取目标
目前网络上发布房屋买卖信息的网站不少,我选择了信息量比较大的五八同城网站,当然,由于是比较大的网站,反扒的措施自然也不会少,爬取的信息主要有,房屋地址,房屋大小,房间数量,房屋朝向,房屋层数,每平米售价,总售价,详情页面等等
3.后端
使用mongodb存储房屋数据,使用百度地图API将地址信息解析为坐标信息,使用springmvc框架搭建项目,使用阿里云服务器发布项目
4.前端
使用echarts图表工具进行数据可视化.jquery进行元素选择
2.结果
发现echarts的散点图类型在数据量比较大的时候会非常卡,用武汉市举例子如下
1.五百数据量状态
可以看出,在五百数据量的状态下,数据刷新非常快,用于显示区域内房价总体信息雷达图也刷新的很快
2.一千数据量状态
在一千数据量状态下略微有些卡顿
2.一万数据量状态
阅读全文
0 0
- 基于大数据的房价分析
- 基于大数据的房价分析--1.数据爬取
- 基于大数据的房价分析--2.数据解析
- 基于大数据的房价分析--3.echart+百度地图实现数据可视化
- 基于大数据的房价分析--4.用spring搭建后端接口
- 如何利用大数据分析一个城市的房价
- 基于mdrill的大数据分析
- 基于mdrill的大数据分析
- 基于大数据的中文舆情分析
- 大数据分析- 基于Hadoop/Mahout的大数据挖掘
- 大数据分析- 基于Hadoop/Mahout的大数据挖掘
- 大数据分析- 基于Hadoop/Mahout的大数据挖掘
- 大数据分析- 基于Hadoop/Mahout的大数据挖掘
- 大数据分析- 基于Hadoop/Mahout的大数据挖掘
- 从大数据的角度看 房价一定会下跌
- 基于Hadoop大数据分析
- 爬链家的房价数据
- 基于大数据的银行反欺诈的分析报告
- 知识付费的产生与困局
- 氢氟酸与氮化硅和氧化硅
- 手机与SIM卡的组合
- Linux ESP32 开发入门 配置和烧录一个程序
- 第七章 图(最短路径算法:dijkstra,bellman-ford,floyd)
- 基于大数据的房价分析
- 寄存器变量
- OS学习笔记——生产者消费者问题
- web安全学习规划
- 任务管理器上的菜单栏没有了怎么恢复?
- linux快捷键
- 响应式布局设置--@media only screen and
- java高级特性:File I/O
- 利用BS实现安居客房地产中介信息的爬取