成都链家数据爬取分析<初稿>

来源:互联网 发布:java分层数据的储存 编辑:程序博客网 时间:2024/05/21 13:22

链家成都数据分析

数据准备部分

链家成都数据爬取

  1. 2017年4月 全部待售房屋数据

数据清洗

  1. 将数据保存为json格式的文件
  2. 将数据读取为pds的DataFrame格式,用于分析
  3. 清洗后数据格式为
    eg:
id age area decoration elev face2 floor focus hall housename release room sqr struc totalFloor totalPrice unitPrice visit 0 2005 市一医院 简装 有电梯 南 低楼层 13 2.0 融城理想 14天以前发布 3.0 135 板塔结合 11 270.0 20000 2

共包括 房龄 区域 单价 总价 电梯 装修 楼层 总楼层 楼盘 朝向 带看人数 关注人数 等17个子项

数据分析

  1. 数据的可视化
    作图看可否发现规律

建成年份分布图

图解 大部分待售房屋都是在2000年至2010年间建成

关注人数分布图

图解 大部分待售房屋没有很多看房者 爆款房源集中

带看人数分布图

图解 大部分待售房屋没有很多买房 爆款房源集中

单价分布图

7k5 到 10k的房源最多
75%的房源价格在5k到12k5之间

总楼层高分布图

11层高 与 25层高 相对较多

总价分布图

50万 至 100万 较多

发布时间分布图

7到60天 的比例超过60%

建造年份分布图

2000年至2010年间建造房屋较多

单价与其他因素关联分组-1
从上到下依次为
1. 面积与单价 关联分组 未发现明显特征
2. 房龄与单价 关联分组 可以看出5年内的新盘单价较高
3. 是否电梯 与单价 关联分组 价差约3000元
4. 楼盘名 与单价 关联分组 未发现明显特征
5. 关注人数 与单价 关联分组关注人数较大的楼盘价差较大关注人数少的约为万元左右楼盘
6. 朝向与单价 关联分组
意外的是朝南的房子并没有比较贵

朝向 单价有效值 东 10036.214480 东北 10111.987842 东南 9588.616673 北 11304.247423 南 10234.785159 西 11890.804912 西北 10590.946936 西南 9668.406892
  1. 带看人数 与单价 关联分组
    与关注不同,带看人数多的房源 单价明显增加

单价与其他因素关联分组-2
从上到下依次为
1. 单价 户型结构中的室 关联分组
大户型似乎单价更高

  1. 总层数与单价 关联分组
    楼层越高单价越高 也和前面的房龄越短单价越高印证

  2. 房屋面积 与单价 关联分组 房屋面积越大 单价差别越大

  3. 单价 户型结构中的厅 关联分组
    大户型单价更高

部分数据摘录

单价最低的五个区域

楼盘 75%分位数 最高 郫县万达 6094.25 9782.0 温江大学城 6050.50 8750.0 芙蓉古城 5793.00 19630.0 温江老城 6371.75 15059.0 航天 6411.00 12427.0

单价最高的五个区域

楼盘 75%分位数 最高 大源 21814.00 37199.0 华侨城 21694.00 39438.0 川师 21868.75 33787.0 东大路 22983.75 26816.0 金融城 29102.00 44445.0

单价最高的五个楼盘

楼盘 75%分位数 最高

国信滨河雅居 | 32446.00 | 32446.0
中海城南官邸 | 39832.00 | 39832.0
铁狮门晶融汇 | 38063.25 | 40014.0
迎宾大道一号 | 41349.00 | 41349.0
银泰中心 | 42453.00 | 42453.0

单价最低的五个楼盘

楼盘 75%分位数 最高 怡家小区 2369.00 2369.0 兴元丽都 3199.00 3199.0 鹃城雅舍 3302.00 3302.0 天府上河居 3396.00 3396.0 山南电信 3316.00 3316.0

卖家最多的十个楼盘

楼盘 数量 派克公馆 176 龙城1号 146 华润橡树湾B区 122 华润橡树湾A区 104 四季康城 102 劲力蓝色理想 92 果壳里的城 92 华侨城东岸一期 90 时代晶科名苑 88 龙城国际 88

卖家最多的楼盘 似乎都是大犀浦片区 不知道是因为房源太多还是交易旺盛 或者别的原因
派克公馆 和 龙城1号相加超过300套
都在犀浦和金牛区这条线


卖家最多的十个区域

区域 数量 龙泉驿城区 958 犀浦 868 大源 820 郫县城区 804 新都城区 798 航空港 788 新会展 632 大面 630 红光 630 毗河 566

到访人数最多的是个热门楼盘

楼盘 带看人数 劲力蓝色理想 46 无国界 44 富力桃园 40 蜀都中心一期 38 首创爱这城 38 宇众曼城 36 世豪瑞丽 34 龙湖北城天街二期 34 中德英伦联邦A区 32

使用多元线性回归算法生成房屋定价模型

测试值
[ 5530 11464 11182 14509 15802 5582 6901 5956 8334 8567]

均方误差
MSE: 2447939.96979

均方误差根
RMSE: 1564.58939335

[x] y_test 测试标签数据
[ 5530 11464 11182 14509 15802 5582 6901 5956 8334 8567]

[x] y_pred 预测标签数据
[ 3959.99632826 10119.60510849 10307.69654362 12656.02512491
15732.11183635 6452.68579357 8792.70069408 8780.28847605
9945.70766959 9612.68230933]

测试标签数据 预测值 5530 3959.99632826 11464 10119.60510849 11182 10307.69654362 14509 12656.02512491 15802 15732.11183635 5582 6452.68579357 6901 8792.70069408 5956 8780.28847605 8334 9945.70766959 8567 9612.68230933

可以看出 预测结果 有 一定的参考意义 一定程度反应了房屋的市场价值 但是 与真实标签数据还是一定差距初步判断,还有一些特征遗漏或者提取错误 比如产权年限等

使用模型 评估代售房屋的投资价值

已知,模型 一定程度表征了房屋的市场价值 将有投资价值的房屋筛选出来 看看有什么结果

将预测单价 标记为 predPrice
实际单价为 unitPrice
求差

最具投资价值的5处房产为

id 房龄 面积 装修 电梯 朝向 楼层 关注 厅 楼盘 发布 室 面积 建筑结构 总楼层 总价 单价 带看 预测价格 价差 22986 2013 光华大道沿线 精装 有电梯 南 低楼层 81 2.0 彩叠园二期 10个月以前发布 4.0 140 板楼 18 110.0 7844 40 45446.553308 37602.553308 20917 2012 双流城区 精装 有电梯 东南 低楼层 18 2.0 海棠公馆一期 11个月以前发布 3.0 102 板楼 14 74.0 7241 2 45248.904532 45248.904532 25667 1999 双楠 简装 无电梯 东 低楼层 27 1.0 双楠二区 8个月以前发布 4.0 150 板楼 5 128.0 8534 15 47790.189098 47790.189098 9422 2005 东升镇 精装 无电梯 西南 低楼层 7 2.0 锦绣华都 6个月以前发布 2.0 89 塔楼 18 80.0 8989 1 47790.189098 47790.189098 8771 2016 洪河 精装 有电梯 北 中楼层 12 2.0 上东阳光三期 6个月以前发布 2.0 89 塔楼 18 80.0 8989 1 72840.400033 72840.400033

而最有投资风险的10处房产是

id 房龄 面积 装修 电梯 朝向 楼层 关注 厅 楼盘 发布 室 面积 建筑结构 总楼层 总价 单价 带看 预测价格 价差 12538 2014 金融城 精装 有电梯 北 高楼层 4 2.0 中海城南华府 3个月以前发布 3.0 135 板塔结合 30 600.0 44445 0 9560.005061 -34884.994939 1891 2016 金融城 精装 有电梯 东南 中楼层 0 2.0 银泰中心 8天以前发布 2.0 212 板塔结合 31 900.0 42453 0 8945.185007 -33507.814993 1402 2014 金融城 精装 有电梯 北 高楼层 4 2.0 中海城南华府 3个月以前发布 3.0 135 板塔结合 30 600.0 44445 0 11237.699198 -33207.300802 24763 2008 东湖 精装 有电梯 南 低楼层 4 2.0 翡翠城三期 2个月以前发布 2.0 172 板楼 3 700.0 40606 1 7536.837508 -33069.162492 13027 2016 金融城 精装 有电梯 东南 中楼层 0 2.0 银泰中心 8天以前发布 2.0 212 板塔结合 31 900.0 42453 0 9529.676226 -32923.323774 24173 2010 卓锦城 精装 有电梯 西南 低楼层 6 2.0 四海逸家一期 2个月以前发布 4.0 88 板塔结合 33 330.0 37373 0 6664.718623 -30708.281377 1193 2015 金融城 精装 有电梯 南 中楼层 1 2.0 中海九号公馆 3个月以前发布 4.0 190 板塔结合 31 700.0 36843 1 7080.282970 -29762.717030 24755 2008 东湖 精装 有电梯 南 低楼层 7 2.0 翡翠城三期 2个月以前发布 4.0 172 板楼 3 700.0 40606 1 11238.386257 -29367.613743 24365 2009 盐市口 简装 有电梯 南 低楼层 17 1.0 皇后国际 16天以前发布 2.0 66 板楼 33 228.0 34168 0 4867.009566 -29300.990434 24250 2013 合江亭 精装 有电梯 东北 中楼层 26 1.0 铁狮门晶融汇 3个月以前发布 2.0 89 塔楼 40 360.0 40014 1 11152.055468 -28861.944532

从上表看风险房产的区域性明显 金融城超过一半 这和此前的认为南门房子保值增值 有些不同
马克思 说”利润的超额部分转化为地租” 在成熟的地产市场土地价格占房产比例超过30%
基于上表 和 这样的想法 寻找区域房产中被低估的房屋

下面从区域入手 看看有没有什么有价值的东西

排序房价单价标准差

地区 标准差 std 玉林 4767.467173 文星镇 4814.807788 东苑 5018.344488 建设路 5604.244390 万象城 5671.448533 东郊记忆 5814.344643 攀成钢 5865.642323 合江亭 6036.430728 大源 6156.323100 武侯立交 6223.284893 川师 6225.529217 三官堂 6512.403048 盐市口 6552.005316 龙湾 6675.364785 天府长城 6723.370659 华侨城 6843.890176 莲花 6953.685310 东湖 7613.542153 金融城 7617.928860 卓锦城 8363.442544

以上区域房价的离散度较大

以金融城为例进一步分析

index age focus hall room sqr totalFloor totalPrice unitPrice visit 总数 434.000000 434.000000 434.000000 434.000000 434.000000 434.000000 434.000000 434.000000 标准差 2.014581 18.167284 0.492340 1.113402 64.012754 5.084047 217.772299 6121.619697 24.156465 最小 2006.000000 0.000000 0.000000 1.000000 34.000000 16.000000 22.000000 6471.000000 0.000000 25% 2012.000000 4.000000 2.000000 2.000000 99.000000 24.000000 260.000000 21953.000000 1.000000 有效值 2012.843318 16.193548 1.801843 3.129032 150.387097 27.179724 401.875576 25656.221198 14.433180 50% 2013.000000 11.000000 2.000000 3.000000 146.000000 30.000000 380.000000 26011.000000 6.000000 75% 2014.000000 20.000000 2.000000 4.000000 189.000000 31.000000 505.000000 29951.000000 17.000000 max 2017.000000 103.000000 3.000000 7.000000 483.000000 33.000000 1500.000000 44445.000000 161.000000

在成熟的房产市场中土地价格占房屋价格超过30% 假设未来房价中地段因素更重要
在单价离散度较大的区域中进一步寻找低楼层建筑 看看这些数据 是否与前面的单价预测数据中 低估部分有交集

经过整理筛选代售房屋如下:

id 房龄 面积 装修 电梯 朝向 楼层 关注 厅 楼盘 14084 2001 营门口 NAN 无电梯 东南 中楼层 6 1.0 22980 2006 光华大道沿线 NAN 有电梯 北 中楼层 28 2.0 建信奥林匹克花园 15516 2009 建设路 NAN 有电梯 北 低楼层 13 2.0 首创爱这城 948 2014 大源 NAN 有电梯 南 低楼层 20 2.0 2270 2000 沙湾 精装 有电梯 西南 高楼层 14 2.0 8348 2012 龙泉驿城区 NAN 有电梯 北 中楼层 21 2.0 13181 2006 天府长城 简装 NAN 东南 低楼层 15 2.0 10452 2007 新都城区 精装 有电梯 东南 高楼层 3 2.0 11705 2011 市一医院 NAN 有电梯 南 中楼层 14 2.0 南城都汇汇雅园二期 22205 2009 新都城区 NAN 有电梯 东南 高楼层 2 1.0