股票数据自动入库hive到oracle
来源:互联网 发布:java 文件存在判断 编辑:程序博客网 时间:2024/05/01 08:43
------import_stock_d.py-----------------------------------
#!/usr/bin/python
import tushare as tsimport os
import re
stocklistpath = '/home/cloudera/data/list/stocklist.txt'
savepath='/home/cloudera/data/data/'
openstock = open(stocklistpath,'r+')
for i in openstock:
r = r"S[ZH]\d\d\d\d\d\d"
stocklist = re.findall(r,i)
for i in stocklist:
stocknum = i[2:8]
df = ts.get_hist_data(stocknum)
df.to_csv(savepath + i +'.txt')
print i
for path,d,filelist in os.walk('/home/cloudera/data/data/'):
for filename in filelist:
filepath = os.path.join(path,filename)
print filepath
file = open(filepath,'r+')
file.seek(0,0)
filename1 = filename[0:8]+','
print filename1
for line in file.readlines():
print file.writelines(filename1 + line)
file.close()
--------------------------------StockRun.sh------------------------------------------------------
python /home/cloudera/python/import_stock_d.py
hadoop fs -put /home/cloudera/data/data /stock
hive -e "LOAD DATA INPATH '/stock/data/*' OVERWRITE INTO TABLE import_stock_d";
hive -e "insert overwrite table import_stock_d select * from import_stock_d where turnover is not null"
sqoop export --table import_stock_d -connect jdbc:oracle:thin:@192.168.1.10:1521:orcl --username stock --password stock --export-dir '/user/hive/warehouse/import_stock_d/*' --input-fields-terminated-by ',' --input-lines-terminated-by '\n' --columns 'code,T_DATE,OPEN,HIGH,CLOSE,LOW,VOLUME,PRICE_CHANGE,P_CHANGE,MA5,MA10,MA20,V_MA5,V_MA10,V_MA20,TURNOVER'
- 股票数据自动入库hive到oracle
- Hive 数据入库到HBase
- FTP数据入库Hive
- Hive 股票数据SQL分析[Hive 案例]
- sqoop 导oracle数据到hive
- 利用sqoop导出hive数据到 oracle
- 抽取ORACLE表数据到HIVE
- Sqoop 连接Oracle导入数据到hive
- ORACLE 导入EXCEL数据入库
- excel表数据入库到oracle,并做数据映射操作
- List入库,把List1中的数据入库到List2中
- 定时从大数据平台同步HIVE数据到oracle
- 微博数据入库到sqlserver
- Oracle自动定时发送数据到邮箱
- 将hive的元数据存到Oracle里
- sqoop导oracle.mysql数据到hdfs hive
- Sqoop工具使用(一)--从oracle导入数据到hive
- 导入文本数据(oracle表)到hive
- Android开发BroadcastReceiver中的Action使用说明
- 碉堡了!大学各系女生对初夜的描述!
- 3.1、Android Studio在虚拟机中运行应用
- iOS之SDWebimage下载图片链接带中文处理
- C++ STL 文件读取和容器(转载自http://blog.sina.com.cn/s/blog_735f29100102uwwd.html)
- 股票数据自动入库hive到oracle
- android 更换时区时间同步
- 原型模式(Prototype)
- 6 rotate-image
- 独显和集显设置,双显卡工作及cuda计算
- spring定时任务配置、使用说明(简单、全)
- Android之RecyclerView的使用总结
- ECMAScript 6
- 几个ip查询接口