量化交易学习：交易数据自动抓取



    题记：一直对量化交易比较感兴趣，想先自学一下，将来如果有机会，能到机构实战就更棒了。去年用matlab做过一个股票下一交易日价格区间的预测算法，至少在股灾前那段时间准确率还行（别笑，预测区间当然不是在正负10%之间），不过受限于自己的本职工作强度太大（苦逼的移动互联网行业），一直没能继续做下去。后面希望能挤时间慢慢做下去，就当是个业余爱好吧。由于自己的本职工作是做音视频的编解码、增强相关的算法的，所以对量化交易的算法更偏好一点，其实两个方向本质上是相通的，都可以抽象为对随机过程的描述建模，模型建的好，音视频的压缩效率更高、增强效果更好，交易算法的预测准度更高。anyway：我的思路是用RNN-LSTM做学习模型，RNN-LSTM可以用来做自然语言处理，也可以用来做语音识别及增强，当然也可以用来做交易趋势预测啦。

       第一步：抓取交易数据。

       无论后面交易算法多么核心，都要先解决输入问题。先解决交易数据的自动抓取吧。没有绝对的原创，我的这步工作90%都是基于牛人的既有工作，原帖链接：http://www.zhihu.com/question/29648560/answer/56186559，先表示感谢。不过，原帖的代码应该是在低版本的python上可以工作的，但是在我的3.4.3版本上不能用，所以我的改造工作大约10%。改造后、可以正常work的代码如下：

"""
@author: David
"""
import const as ct
import pandas as pd
import json
import urllib.request
import urllib.error

def get_hist_data(code = None, start = None, end = None, ktype = 'D'):
 """
功能:
获取个股历史交易数据
--------
输入:
--------
code:string
股票代码 比如:601989
 start:string
开始日期 格式:YYYY-MM-DD 为空时取到API所提供的最早日期数据
end:string
结束日期 格式:YYYY-MM-DD 为空时取到最近一个交易日数据
ktype:string(default=D, 函数内部自动统一为大写)
数据类型 D=日K线，W=周K线，M=月K线，5=5分钟，15=15分钟
30=30分钟，60=60分钟
 输出:
--------
DataFrame
 date 日期
open 开盘价
high 最高价
close 收盘价
low 最低价
chg 涨跌额
p_chg 涨跌幅
ma5 5日均价
ma10 10日均价
ma20 20日均价
vma5 5日均量
vma10 10日均量
vma20 20日均量
turnover换手率(指数无此项)
 """
 code = code_to_APIcode(code.upper())
 ktype = ktype.upper()

 url = ''
 url = get_url(ktype, code)
 print(url)

 js = json.loads(ping_API(url))
 cols = []

 if len(js['record'][0]) == 14:
  cols = ct.INDEX_DAY_PRICE_COLS
 else:
  cols = ct.DAY_PRICE_COLS
 df = pd.DataFrame(js['record'], columns=cols)

 if ktype in ct.K_TYPE_KEY:
  df = df.applymap(lambda x:x.replace(u',', u''))
 for col in cols[1:]:
  df[col]=df[col].astype(float)
 if start is not None:
  df = df [df.date >= start]
 if end is not None:
  df = df[df.date <= end]
 df = df.set_index('date')
 return df

def code_to_APIcode(code):
 """
功能：
 验证输入的股票代码是否正确，若正确则返回API对应使用的股票代码
"""
 print(code)
 if code in ct.INDEX_KEY:
  return ct.INDEX_LIST[code]
 else:
  if len(code) != 6:
   raise IOError('code input error!')
  else:
   return 'sh%s'%code if code[:1] in ['5', '6'] else 'sz%s'%code

def get_url(ktype, code):
 """
功能：
 验证输入的K线类型是否正确，若正确则返回url
 """
 if ktype in ct.K_TYPE_KEY:
  url = ct.DAY_PRICE_URL % (ct.PAGE_TYPE['http'], ct.PAGE_DOMAIN['ifeng'],
  ct.K_TYPE[ktype], code)
  return url
 elif ktype in ct.K_TYPE_MIN_KEY:
  url = ct.MIN_PRICE_URL % (ct.PAGE_TYPE['http'], ct.PAGE_DOMAIN['ifeng'],
  code, ktype)
  return url
 else:
  raise IOError('ktype input error!')

def ping_API(url):
 """
功能：
 向API发送数据请求，若链接正常返回数据
"""
 text = ''
 try:
  #req = Request(url)
  text = urllib.request.urlopen(url,timeout=10).read().decode('utf-8')
  if len(text) < 15:
   raise IOError('no data!')
 except Exception as e:
  print(e)
 else:
  return text

#测试入口
print(get_hist_data('300291','2016-09-11'))

这部分代码已测试有效、可以直接使用。不过，需要提个醒（尤其是刚开始用python的童鞋）：要注意代码的缩进，谁让python的解析器那么注重格式涅。。。