python爬⾍数据交易_python爬⾍-持仓排名数据爬取
摘要：笔记记录爬取上期所持仓数据的过程，本次爬取使⽤的⼯具是python，使⽤的IDE是pycharm
⼀、查看⽹页属性，分析数据结构
在浏览器中打开上期所⽹页，按F12或者选择表格⽂字-右键-审查元素，调出控制台：
⼆、将数据下载到本地⽂件夹
1.在pycharm中新建⼀个python⽂档，将⽬标dat⽂件下载到本地⽂件夹，需要⽤到的包可以在CMD控制台中通过 ‘pip install [包名]’安装：
import xlwt
import requests
import os
mydate = "20190111" #指定需要的数据⽇期
搭建svn服务器
url = "www.shfe/data/dailydata/kx/pm" + mydate + ".dat"
root = "F://py//SQ//"
path = root + url.split('/')[-1] + ".txt" #指定下载的⽬录，保存为txt⽂件
r = (url)
with open(path, 'wb') as f:
f.t)
f.close()
print("⽂件保存成功")
2.运⾏代码后，可以看到⽂件夹中多了个⽂件，⽤记事本打开⽂件，可以看到⽂件是Json格式的表格，接下来⽤json包将其解析成python的dataframe格式：
代码：
import json
file = open("F://py//SQ//pm" + mydate + ".", 'r', encoding='UTF-8')scratch编程克隆体怎么用
scanf函数返回值 用法
js = ad()
dic = json.loads(js)linux的发展史
file.close()
3.接下来将数据存储到excel表中，使⽤的是xlwt包，运⾏代码，⾄此，上期所的每⽇持仓数据已成功爬取
defWriteExcel(data):
pm=xlwt.Workbook()
href翻译sheet= pm.add_sheet('Sheet1', cell_overwrite_ok=True)
title= ['品种代码', '序号', '排名', '期货公司会员号', '会员类别', '总成交量', '⽐上交易⽇增减', '期货公司会员号', '会员类别', '总持买单量', '⽐上交易⽇增减', '期货公司会员号','会员类别', '总持卖单量', '⽐上交易⽇增减', '品种']for i in range(len(title)): #创建表头
sheet.write(0, i, title[i])
python解析json文件
j=0for line in data["o_cursor"]: #写⼊数据
dataV = list(data["o_cursor"][j].values())
j= j + 1
for k inrange(len(dataV)):ifisinstance(dataV[k], str): dataV[k]=dataV[k].strip()
sheet.write(j, k, dataV[k])
pm.save("F://py//SQ//demo" + mydate + ".xls") WriteExcel(dic)