python提取钢铁数据走势图中的数据

python提取钢铁数据走势图中的数据

目标网址: .html
要求: 上图信息中的钢铁数据走势图中的数据

先来看看是什么亚子的：

要的数据还是蛮好找的：

代码也是好写，舒舒服服顺顺利利：

import requests
import re
import json
import pprinturl = '.ms'
params = {'callback': 'callback'
}
form_data = {'catalog': '%E8%9E%BA%E7%BA%B9%E9%92%A2_:_%E8%9E%BA%E7%BA%B9%E9%92%A2','city': '%E4%B8%8A%E6%B5%B7,%E5%8C%97%E4%BA%AC,%E5%B9%BF%E5%B7%9E','spec': 'HRB400%2020MM_:_HRB400_20MM','startTime': '2019-05-22','endTime': '2020-05-22'
}
headers = {'Host': &#steel','Origin': '','Referer': '.html','User-Agent': 你的user-agent
}
response = requests.post(url=url, params=params, data=form_data, headers=headers).text
# print(response)
rst = re.findall('callback((.*?))', response, re.S)[0]
# print(rst)
res_dict = json.loads(rst)
title = res_dict['title']
print(title)
pat = '"lineName":"(.*?)","dateValueMap":[(.*?)]'
result = re.findall(pat, rst, re.S)
# print(result)
for i in range(0, 3):print(result[i])

结果：

你也可以把他存到excel或者csv之类的