Python Selenium爬取百度百科旅游景点的消息盒

Python Selenium爬取百度百科旅游景点的消息盒

一、编程环境

操作系统：Win 10
编程语言：Python 3.6

二、什么是消息盒

Infobox（消息盒）是一种模板，包含了一系列的信息框，通常是由
成对的label（标签）和data（数据）组成。
下图是百度百科词条“北京故宫”的消息盒：

三、景点名单准备

在与python文件同级的目录下创建scenic_spots_，内容为

北京故宫
颐和园
天坛公园

四、程序

import os
import time
import codecs
from selenium import webdriver
from selenium.webdrivermon.keys import Keysglobal info  # 全局变量
driver = webdriver.Chrome(executable_path="C:Program Files (x86)GoogleChrome")def getInfo(name):try:# 创建路径和文件global infobasePath = "scenic_spots_5A"  if not ists(basePath):  os.makedirs(basePath)  scenicFile = os.path.join(basePath,"")  if not ists(scenicFile):  info = codecs.open(scenicFile,'w','utf-8')  else:  info = codecs.open(scenicFile,'a','utf-8')("/")elem_input = driver.find_element_by_xpath("//form[@id='searchForm']/input")name = name.rstrip('n')        # 景点名称是从文件中读取的，含有换行符（最后一行的景点名称可能不含护身符）elem_input.send_keys(name)elem_input.send_keys(Keys.RETURN)info.write(name + 'rn')       # codecs不支持'n'换行time.sleep(2)print (driver.current_url)print (driver.title)elem_name = driver.find_elements_by_xpath("//div[@class='basic-info cmn-clearfix']/dl/dt")    elem_value = driver.find_elements_by_xpath("//div[@class='basic-info cmn-clearfix']/dl/dd")  #create dictionary key-value  #字典是一种散列表结构,数据输入后按特征被散列,不记录原来的数据,顺序建议元组  elem_dic = dict(zip(elem_name,elem_value))   for key in elem_dic:    print (,elem_dic[key].text)    info.+" "+elem_dic[key].text+'rn')    time.sleep(5)       # 让程序停5秒，以便把信息写入文件except Exception as e:  print ("Error: ", e)finally:print('n')info.write('rn')  # 每篇信息之后，多一行空行def main():global infosource = open("scenic_spots_", 'r')for name in source:getInfo(name)print ('End Read Files!')time.sleep(5)source.close()info.close()driver.close()main()

五、运行结果

生成了文件夹scenic_spots_5A，此文件夹中包含一个名为的文件


中的内容为

六、参考

TopCoder & Codeforces & AtCoder交流QQ群：648202993
更多内容请关注微信公众号