爬虫项目二十：用Python对58租房信息进行爬取

爬虫项目二十：用Python对58租房信息进行爬取

文章目录

• 前言
• 一、分析url
• 二、制造url
• 三、详情url
• 四、解析页面
• 总结

前言

用Python爬下58同城租房详情信息 （仅供学习使用，已发现弊端 封IP严重）

提示：以下是本篇文章正文内容，下面案例可供参考

一、分析url

第一页：/?PGTID=0d000000-0000-0116-5fa7-7c361aef2ca6&ClickID=1
第二页：/?PGTID=0d3090a7-0000-1606-2950-91e1fdc3a82a&ClickID=2删除无用参数修改后：
/

二、制造url

上面我们已经知道了url的组成规律，我们就可以批量生成url

实例代码如下：

def City_Urls(self):urls=[]keyword=input("请输入城市首字母：")start_page=input("请输入起始页数：")end_page=input("请输入结束页数：")for i in range(int(start_page),int(end_page)+1):url="%s.58/chuzu/pn%d/"%(keyword,i)urls.append(url)return urls

三、详情url

我们的目的是通过列表页面获取详情页url进入详情页面获取数据，所以在我们已经获取了列表页url后就该获取每个房源的详情页url，我们在浏览器上右键检查元素，定位每个房源标题可看到详情url

根据上面我们便可以写代码获取每个房源的详情页url

实例代码如下：

def Get_Detail_Link(self,url):text&#(url=url).texthtml=etree.HTML(text)detail_urls=html.xpath('//ul[@class="house-list"]/li/div[@class="des"]/h2[1]/a[1]/@href')self.d(detail_urls)

四、解析页面

有了详情页的url我们便可以通过解析数据 保存数据，我们要获取的数据是下图中的一些数据

关于这些元素信息的获取，用re也好、XPath也可 不管用什么方法 获取到数据就行，我用的是XPath，步骤不详写，直接看代码

实例代码如下：

def Parser_Data(self,detail_url):dic={}text&#(url=detail_url,headers=self.header).texthtml=etree.HTML(text)try:dic["house-title"]=html.xpath('//div[@class="house-title"]/h1[1]/text()')[0]except:dic["house-title"]=""try:dic["time"]="".join(html.xpath('//div[@class="house-title"]/p[@class="house-update-info c_888 f12"]//text()')).replace("n","").replace("xa0","")except:dic["time"] =""try:dic["price"]="".join(html.xpath('//div[@class="house-pay-way f16"]/span[1]//text()')).replace("n","").replace("xa0","")except:dic["price"] = ""try:dic["instructions1"]=html.xpath('//div[@class="house-pay-way f16"]/span[2]/text()')[0]except:dic["instructions1"] =""try:dic["instructions2"] = html.xpath('//div[@class="house-pay-way f16"]/span[last()]/text()')[0]except:dic["instructions2"] =""with open(".//house.csv", "a", encoding="utf-8") as f:writer = csv.DictWriter(f, dic.keys())writer.writerow(dic)

总结

这次爬虫，通过找到列表页的url规律批量生成列表页url，通过列表页url 获取详情页url，以此获取数据

如果你对爬虫感兴趣，欢迎到我主页浏览，现已经更新多个爬虫项目，所以源码均在公众号“阿虚学Python”中，本篇文章源码，回复“58租房”获取

谢谢大家的观看，如果觉得不错就点个赞吧，你的赞是对原创博主最大的支持