Python爬虫——爬取淘宝商品做数据挖掘分析实战篇 教程

Python爬虫——爬取淘宝商品做数据挖掘分析实战篇 教程

项目内容

本案例选择>> 商品类目：沙发；

数量：共100页  4400个商品；

筛选条件：天猫、销量从高到低、价格500元以上。

项目目的

1. 对商品标题进行文本分析 词云可视化

2. 不同关键词word对应的sales的统计分析

3. 商品的价格分布情况分析

4. 商品的销量分布情况分析

5. 不同价格区间的商品的平均销量分布

6. 商品价格对销量的影响分析

7. 商品价格对销售额的影响分析

8. 不同省份或城市的商品数量分布

9.不同省份的商品平均销量分布

注：本项目仅以以上几项分析为例。

项目步骤

1. 数据采集：Python爬取淘宝网商品数据

2. 对数据进行清洗和处理

3. 文本分析：jieba分词、wordcloud可视化

4. 数据柱形图可视化 barh

5. 数据直方图可视化 hist

6. 数据散点图可视化 scatter

7. 数据回归分析可视化 regplot

工具&模块：

工具：本案例代码编辑工具 Anaconda的Spyder

模块：requests、retrying、missingno、jieba、matplotlib、wordcloud、imread、seaborn 等。

原代码和相关文档后台回复“淘宝”下载

一、爬取数据

因淘宝网是反爬虫的，虽然使用多线程、修改headers参数，但仍然不能保证每次100%爬取，所以 我增加了循环爬取，每次循环爬取未爬取成功的页 直至所有页爬取成功停止。

说明：淘宝商品页为JSON格式 这里使用正则表达式进行解析；

代码如下：

二、数据清洗、处理：

(此步骤也可以在