python2.7爬取京东商品评论

python2.7爬取京东商品评论

大神请绕路，新手先别急着上车 我们先来了解一下京东商品评论的地址，他们的客户评论看似是在商品页（item.jd），但实际上是在club.jd/review/这个url里面，要找到这个只要打开浏览器的console看看页面元素的href的连接看仔细点就行。 club.jd/review/在这一页里面留心点看看comment-content，你就会有找到你想要的

#encoding:utf-8
import urllib
from snownlp import SnowNLP
r = False
l = ''
n = 0
sno = raw_input('please input goods number：n')
f = open('','w')
try:for i in range (1,64) :p = urllib.urlopen('/%s-3-%d-0.html'%(sno,i))for j ad():if j == 'n':#print lif r :if '</dd>' in l:l = l.replace('t','')l = l.replace(' ','')l = l.replace('<dd>','')l = l.replace('</dd>','')n = n+1print lf.write(str(n))f.write(' ')f.write(l)f.write(' ')s = SnowNLP(l.decode('gbk')).sentimentsf.write(str(s))f.write('n')r = Falseif 'comment-content' in l :r = Truel = ''else:l = l + j
except Exception,e:f.close()
f.close()
print 'All Finish!'

里面的snownlp模块是用来进行情感分析的，将评论解码成unicode格式，然后调入snownlp模块的sentisments就可以得到一个感情值，0.5为中性，越接近1越是喜欢，越接近0越是厌恶
在这个url:  /%s-3-%d-0.html  %s是我们一开始输入的商品代号，%d是评论的第几页，京东的客户评论一页有20条，通过for循环，我可以把所有的评论页都遍历一遍 每次抓取网页的主要思路是先找到标签里的comment-content，然后将r设置为true，之后等到爬取的html行中出现<dd>，就提取<dd></dd>标签里的评论，然后将r设置为false继续读取下一行html内容直到读取完网页内容，或者网页不存在为止 程序抓取的评论会保存在同目录下的  文件里面 最后实现的效果请看： 或者下载资源包