crawler

crawler

优化中...

#! /usr/bin/env python
# -*- coding:utf-8 -*-
# Author: Tdcqma'''获取漏洞目标站点：绿盟安全漏洞通告v1.0:由于网站结构存在变更的可能性，一旦爬虫爬取的页面发生变化则会影响正则表达式的匹配，导致爬虫失效。为了解决这个问题重新架构该爬虫，新的爬虫将分3个部分，即：【1】信息收集：一旦网站结构发生变化只需要更改此部分的正则表达式即可，收集的信息需要保存至一个嵌套列表中。【2】信息筛选：即使网站结构发生变化也不需要变更此部分。【3】信息发送：即使网站结构发生变化也不需要变更此部分。
v1.1添加 "风险级别" 功能到报警信息中，由【CVE 通用漏洞与披露】库中获取对应漏洞的风险级别
v1.2添加漏洞总数功能
v1.3删除"风险级别"选项，因为
v1.4使用BeautifulSoup模块优化内容搜索
v1.5优化模块2（信息筛选），对信息进行按系统分类显示
v1.6优化v1.5部分，对代码部分进行函数化整理
'''quest
import ssl,re
import smtplib,email
import datetime
from bs4 import BeautifulSoup# ---------------------------------------------
# 【1】信息收集，正则表达匹配网站信息，包括date、title、url等，
#      将所有信息保存至sec_all_list列表中
# ---------------------------------------------

f = open(&#", 'w', encoding='utf-8')# 爬虫爬取当天的漏洞告警信息，也可指定如2017-10-09样式的日期格式用于开发过程中的测试
#today = str(day())
today = "2017-09-28"# 指定爬虫网站的首页链接
sec_vul_domain = "/"# 生成字典用于保存漏洞网站的跳转链接
vul_dict = {}# 该变量保存漏洞跳转页面链接：.php?act=sec_bug
sec_vul_homepage = ""# 收集所有漏洞信息并保存在列表中
sec_all_list = []# 将列表漏洞转换为字符串
data_str = ""# 将需要监控的系统名称添加至该列表即可实现爬虫功能
system_list = ["Apache","Cisco","Samba","Dnsmasq","Microsoft"]# 该变量保存所有指定系统的格式化后的漏洞信息，邮件发送也是基于该变量里保存的漏洞信息
all_vul_msg = ""# 计算漏洞总数
count = 0# 传入不同的page链接以获取相应response
def get_response(vul_url):request = quest.Request(vul_url)# 当尝试访问https开始当站点时，设置全局取消SSL证书验证ssl._create_default_https_context = ssl._create_unverified_contextresponse = quest.urlopen(request)data = ad().decode('utf-8')return datadata_homepage = get_response(sec_vul_domain)
soup = BeautifulSoup(data_homepage, features="lxml")
tag1 = soup.find_all(name='a')
for item in tag1:if "安全漏洞" in item:# 通过获取标签属性，即使站点结构发生变化也能拿到漏洞页面的链接attrs = item.attrsvul_dict = py()
sec_vul_homepage = ('href')# 同一天的爆出的漏洞个数可能要占用好几个页面，需指定被扫描网站需要扫描的网页数范围，默认读取10页
for i in range(10):sec_vul_pageNoUrl = sec_vul_homepage +"&type_id=&os=&keyword=&page=%s" % (i+1)data_sec_vul = get_response(sec_vul_pageNoUrl)if today in data_sec_vul:str_re = "<span>"+today+"</span>.*"res = re.findall(str_re,data_sec_vul)for item in res:data_str += item + 'n'sec_vul_soup = BeautifulSoup(data_str, features="lxml")tag_a = sec_vul_soup.find_all(name='a')for item in tag_a:# 生成列表用于收集单独的漏洞信息sec_sub_list = []# 收集漏洞标题: titlesec_sub_title = item.stringsec_sub_list.append(sec_sub_title)# 收集漏洞url: sec_sub_urlitem = str(item)sub_url = re.findall("vulndb/d+",item)sec_sub_url = sec_vul_domain + sub_url[0]sec_sub_list.append(sec_sub_url)# 收集漏洞受影响的版本: aff_verdata_sec_vul_cve = get_response(sec_sub_url)affected_version = re.findall("<blockquote>.*</blockquote>", data_sec_vul_cve, re.S)affected_version = str(affected_version[0][12:-13])affected_version = place("<br />", "")affected_version = place("&gt;",">")affected_version = place("&lt;","<")aff_ver = place("</blockquote><b>不受影响系统：</b><blockquote>","n不受影响版本：n")sec_sub_list.append(aff_ver)if sec_sub_list not in sec_all_list:sec_all_list.append(sec_sub_list)# ---------------------------------------------
# 【2】信息筛选
# ---------------------------------------------# 各系统漏洞在筛选后最终会保存至各自msg_***变量中，
# >>>添加新监控系统时需相应添加以下记录<<<
msg_cisco = ">>> CISCO安全通告n"
msg_apache = "n>>> APACHE安全通告n"# 调用sub_sec_info方法，将漏洞信息格式化输出
def sub_sec_info():global countcount += 1sec_info = "n漏洞名称：" + line[0] + "n漏洞链接：" + line[1] + "n受影响的系统：n" + line[2] + 'n'return sec_info# 调用get_sec_info函数，将目标系统或应用名称作为参数传入，即可获取相关爬虫告警信息
def get_sec_info(vul):vul = vul.capitalize()global msg_ciscoglobal msg_apache# >>>添加新监控系统时需相应添加以下elif记录<<<if vul in line[0]:if "Cisco" in vul:msg_cisco += sub_sec_info()elif "Apache" in vul:msg_apache += sub_sec_info()# 漏洞信息筛选入口函数
for line in sec_all_list:for sys in system_list:get_sec_info(sys)# >>>添加新监控系统时需相应添加以下记录<<<
all_vul_msg += msg_cisco
all_vul_msg += msg_apache
all_vul_msg += "n漏洞总数：【"+str(count)+"】 "# 为放置数据丢失，同时将筛选后的爬虫信息写入文本f中，f指向文档。
f.writelines(all_vul_msg)
#print(msg)# ---------------------------------------------
# 【3】信息发送
# ---------------------------------------------# 配制收发邮件客户端
chst = email.charset.Charset(input_charset = 'utf-8')
header = ("From: %snTo: %snSubject: %snn" %("from_mail@163","to_mail@163",chst.header_encode("[爬虫安全通告-绿盟]")))#借用163smtp服务器发送邮件，将上面读到的报警信息（all_vul_msg）作为邮件正文发送。
email_con = de('utf-8') + all_de('utf-8')
smtp = smtplib.SMTP("smtp.163")
smtp.login("from_mail@163","from_mail_pass")
smtp.sendmail('from_mail@163','to_mail@163',email_con)
print('mail send success!')
smtp.quit()

邮件截图：

转载于:.html