欢迎光临
梦想从学习开始!

Python实现Awvs自动化扫描| 小熊测试

本文主要介绍 Python实现Awvs自动化扫描| 小熊测试,小熊希望对大家的学习或者工作具有一定的参考学习价值,在测试领域有所提升和发展

  最近再做一个python的小程序,主要功能是实现Acuenetix Web Vulnerability Scanner的自动化扫描,批量对一些目标进行扫描,然后对扫描结果写入mysql数据库。写这篇文章,分享一下一些思路。

  程序主要分三个功能模块,Url下载、批量扫描、结果入库,

  有一个另外独立的程序,在流量镜像服务器上进行抓包,抓取Http协议的包,然后对包进行筛选处理,保留一些带有各种参数的url,然后对url进行入库。url下载功能主要是从mysql数据库中下载url。

  批量扫描功能主要调用了Awvs的命令行wvs_console.exe,调研的时候先是尝试用awvs计划任务来实现批量扫描,但是发现在将一些awvs设置发包给计划任务的时候会遇到各种困难,计划任务貌似也不是一个网页,采用的是XML模版,技术有限,最后没实现,只好放弃。

  之后发现Awvs支持命令行,wvs_console.exe就是主程序,有很多命令参数,基本能实现Awvs界面操作的所有功能。批量扫描主要是读取下载到本地的url,进行逐一扫描。要将扫描结果保存到本地access数据库文件,需要使用savetodatabase参数。

  Awvs会自动将扫描结果保存到本地的access数据库中,具体的表是Wvs_alerts,也可以设置保存到Mssql数据库中,具体的是在Application Setting进行设置。结果入库模块的功能是从access数据库筛选出危害等级为3的漏洞,然后将它们写入到mysql数据库。主要用了正则表达式对request中的host,漏洞文件,get或post提交的请求进行筛选拼凑,获取到完整的漏洞测试url。

  贴上代码,很菜,代码各种Bug,最主要的是程序的整个流程设计存在问题,导致后来被大佬给否掉了,没有考虑到重复扫描和程序异常中止的情况,导致我的程序只能一直运行下去 ,否则重新运行又会从头对url进行扫描。

  对此很郁闷,某天晚上下班回家想了想,觉得可以通过以下方法来解决以上两个问题:

  Awvs扫描结果数据库中有一个Wvs_scans表,保存的都是扫描过的url,以及扫描开始时间和结束时间。可以将当天下载的url保存到一个list中,然后在扫描之前先将之前所有扫描过的URL查询出来,同样保存在list中,读取list中的url,判断是否在扫描过的URL list中,如果存在将之从url list中删除掉;如果不存在则再进行扫描。

  异常中止的话貌似只能增加系统计划任务,每天结束再打开,不知道如何时时监视系统进程,通过是否存在wvs的进程来判断。

  以上只是一个大概的程序介绍,贴上代码,代码可能存在一些问题,有兴趣的童鞋去完善完善,大佬觉得我的效率和编码能力有待提高,so,让继续学习,所以没再继续跟进这个项目。

  downurl.py 代码:

#coding:utf-8

import MySQLdb

import os,time,shutil

import hashlib,re

datanow=time.strftime('%Y-%m-%d',time.localtime(time.time()))

#filetype='.txt'

#urlfilename=datanow+filetype

#path="D:wvscanurl"

#newfile=path+urlfilename

datanow=time.strftime('%Y-%m-%d',time.localtime(time.time()))

con=MySQLdb.Connect('10.1.1.1','root','12345678','wvsdb')

cur=con.cursor()

sqlstr='select url from urls where time like %s'

values=datanow+'%'

cur.execute(sqlstr,values)

data=cur.fetchall()

#将当天的URL保存到本地url.txt文件

f=open(r'd:Wvscanurl.txt','a+')

uhfile=open(r'd:Wvscanurlhash.txt','a+')

line=uhfile.readlines()

#保存之前对url进行简单的处理,跟本地的hash文件比对,确保url.txt中url不重复

for i in range(0,len(data)):

impurl=str(data[i][0]).split('=')[0]

urlhash=hashlib.new('md5',impurl).hexdigest()

urlhash=urlhash+''

if urlhash in line:

pass

else:

uhfile.write(urlhash)

newurl=str(data[i][0])+''

f.writelines(newurl)

cur.close()

con.close()     抓包程序抓到的url可能重复率较高,而且都是带参数的,保存到本地的时候截取了最前面的域名+目录+文件部分进行了简单的去重。Awvs可能不大适合这样的方式,只需要将全部的域名列出来,然后逐一扫描即可,site Crawler功能会自动爬行。

  writeinmysql.py 结果入库模块,代码:

#coding:UTF-8

import subprocess

import os,time,shutil,sys

import win32com.client

import MySQLdb

import re,hashlib

reload(sys)

sys.setdefaultencoding('utf-8')

#需要先在win服务器设置odbc源,指向access文件。实际用pyodbc模块可能更好一些

def writeinmysql():

conn = win32com.client.Dispatch(r'ADODB.Connection')

DSN = 'PROVIDER=Microsoft Access Driver (*.mdb, *.accdb)'

conn.Open('awvs')

cur=conn.cursor()

rs = win32com.client.Dispatch(r'ADODB.Recordset')

rs.Open('[WVS_alerts]', conn, 1, 3)

if rs.recordcount == 0:

exit()

#遍历所有的结果,cmp进行筛选危害等级为3的,也就是高危

while not rs.eof:

severity = str(rs('severity'))

if cmp('3', severity):

rs.movenext

continue

vultype = rs('algroup')

vulfile=rs('affects')

#由于mysql库中要求的漏洞类型和access的名称有点差别,所以还需要对漏洞类型和危害等级进行二次命名,sql注入和xss为例

xss='Cross site'

sqlinject='injection'

if xss in str(vultype):

vultype='XSS'

level='低危'

elif sqlinject in str(vultype):

vultype="SQL注入"

level='高危'

else:

level='中危'

#拼凑出漏洞测试url,用了正则表达式, post和get类型的request请求是不同的

params = rs('parameter')

ss = str(rs('request'))

str1 = ss[0:4]

if 'POST'== str1:

requestType = 'POST'

regex = 'POST (.*?) HTTP/1.d+'

str1 = re.findall(regex, ss);

else:

requestType = 'GET'

regex = 'GET (.*?) HTTP/1.d+'

str1 = re.findall(regex, ss);

regex = 'Host:(.*?)'

host = re.findall(regex, ss);

if host == []:

host = ''

else:

host = host[0].strip()

if str1 == []:

str1 = ''

else:

str1 = str1[0]

url =host + str1

timex=time.strftime('%Y-%m-%d',time.localtime(time.time()))

status=0

scanner='Awvs'

comment=''

db = MySQLdb.connect(host="10.1.1.1", user="root", passwd="12345678", db="wvsdb",charset='utf8')

cursor = db.cursor()

sql = 'insert into vuls(status,comment,vultype,url,host,params,level,scanner) values(%s,%s,%s,%s,%s,%s,%s,%s)'

values =[status,comment,vultype,'http://'+url.lstrip(),host,params,level,scanner]

#入库的时候又进行了去重,确保mysql库中没有存在该条漏洞记录,跟本地保存的vulhash进行比对,感觉这种方法很原始。

hashvalue=str(values[2])+str(values[4])+str(vulfile)+str(values[5])

vulhash=hashlib.new('md5',hashvalue).hexdigest()

vulhash=vulhash+''

file=open(r'D:Wvscanvulhash.txt','a+')

if vulhash in file.readlines():

pass

else:

file.write(vulhash+'')

cursor.execute(sql, values)

delsql='delete from vuls where vultype like %s or vultype like %s'

delvaluea='Slow HTTP%'

delvalueb='Host header%'

delinfo=[delvaluea,delvalueb]

cursor.execute(delsql,delinfo)

db.commit()

rs.movenext

rs.close

conn.close

cursor.close()

db.close()

if __name_=='__main__':

writeinmysql()

time.sleep(10)

#备份每天的扫描数据库,用原始数据库替换,方便第二天继续保存。

datanow=time.strftime('%Y-%m-%d',time.localtime(time.time()))

filetype='.mdb'

urlfilename=datanow+filetype

path="D:wvscandatabak"

databakfile=path+urlfilename

shutil.copyfile(r'D:Wvscandatavulnscanresults.mdb',databakfile)

shutil.copyfile(r'D:Wvscanvulnscanresults.mdb',r'D:Wvscandatavulnscanresults.mdb')

  startwvs.py,扫描模块,这个模块问题较多,就是之前提到的,没有考虑重复扫描和异常终止的问题,贴上代码:

#coding:utf-8

import subprocess

import os,time,shutil

file=open(r"D:Wvscanurl.txt","r")

def wvsscan():

for readline in file:

url=readline.strip('')

cmd=r"d:Wvswvs_console.exe /Scan "+url+r" /SavetoDatabase"

doscan=subprocess.Popen(cmd)

doscan.wait()

if __name__=='__main__':

wvsscan()
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持小熊分享邦(www.xxfxb.com),希望大家能坚持软件测试之路,谢谢。

赞(0) 打赏
未经允许不得转载:小熊分享邦 » Python实现Awvs自动化扫描| 小熊测试

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏