python爬蟲MeterSphere平臺(tái)執(zhí)行報(bào)告流程解析

更新時(shí)間：2023年12月24日 17:24:39 作者：友友測試猿

這篇文章主要為大家介紹了python爬蟲MeterSphere平臺(tái)執(zhí)行報(bào)告流程解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪

流程

1、訪問地址，請(qǐng)求頭，請(qǐng)求體，請(qǐng)求方式
2、數(shù)據(jù)處理
3、數(shù)據(jù)過濾
4、數(shù)據(jù)存儲(chǔ)

導(dǎo)入模塊

import requests
import re
import time
import datetime
from xlrd import open_workbook
from xlutils.copy import copy
import xlrd
from openpyxl import load_workbook
import os
import random
import xlwt
第一模塊(使用rquest爬蟲)：
##登錄地址
LoginUrl="http://ms.***.****:****/signin"
headers={
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"
    " AppleWebKit/537.36 (KHTML, like Gecko)"
        "Chrome/86.0.****.**** Safari/537.36",
      "Content-Type":"application/json"
}
#請(qǐng)求參數(shù)
data ={
        "username": "登錄賬號(hào)",
        "password": "登錄密碼",
        "authenticate": "LOCL"
}
#向指定的URL發(fā)送POST請(qǐng)求
Loginresp=requests.post(url=LoginUrl,json=data,headers=headers)
Loginresp.encoding="utf-8"
stattus=Loginresp.status_code
LogsReturn=Loginresp.text #返參
print(type(LogsReturn))
#print("狀態(tài)碼",stattus)
#print("返參",Loginresp.text)
#print(Loginresp.headers)

requests自帶獲取cookie方法，一般系統(tǒng)都有反爬蟲機(jī)制，這個(gè)得根據(jù)每個(gè)系統(tǒng)不同情況判斷，我們這里所用到的是正則表達(dá)，將請(qǐng)求頭全部截獲下來進(jìn)行過濾處理

第二個(gè)模塊（使用正則過濾）

#cookie
HeadersCookie = str(Loginresp.headers)
HeadersCookieGet = re.findall("'Set-Cookie': '(.+?);", HeadersCookie)
HeadersCookieSwitch=str(HeadersCookieGet)
CookieName = re.sub('['!"#$%&\'()*+,./:;<>?@，。?★、…【】《》？“”‘'！[\\]^`{|}~\s]+', "",HeadersCookieSwitch)
#瀏覽器(lastProjectId),信息頭(PROJECT)
LogsReturnPROJECT=re.findall('"lastProjectId":"(.+?)"',LogsReturn)
LogsReturnPROJECTSwitch=str(LogsReturnPROJECT)
LogsReturnPROJECTName = re.sub('['!"#$%&\'()*+,./:;<>?@，。?★、…【】《》？“”‘'！[\\]^`{|}~\s]+', "", LogsReturnPROJECTSwitch)
# 瀏覽器(lastWorkspaceId),信息頭(WORKSPACE)
LogsReturnWORKSPACE=re.findall('"lastWorkspaceId":"(.+?)"',LogsReturn)
LogsReturnWORKSPACESwitch=str(LogsReturnWORKSPACE)
LogsReturnWORKSPACESName=re.sub('['!"#$%&\'()*+,./:;<>?@，。?★、…【】《》？“”‘'！[\\]^`{|}~\s]+', "", LogsReturnWORKSPACESwitch)
# 瀏覽器(csrfToken),信息頭(CSRF-TOKEN)
LogsCsrfToken=re.findall('"csrfToken":"(.+?)"',LogsReturn)
LogsCsrfTokenwitch=str(LogsCsrfToken)
LogsCsrfTokenName=re.sub('['!"#$%&\'()*,.:;<>?@，。?★、…【】《》？“”‘'！[\\]^`{|}~\s]+', "",LogsCsrfTokenwitch)
print("======================================================")

登錄成功后我們通過訪問首頁報(bào)告信息，查找報(bào)告詳情請(qǐng)求規(guī)律，一般每個(gè)首頁報(bào)告都包含了一條唯一id，唯一id對(duì)應(yīng)每條報(bào)告詳情地址最后路徑

第三個(gè)模塊（爬蟲報(bào)告所有場景唯一值）

# 測試報(bào)告
TestReportUrl = "http://ms.***.****:****/api/scenario/report/list/1/60"
TestReportHeaders = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36",
    "Accept": "application/json, text/plain, */*",
    "Accept-Encoding":"gzip, deflate",
    "Accept-Language":"zh-CN,zh;q=0.9",
    "Connection":"keep-alive",
    "Content-Length":"2525",
    "Content-Type":"application/json",
    "Cookie": CookieName,
    "CSRF-TOKEN":LogsCsrfTokenName,
    "Host":"ms.cic.****:****",
    "Origin":"http://ms.***.*****:****",
    "PROJECT":LogsReturnPROJECTName,
    "Referer":"http://ms.***.*****:****/",
    "WORKSPACE":LogsReturnWORKSPACESName
}
#TestReportDateGet=
#print(TestReportDateGet)
TestReportDate = {
    "projectId": "5072ac88-****-43ed-835b-93e3864f****"
}
#測試報(bào)告首頁
TestReportResp = requests.post(url=TestReportUrl,json=TestReportDate, headers=TestReportHeaders)
TestReportResp.encoding = "utf-8"
TestReporReturn=TestReportResp.text

以上就是python爬蟲MeterSphere平臺(tái)執(zhí)行報(bào)告流程解析的詳細(xì)內(nèi)容，更多關(guān)于python爬蟲MeterSphere的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: