# 第一個簡單的爬取圖片的程序
import urllib.request # python自帶的爬操作url的庫
import re # 正則表達式


# 該方法傳入url,返回url的html的源代碼
def getHtmlCode(url):
  # 以下幾行注釋的代碼在本程序中有加沒加效果一樣,但是為了隱藏自己避免被反爬蟲可以假如這個偽裝的頭部請求
  headers = {
    'User-Agent': 'Mozilla/5.0(Linux; Android 6.0; Nexus 5 Build/MRA58N) \
    AppleWebKit/537.36(KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'
  }
  # 將headers頭部添加到url，模擬瀏覽器訪問
  url = urllib.request.Request(url, headers=headers)

  # 將url頁面的源代碼保存成字符串
  page = urllib.request.urlopen(url).read()
  # 字符串轉碼
  page = page.decode('UTF-8')
  return page


# 該方法傳入html的源代碼，通過截取其中的img標簽，將圖片保存到本機
def getImage(page):
  # [^\s]*? 表示最小匹配， 兩個括號表示列表中有兩個元組
  # imageList = re.findall(r'(https:[^\s]*?(png))"', page)
  imageList = re.findall(r'(https:[^\s]*?(jpg|png|gif))"', page)
  x = 0
  # 循環(huán)列表
  for imageUrl in imageList:
    try:
      print('正在下載: %s' % imageUrl[0])
      # 這個image文件夾需要先創(chuàng)建好才能看到結果
      image_save_path = './image/%d.png' % x
      # 下載圖片并且保存到指定文件夾中
      urllib.request.urlretrieve(imageUrl[0], image_save_path)
      x = x + 1
    except:
      continue
  pass
if __name__ == '__main__':
  # 指定要爬取的網(wǎng)站
  url = "https://www.cnblogs.com/ttweixiao-IT-program/p/13324826.html"
  # 得到該網(wǎng)站的源代碼
  page = getHtmlCode(url)
  # 爬取該網(wǎng)站的圖片并且保存
  getImage(page)
  # print(page)

from bs4 import BeautifulSoup # BeautifulSoup是python處理HTML/XML的函數(shù)庫，是Python內置的網(wǎng)頁分析工具
import urllib # python自帶的爬操作url的庫


# 該方法傳入url,返回url的html的源代碼
def getHtmlCode(url):
  # 以下幾行注釋的代碼在本程序中有加沒加效果一樣,但是為了隱藏自己避免被反爬蟲可以假如這個偽裝的頭部請求
  headers = {
    'User-Agent': 'Mozilla/5.0(Linux; Android 6.0; Nexus 5 Build/MRA58N) \
    AppleWebKit/537.36(KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'
  }
  # 將headers頭部添加到url，模擬瀏覽器訪問
  url = urllib.request.Request(url, headers=headers)

  # 將url頁面的源代碼保存成字符串
  page = urllib.request.urlopen(url).read()
  # 字符串轉碼
  page = page.decode('UTF-8')
  return page


# 該方法傳入html的源代碼，通過截取其中的img標簽，將圖片保存到本機
def getImage(page):
  # 按照html格式解析頁面
  soup = BeautifulSoup(page, 'html.parser')
  # 格式化輸出DOM樹的內容
  print(soup.prettify())
  # 返回所有包含img標簽的列表，因為在Html文件中圖片的插入呈現(xiàn)形式是<img src="..." alt=".." />
  imgList = soup.find_all('img')
  x = 0
  # 循環(huán)找到的圖片列表，注意，這里手動設置從第2張圖片開始，是因為我debug看到了第一張圖片不是我想要的圖片
  for imgUrl in imgList[1:]:
    print('正在下載： %s ' % imgUrl.get('src'))
    # 得到scr的內容，這里返回的就是Url字符串鏈接，如'https://img2020.cnblogs.com/blog/1703588/202007/1703588-20200716203143042-623499171.png'
    image_url = imgUrl.get('src')
    # 這個image文件夾需要先創(chuàng)建好才能看到結果
    image_save_path = './image/%d.png' % x
    # 下載圖片并且保存到指定文件夾中
    urllib.request.urlretrieve(image_url, image_save_path)
    x = x + 1
if __name__ == '__main__':
  # 指定要爬取的網(wǎng)站
  url = 'https://www.cnblogs.com/ttweixiao-IT-program/p/13324826.html'
  # 得到該網(wǎng)站的源代碼
  page = getHtmlCode(url)
  # 爬取該網(wǎng)站的圖片并且保存
  getImage(page)