python基于爬蟲+django，打造個性化API接口

更新時間：2021年01月21日 16:20:43 作者：mushroom27

這篇文章主要介紹了python基于爬蟲+django，打造個性化API接口的方法，幫助大家更好的理解和使用python，感興趣的朋友可以了解下

簡述

今天也是同事在做微信小程序的開發(fā)，需要音樂接口的測試，可是用網(wǎng)易云的開放接口比較麻煩，也不能進行測試，這里也是和我說了一下，所以就用爬蟲寫了個簡單網(wǎng)易云歌曲URL的爬蟲，把數(shù)據(jù)存入mysql數(shù)據(jù)庫，再利用django封裝裝了一個簡單的API接口，給同事測試使用。

原理

創(chuàng)建django項目，做好基礎(chǔ)的配置，在views里寫兩個方法，一個是從mysql數(shù)據(jù)庫中查數(shù)據(jù)然后封裝成API，一個是爬蟲方法，數(shù)據(jù)扒下來以后，通過django的ORM把數(shù)據(jù)插入到mysql數(shù)據(jù)庫中。
這里的路由也是對應(yīng)兩個，一個是爬蟲的請求路由（就是運行路由），一個是接口路由，MODEL層里也是為了方便，就設(shè)了兩個字段，一個是歌曲名稱，一個是URL地址。

代碼如下

views文件代碼

from django.shortcuts import render,HttpResponse
import requests
from lxml import etree
from .models import Api
# Create your views here.
def api_wy(request):
  api = Api.objects.all()
  return render(request, "index.html",locals())

def pc(request):
  url = 'https://music.163.com/discover/toplist?id=3779629'
  headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'
  }
  data = requests.get(url=url, headers=headers)
  html = etree.HTML(data.text)
  music_list = html.xpath('//ul[@class="f-hide"]/li/a')

  music_lis = [] # 存放歌曲信息
  for music in music_list:
    music_name = music.xpath('./text()')[0] # 獲取歌曲名稱
    music_id_all = music.xpath('./@href')[0] # 獲取a標簽內(nèi)容
    music_id = music_id_all.split('=')[-1] # 將a標簽內(nèi)容進行數(shù)據(jù)清洗,提取歌曲的id
    download_music = music_name + ' ' + f'http://music.163.com/song/media/outer/url?id={music_id}.mp3' # 將歌曲名稱和url進行拼接
    music_lis.append(download_music)
    print(download_music)

  for url in music_lis:
    try:
      url_name = url.split(' ')[0] # 獲取名稱
      url_music = url.split(' ')[1] # 獲取url
      Api.objects.create(name=url_name,url=url_music)
      print("正在插入數(shù)據(jù)")
    except:
      print("charushibai")
  return HttpResponse("正在下載")

URL路由文件

from django.contrib import admin
from django.urls import path
from api.views import api_wy,pc

urlpatterns = [
  path('admin/', admin.site.urls),
  path('api/',api_wy),
  path("pc/",pc),
]

Models層面

from django.db import models

# Create your models here.
class Api(models.Model):
  name = models.CharField('歌曲名稱', max_length=100)
  url = models.CharField("歌曲地址",max_length=300)

  class Meta:
    verbose_name = '歌曲API'
    verbose_name_plural = verbose_name

  def __str__(self):
    return self.name