人臉檢測——基于Flask和PaddleHub
前言
本次實現(xiàn)了一個在瀏覽器中運行的簡陋的人臉檢測功能,由于水平有限,這里使用表單上傳圖片,只能一次檢測一張人臉。實現(xiàn)過程中遇到的主要問題是數(shù)據(jù)格式轉換的問題。
分析與設計
之前已經(jīng)成功基于AI分詞模型,構建了一個Web應用。套路大致相同,與本次任務的主要區(qū)別在于,本次傳遞的數(shù)據(jù)是圖像而不是文本。圖像數(shù)據(jù)會帶來一個新的問題:
- 圖像的編碼方式豐富,數(shù)據(jù)處理過程中需要進行一些數(shù)據(jù)格式轉換。
應用的邏輯大致如下:
- 1.用戶通過表單從瀏覽器上傳圖像
- 2.將圖像轉發(fā)給人臉檢測模型,得到人臉位置坐標
- 3.使用矩形框出圖像中的人臉
- 4.瀏覽器顯示結果
實現(xiàn)
1. 部署人臉檢測模型
一行命令即可完成服務化部署(你需要先安裝PaddleHub庫),pyramidbox_lite_mobile是一個預訓練的人臉檢測模型。
hub serving start -m pyramidbox_lite_mobile
你可以使用下面的代碼(來自PaddleHub的文檔,記得修改未你自己的圖片存放路徑),測試接口:
# coding: utf8
import requests
import json
import cv2
import base64
def cv2_to_base64(image):
data = cv2.imencode('.jpg', image)[1]
return base64.b64encode(data.tostring()).decode('utf8')
if __name__ == '__main__':
# 獲取圖片的base64編碼格式 (記得修改你自己的圖片存放路徑)
img1 = cv2_to_base64(cv2.imread("./static/Aaron_Peirsol_0001.jpg"))
img2 = cv2_to_base64(cv2.imread("./static/Aaron_Peirsol_0002.jpg"))
data = {'images': [img1, img2]}
# 指定content-type
headers = {"Content-type": "application/json"}
# 發(fā)送HTTP請求
url = "http://127.0.0.1:8866/predict/pyramidbox_lite_mobile"
r = requests.post(url=url, headers=headers, data=json.dumps(data))
# 打印預測結果
print(r.json())
2. 使用Flask構建app
2.1 目錄結構
- templates - index.html - app.py - forms.py - utils.py
其中utils.py封裝了一些簡單的函數(shù)。
2.2 forms.py
下面定義了一個表單,它只有一個字段face_img,用于上傳待檢測的人臉圖片。validatiors中描述了很多message,在上傳的表單不滿足約束時,可在html模板中通過{{ form.face_img.erros }}獲取相關的message信息。
from flask_wtf import FlaskForm
from flask_wtf.file import FileAllowed, FileRequired, FileSize, FileField
class ImageForm(FlaskForm):
face_img = FileField("face_img",
validators=[
FileRequired(message="不能為空"),
FileAllowed(['jpg', 'png'], message="僅支持jpg/png格式"),
FileSize(max_size=2048000, message="圖片不能大于2Mb")
],
description="圖片不能大于2Mb,僅支持jpg/png格式"
)
2.3 utils.py
封裝了三個簡單的函數(shù),但在app.py中只使用了cv2_to_base64()。
import base64
import numpy as np
import cv2
def base64_to_cv2(img: str):
# base64 -> 二進制 -> ndarray -> cv2
# 解碼為二進制數(shù)據(jù)
img_codes = base64.b64decode(img)
img_np = np.frombuffer(img_codes, np.uint8)
img_cv2 = cv2.imdecode(img_np, cv2.IMREAD_COLOR)
return img_cv2
def cv2_to_base64(image):
data = cv2.imencode('.jpg', image)[1]
return base64.b64encode(data.tostring()).decode('utf8')
# 顯示cv2格式的圖像 --> 開發(fā)過程中測試圖像是否正常時使用
def cv2_show(img_cv2):
cv2.imshow('img', img_cv2)
cv2.waitKey(0)
cv2.destroyAllWindows()
2.4 app.py
注:如果以后數(shù)據(jù)在轉換的過程中究竟變成了什么格式,那就把它們打印出來看看叭!例如print(data, type(data))。
主要的邏輯就在這里了,圖像主要經(jīng)歷了三種類型的格式:
- 文件對象:從前端表單返回的圖像文件的格式。
- cv2:opencv的圖像格式,是一個numpy的ndarray數(shù)組。
- str:base64編碼格式的字符串;是作為模型輸入,和在前端顯示圖像的格式。
數(shù)據(jù)格式的變化流程大致如下圖:

# 注:在推理前將圖像縮放到指定的尺寸,即能提升速度,有時也能提升精度(實測像素太高時識別效果也不好)
from flask import Flask, render_template, request
import requests
from forms import ImageForm
import cv2
import numpy as np
import json
import time
from utils import cv2_to_base64
app = Flask(__name__)
app.config['SECRET_KEY'] = 'your_secret_key_here'
@app.route('/', methods=['GET', 'POST'])
def predict():
form = ImageForm()
if form.validate_on_submit():
# 1. 從前端表單獲取圖像文件
file = form.face_img.data # <class 'werkzeug.datastructures.FileStorage'>
file_content = file.read() # <class 'bytes'>
# 2. 圖像文件轉cv2, 并縮放到指定尺寸 --> 尺寸太大或太小,識別精度都會變差
img_cv2 = np.asarray(bytearray(file_content), dtype=np.uint8) # (len,)
img_cv2 = cv2.imdecode(img_cv2, cv2.IMREAD_COLOR) # (w, h, c)
img_cv2 = cv2.resize(img_cv2, (250, 250), interpolation=cv2.INTER_LINEAR)
# 3. cv2轉str(base64)
img_base64 = cv2_to_base64(img_cv2)
# 4. str(base64)輸入模型 --> json --> 人臉框坐標
data = {'images': [img_base64]}
headers = {"Content-type": "application/json"}
url = "http://127.0.0.1:8866/predict/pyramidbox_lite_mobile"
start_time = time.time()
r = requests.post(url=url, headers=headers, data=json.dumps(data))
use_time = time.time() - start_time
rectangle = r.json()['results'][0]['data'][0] # 一張圖片 --> dict{confidence, left, top, right, bottom}
# 5. cv2,json --> 畫矩形 --> cv2
cv2.rectangle(
img_cv2,
(rectangle['left'], rectangle['top']),
(rectangle['right'], rectangle['bottom']),
(255, 0, 0), # 藍色
thickness=2)
# 6. cv2轉str(base64)
img_base64 = cv2_to_base64(img_cv2)
# 7. str(base64) 返回到前端
return render_template(
'index.html', form=form, img_base64=img_base64,
confidence=rectangle['confidence'], use_time=use_time)
return render_template('index.html', form=form)
if __name__ == '__main__':
app.run(debug=True, port=5000)
2.5 index.html
視圖模板,也是十分簡陋。
<h1>試試人臉檢測</h1>
<!-- 1. 上傳圖像的表單 -->
<form action="" method="post" class="mt-4" enctype="multipart/form-data">
<!-- csrf這一句好像可以沒啥用 -->
{{ form.csrf_token }}
{{ form.face_img() }}
<input type="submit" value="Submit">
</form>
<!-- 2. 顯示檢測結果 -->
{% if img_base64 %}
<img src="data:image/jpeg;base64, {{ img_base64 }}" width="250" height="250">
<p>置信度: {{ confidence }}</p>
<p>推理耗時(秒): {{ use_time }}</p>
{% endif %}
<!-- 3. 顯示錯誤信息 -->
{% if form.face_img.errors %}
<div class="alert alert-danger">
{% for error in form.face_img.errors %}
{{ error }}
{% endfor %}
</div>
{% endif %}
Bug(s)
1、后端接收不到上傳的圖片
使用表單的模板代碼如下:
<form action="" method="post" class="mt-4">
<!-- csrf這一句好像可以刪掉 -->
{{ form.csrf_token }}
{{ form.face_img() }}
<input type="submit" value="Submit">
</form>
解決:在 Flask 中處理文件上傳時,需要<form>中添加 enctype="multipart/form-data" 屬性,這樣瀏覽器才能正確識別上傳的文件數(shù)據(jù)。
2、數(shù)據(jù)格式轉換暈頭轉向
在app.py中,我最初對于圖像格式的轉換十分懵圈,想整理下思路,結果卻如下圖,還是很亂。經(jīng)過多次重構,才變成了 2.5 app.py 那里顯示的圖。
重構還是挺有用的!有時代碼經(jīng)過重構也會變得清晰。

到此這篇關于人臉檢測——基于Flask和PaddleHub的文章就介紹到這了,更多相關人臉檢測內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
Python 開發(fā)工具通過 agent 代理使用的方法
這篇文章主要介紹了Python 開發(fā)工具通過 agent 代理使用的方法,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-09-09
Python matplotlib圖例放在外側保存時顯示不完整問題解決
這篇文章主要介紹了Python matplotlib圖例放在外側保存時顯示不完整問題解決,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-07-07
nx.adjacency_matrix計算鄰接矩陣與真實結果不一致的解決
這篇文章主要介紹了nx.adjacency_matrix計算鄰接矩陣與真實結果不一致的解決方案,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-12-12
python使用Tkinter實現(xiàn)在線音樂播放器
這篇文章主要為大家詳細介紹了python使用Tkinter實現(xiàn)在線音樂播放器,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-01-01
OpenCV實現(xiàn)手勢虛擬拖拽的使用示例(附demo)
本文主要介紹了OpenCV實現(xiàn)手勢虛擬拖拽的使用示例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2023-11-11
Python?調(diào)用函數(shù)時檢查參數(shù)的類型是否合規(guī)的實現(xiàn)代碼
這篇文章主要介紹了Python?調(diào)用函數(shù)時檢查參數(shù)的類型是否合規(guī)的實現(xiàn)代碼,本文給大家講解的非常詳細,需要的朋友可以參考下2024-06-06

