利用python、tensorflow、opencv、pyqt5實現(xiàn)人臉實時簽到系統(tǒng)
更新時間：2019年09月25日 11:16:49 作者：Python弟弟
這篇文章主要介紹了利用python、tensorflow、opencv、pyqt5實現(xiàn)人臉實時簽到系統(tǒng)，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值,需要的朋友可以參考下
基于python opencv人臉識別的簽到系統(tǒng)前言先看下效果實現(xiàn)的功能開始準(zhǔn)備頁面的構(gòu)建功能實現(xiàn)代碼部分總結(jié)
前言
一個基于opencv人臉識別和TensorFlow進行模型訓(xùn)練的人臉實時簽到系統(tǒng)，作者某二本大學(xué)里的末流學(xué)生，寫于2019/09/，python學(xué)習(xí)期間。
今年7月份開始接觸python的，最近閑著無事就開始做了這個人臉識別的系統(tǒng)，一開始的話就想著簡單的弄下，就去了百度智能云用的api接口實現(xiàn)的，寫完以后我就想為什么我不自己寫一個人臉識別簽到，不去調(diào)用百度api接口，然后就誕生了這個程序。
先看下效果
實現(xiàn)的功能
點擊開始進行實時人臉打開識別簽到
點擊注冊會跳到注冊頁面進行注冊
點擊缺勤會打開缺勤窗口顯示缺勤的表格
開始準(zhǔn)備
選用語言Python，時下入門機器學(xué)習(xí)成本最低、學(xué)習(xí)速度最快的語言，python搞網(wǎng)絡(luò)爬蟲也很靠譜。運用的技術(shù)有 opencv（攝像頭、圖片處理），numpy（圖片數(shù)字化），os（文件的操作和處理），TensorFlow（構(gòu)建神經(jīng)網(wǎng)絡(luò)進行模型訓(xùn)練）。
頁面的構(gòu)建
我的UI頁面是用pyqt寫的，pyqt這塊也不是很熟練，就稍微看了看教程，問了問同學(xué)，摸索著開始使用了，關(guān)于pyqt這塊的話，不和大家多說了，大家可以看下這個鏈接pyqt5、qtdesigner安裝和環(huán)境設(shè)置，我的這個程序也是虧了博主的這篇博客，大愛
功能實現(xiàn)
這里我就長話短說，因為涉及的東西比較多，我就按照我的目錄中的文件開始講起
icon這個文件夾主要是存放UI頁面的圖標(biāo)
- small_img_gray文件夾是用來存放注冊時轉(zhuǎn)換的灰度圖，就是你在注冊的時候點擊拍照以后，程序會在一段時間內(nèi)拍下100張照片進行保存，然后再將保存的照片轉(zhuǎn)換為灰度圖進行往后的模型訓(xùn)練。
- temp文件夾用來保存訓(xùn)練的模型test_img用來保存注冊時拍下的100張照片，對了忘了說，
- test_img文件夾和small_img_gray文件夾下都是以人名為命名的文件夾，每個人名文件夾下保存著100張照片
captureface.py這個文件功能是
1.用于某個人的圖片采集和圖片中人臉檢測及灰度處理
2.通過電腦攝像頭實時拍照，并按類別進行存儲
3.把獲取的圖片中的人臉檢測裁剪出來，并做灰度處理后分類存儲，這里用到了后邊的getimgdata.py文件
cnn_net.py是用來構(gòu)建cnn神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，以及模型訓(xùn)練和模型預(yù)測
cv2ImgAddText.py，關(guān)于這個文件，大家前邊看到的我人臉上邊有個方框和人名是吧，但是在做這一步的時候我發(fā)現(xiàn)，opencv自帶的puttext方法不能輸出中文，只能輸出英文，很生氣，中國漢字文化博大精深~源遠(yuǎn)流長 為什么不能輸出漢字？？但是咱也不能怪人家開發(fā)人員可能人家沒考慮的，所以這個文件就是將漢字進行輸出的db.py用來建立連接數(shù)據(jù)庫的對象face_register.py文件向數(shù)據(jù)庫進行插入用戶數(shù)據(jù)
face_search.py文件是在進行簽到時更新數(shù)據(jù)庫中用戶的狀態(tài)，是簽到了還是遲到了getimgdata.py文件包含4個方法，主要功能就是將用戶的照片進行分類存儲
haarcascade_frontalface_default.xml文件是級聯(lián)分類器文件，是opencv進行人臉識別的文件，具體還有其他的分類器，像識別眼睛嘴巴還有微笑什么的late.py和late.ui這兩個文件我拿一起說，主要是因為late.py是由late.ui文件進行編譯得到的，當(dāng)你看完上邊頁面部分的構(gòu)建你就會明白了，后邊的Mainwindow.py和Mainwindow.ui以及register.py和register.ui同理，都是頁面的代碼文件微軟雅黑Bold.ttf就是人臉識別的時候方框上邊的名字字體，默認(rèn)的我嫌它的字體比較細(xì)，所以網(wǎng)上找了個加粗的，大家也可以用別的字體，這個無所謂最后就是main.py這個文件了，基本上所有的執(zhí)行代碼就在這了，這里呢用到了pyqt的多線程QThread以及python的多線程threading，這倆稍微有點那么區(qū)別，但基本上實現(xiàn)都是相通的，為什么會用到多線程呢？
這是因為在一開始進行注冊拍照和模型訓(xùn)練的時候，我發(fā)現(xiàn)如果不啟用多線程，前端的ui頁面就會未響應(yīng)，當(dāng)模型訓(xùn)練完成以后才恢復(fù)正常，這樣給用戶帶來的體驗是極差的，所以盡量將ui展示頁面和功能實現(xiàn)的代碼分開，在顯示頁面的同時還能進行后臺的運算。
（不知道這樣說對不對，說錯的還請大家指出來，小白虛心學(xué)習(xí)）代碼部分
這里就放main.py文件的吧，其他的放了估計也太多剩下的大家可以去我的GitHub下載，下載鏈接會在最后貼出。
# -*- coding: utf-8 -*-
# @File : main.py
# @Author: CSD
# @Date : 2019/9/7 0007 20:48
# @Software: PyCharm
import gc
import os
import sys
import time
import cv2
import qimage2ndarray
from PyQt5.QtCore import QTimer, Qt, QThread, pyqtSignal
from PyQt5.QtGui import QPixmap
from PyQt5.QtWidgets import QApplication, QMainWindow, QDialog, QAbstractItemView, QTableWidgetItem, QMessageBox
from Mainwindow import Ui_MainWindow
from db import mysql_conn
from face_register import register_handler
from face_search import search_handler
from late import Ui_Table
from register import Ui_Register
from cnn_net import CnnNet
from sklearn.model_selection import train_test_split
import numpy as np
from getimgdata import GetImgData
import captureface
from captureface import CaptureFace
import threading
from cv2ImgAddText import cv2ImgAddText
imgs, labels, number_name = GetImgData().readimg() # 讀取數(shù)據(jù)
train_x, test_x, train_y, test_y = train_test_split(imgs, labels, test_size=0.1, random_state=10) # 訓(xùn)練集測試集數(shù)據(jù)劃分
cnnnet = CnnNet() # 調(diào)用CNN算法類
# 主窗口
class parentWindow(QMainWindow, Ui_MainWindow):
def __del__(self):
try:
self.camera.release() # 釋放資源
except:
return
def __init__(self, parent=None):
super(parentWindow, self).__init__(parent)
self.setupUi(self)
self.Latebt.setEnabled(False)
# self.PrepCamera()
self.CallBackFunctions()
self.Timer = QTimer() # 實例化一個類
self.Timer.timeout.connect(self.TimerOutFun) # 定時刷新
self.flagThread = FlagThread()
# 當(dāng)獲得循環(huán)完畢的信號時，停止計數(shù)
self.flagThread.trigger.connect(self.fun_timer)
# 初始化攝像頭
def PrepCamera(self):
try:
self.camera = cv2.VideoCapture(0)
self.camera.set(cv2.CAP_PROP_FOURCC, cv2.VideoWriter_fourcc('M', 'J', 'P', 'G'))
self.MsgTE.clear()
self.MsgTE.append('攝像頭已連接！')
except Exception as e:
self.MsgTE.clear()
self.MsgTE.append(str(e))
# 回調(diào)函數(shù)
def CallBackFunctions(self):
self.Showbt.clicked.connect(self.StartCamera)
self.About.clicked.connect(self.about)
# 開始按鈕函數(shù)
def StartCamera(self):
self.Showbt.setEnabled(False)
self.Loginbt.setEnabled(False)
self.Latebt.setEnabled(True)
self.PrepCamera()
self.Timer.start(1) # 每隔1ms刷新一次
self.timelb = time.clock()
self.flagThread.start()
# 從攝像頭讀取圖像
def TimerOutFun(self):
success, img = self.camera.read()
if success:
self.Image = img
self.DispImg()
else:
self.MsgTE.clear()
self.MsgTE.setPlainText('攝像頭讀取圖像已暫停！')
def fun_timer(self, flag):
self.MsgTE.setPlainText(flag)
# 檢測人臉、色彩空間及格式轉(zhuǎn)換
def DispImg(self):
results = captureface.detect_face(self.Image)
if results is not ():
faceboxes = results # 提取人臉位置信息
for (x, y, w, h) in faceboxes:
face = self.Image[y:y + h, x:x + w] # 截取圖片中的人臉圖像
face = cv2.cvtColor(face, cv2.COLOR_BGR2GRAY) # 轉(zhuǎn)為灰度圖片
face = cv2.resize(face, (64, 64)) # 壓縮成指定大小
face = face.reshape([1, 64, 64, 1])
cnnNet = CnnNet(modelfile='./temp/train-model') # 注意這步很關(guān)鍵，起到了重置計算圖的作用，否則多次導(dǎo)入訓(xùn)練好的計算圖會出現(xiàn)tensor重復(fù)的問題
res, pre = cnnNet.predict(test_x=face) # 調(diào)用已訓(xùn)練好的模型進行預(yù)測
if np.max(pre) < 0.8: # 通過調(diào)整閾值為threshold，當(dāng)返回數(shù)組最大值小于threshold是即視為unknown
self.name = "unknown"
else:
self.name = number_name[res[0]]
self.flagThread.get_name(self.name)
# cv2.putText(self.Image, self.name, (int(x), int(y) - 20), cv2.FONT_HERSHEY_SIMPLEX, 1, 255, 2)
cv2.rectangle(self.Image, (int(x), int(y)), (int(x + w), int(y + h)), (255, 0, 0), 3) # 將name顯示出來
img = cv2ImgAddText(self.Image, self.name, int(x+25), int(y-50))
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
qimg = qimage2ndarray.array2qimage(img) # 調(diào)用array2qimage函數(shù)將其轉(zhuǎn)為QImage格式
self.DispLb.setPixmap(QPixmap(qimg)) # 再通過QPixmap函數(shù)轉(zhuǎn)為QPixmap格式進行顯示。
self.DispLb.show() # 圖像顯示
gc.collect()
else:
img = cv2.cvtColor(self.Image, cv2.COLOR_BGR2RGB)
qimg = qimage2ndarray.array2qimage(img) # 調(diào)用array2qimage函數(shù)將其轉(zhuǎn)為QImage格式
self.DispLb.setPixmap(QPixmap(qimg)) # 再通過QPixmap函數(shù)轉(zhuǎn)為QPixmap格式進行顯示。
self.DispLb.show() # 圖像顯示
# 幫助
def about(self):
reply = QMessageBox.information(self,
"關(guān)于",
"1.點擊開始按鈕播放視頻流,進行簽到\n"
"2.點擊注冊按鈕可跳往注冊窗口進行注冊\n"
"3.點擊缺勤按鈕可查看缺勤學(xué)生名單，狀態(tài)0代表缺勤\n"
"4.點擊幫助按鈕可查看幫助，同時關(guān)閉主窗口視頻流,進行人臉注冊",
QMessageBox.Close)
try:
self.camera.release() # 釋放資源
self.Showbt.setEnabled(True)
self.Loginbt.setEnabled(True)
except:
return
# 注冊窗口
class childWindow(QDialog, Ui_Register):
def __init__(self, parent=None):
super(childWindow, self).__init__(parent)
self.setupUi(self)
self.PhotoBt.setEnabled(False)
self.RegisterBt.setEnabled(False)
# self.PrepCamera()
self.CallBackFunctions()
self.workThread = WorkThread()
self.photoThread = PhotoThread()
# 當(dāng)獲得循環(huán)完畢的信號時，停止計數(shù)
self.workThread.trigger.connect(self.timeStop)
self.photoThread.trigger.connect(self.runover)
self.Timer = QTimer() # 實例化一個類
self.Timer.timeout.connect(self.TimerOutFun) # 定時刷新
# 初始化攝像頭并打開
def PrepCamera(self):
try:
self.camera = cv2.VideoCapture(0)
self.MsgLb.clear()
self.MsgLb.setText('請輸入學(xué)號、姓名,點擊拍照!')
except Exception as e:
self.MsgLb.clear()
self.MsgLb.setText(str(e))
# 回調(diào)函數(shù)
def CallBackFunctions(self):
self.PhotoBt.clicked.connect(self.PhotoCamera)
self.StartBt.clicked.connect(self.StartCamera)
self.RegisterBt.clicked.connect(self.RegisterCamera)
self.ModelBt.clicked.connect(self.ModelTrain)
# 開始按鈕函數(shù)
def StartCamera(self):
self.PhotoBt.setEnabled(True)
self.RegisterBt.setEnabled(True)
self.PrepCamera()
self.Timer.start(1) # 每隔1ms刷新一次
self.timelb = time.clock()
# 注冊
def RegisterCamera(self):
Msg = register_handler(self.stu_id.text(), self.stu_name.text())
self.MsgLb.setText(Msg)
# 拍照按鈕函數(shù)
def PhotoCamera(self):
if self.stu_id.text().isdigit():
self.RecordCamera() # 保存照片
self.stu_id.clear()
self.stu_name.clear()
else:
self.MsgLb.setText('請檢查學(xué)號是否正確')
# 從攝像頭讀取圖像
def TimerOutFun(self):
success, img = self.camera.read()
if success:
self.Image = img
self.DispImg()
else:
self.MsgLb.clear()
self.MsgLb.setText('攝像頭讀取圖像已暫停！')
# 色彩空間及格式轉(zhuǎn)換
def DispImg(self):
img = cv2.cvtColor(self.Image, cv2.COLOR_BGR2RGB)
qimg = qimage2ndarray.array2qimage(img) # 調(diào)用array2qimage函數(shù)將其轉(zhuǎn)為QImage格式
self.ShowLb.setPixmap(QPixmap(qimg)) # 再通過QPixmap函數(shù)轉(zhuǎn)為QPixmap格式進行顯示。
self.ShowLb.show() # 圖像顯示
# 采集照片
def RecordCamera(self):
self.MsgLb.setText('正在采集圖片')
self.photoThread.img(self.Image, self.stu_name.text())
self.photoThread.start()
def runover(self, msg, i):
self.MsgLb.setText(msg)
self.progressBar.setValue(i)
# 模型訓(xùn)練
def ModelTrain(self):
self.MsgLb.setText('請等待一段時間進行模型訓(xùn)練!')
self.workThread.start()
def timeStop(self, msg, i):
self.MsgLb.setText(msg)
self.progressBar.setValue(i)
def closeEvent(self, event):
self.camera.release()
# 缺勤窗口
class childWindow_late(QDialog, Ui_Table):
def __init__(self, parent=None):
super(childWindow_late, self).__init__(parent)
self.setupUi(self)
self.CallBackFunctions()
self.tableWidget.setEditTriggers(QAbstractItemView.NoEditTriggers)
# 回調(diào)函數(shù)
def CallBackFunctions(self):
self.ResetBt.clicked.connect(self.ResetTable)
self.ShowBt.clicked.connect(self.ShowTable)
# 顯示缺勤表格
def ShowTable(self):
sql = 'select * from users where state=0'
print(sql)
cursor = mysql_conn.cursor()
cursor.execute(sql)
results = cursor.fetchall()
print(results)
if results:
row = cursor.rowcount
vol = len(results[0])
self.tableWidget.setRowCount(row)
self.tableWidget.setColumnCount(3)
for i in range(row):
for j in range(3):
temp_data = results[i][j + 1] # 臨時記錄，不能直接插入表格
print(temp_data)
data = QTableWidgetItem(str(temp_data)) # 轉(zhuǎn)換后可插入表格
data.setTextAlignment(Qt.AlignHCenter | Qt.AlignVCenter)
self.tableWidget.setItem(i, j, data)
# 重置
def ResetTable(self):
reply = QMessageBox.question(self,
"消息",
"重置后所有的學(xué)生的狀態(tài)將更改為0，是否修改？",
QMessageBox.Yes | QMessageBox.No)
if reply == QMessageBox.Yes:
sql = 'update users set state = 0'
print(sql)
cursor = mysql_conn.cursor()
cursor.execute(sql)
mysql_conn.commit()
else:
return
class WorkThread(QThread):
trigger = pyqtSignal(str, int)
def __int__(self):
super(WorkThread, self).__init__()
def run(self):
time.sleep(2)
path = './small_img_gray' # 灰度圖路徑
imgs, labels, number_name = GetImgData(dir=path).readimg()
x_train, x_test, y_train, y_test = train_test_split(imgs, labels, test_size=0.2)
cnnNet = CnnNet(modelfile='./temp/train-model',
imgs=x_train, labels=y_train)
train_class = cnnNet.cnnTrain(maxiter=1000, # 最大迭代次數(shù)
accu=0.99, ) # 指定正確率（499次之后）
for index, out in enumerate(train_class):
# 循環(huán)完畢后發(fā)出信號
self.trigger.emit(out, index * 10)
self.trigger.emit("訓(xùn)練完成", 100)
def kill_thread(self):
self.terminate()
class PhotoThread(QThread, Ui_Register):
trigger = pyqtSignal(str, int)
def __int__(self):
super(PhotoThread, self).__init__()
def img(self, img, stu_name):
self.Image = img
self.stu_name = stu_name
def run(self):
filepath = os.path.join('./test_img/', self.stu_name) # 路徑拼接
if not os.path.exists(filepath): # 看是否需要創(chuàng)建路徑
os.makedirs(filepath)
for i in range(100): # 開始拍照
savePath = (filepath + "/%d.jpg" % i)
cv2.imencode('.jpg', self.Image, [cv2.IMWRITE_JPEG_QUALITY, 100])[1].tofile(savePath) # 保存圖片
# 無法寫入中文 搜了搜發(fā)現(xiàn)OpenCV的imwrite不支持 所以換成了cv2.imencode
# picturepath = os.path.join(filepath, str(i)) + '.jpg' # 圖片的完整路徑名 無法讀取中文路徑
# cv2.imwrite(picturepath, self.Image, [cv2.IMWRITE_JPEG_QUALITY, 100]) # 將圖片寫入指定d路徑
self.trigger.emit('正在采集圖片~', i)
picture = CaptureFace(
imgdir='./test_img/', # 采集到的圖片存放位置
grayfacedir='./small_img_gray' # 灰度處理后的圖片存放位置
)
picture.facetogray(someone=self.stu_name, waitkey=100, size=64)
self.trigger.emit('圖片采集完畢！點擊注冊', 100)
class FlagThread(QThread):
trigger = pyqtSignal(str)
def __int__(self):
super(FlagThread, self).__init__()
def get_name(self, name=''):
self.name = name
def log_in(self):
if self.name != '':
user_id, user_name, user_state = search_handler(self.name)
if user_state == 1:
self.Msg = '%s %s 簽到成功.' % (user_id, user_name)
elif user_id is None:
self.Msg = '簽到失敗'
else:
self.Msg = '未檢測到人臉'
def run(self):
time.sleep(2)
while True:
self.get_name()
timer = threading.Timer(2, self.log_in) # 等待5s鐘調(diào)用一次fun_timer() 函數(shù)
timer.start()
timer.join()
self.trigger.emit(self.Msg)
print(self.Msg)
if __name__ == '__main__':
app = QApplication(sys.argv)
ui = parentWindow()
ui_child = childWindow()
ui_child_late = childWindow_late()
login_btn = ui.Loginbt
late_btn = ui.Latebt
login_btn.clicked.connect(ui_child.show)
late_btn.clicked.connect(ui_child_late.show)
if mysql_conn is None:
QMessageBox.warning(ui,
"警告",
"請先聯(lián)網(wǎng)，以便進行操作",
QMessageBox.Close)
sys.exit(app.exec_())
else:
ui.show()
sys.exit(app.exec_())
這個我自己搭建出的人臉識別系統(tǒng)是具有自己學(xué)習(xí)能力的，你給它喂的數(shù)據(jù)越多，它就可以識別越多的人而且準(zhǔn)確度會不斷提高，希望大家可以自己測試和研究。最終實現(xiàn)的結(jié)果就是文章開頭的時候的效果。希望能幫到大家！最后附上GitHub地址，覺著好的話可以給個星星★哦源代碼下載地址
有什么問題我會盡量回答！
總結(jié)
以上所述是小編給大家介紹的利用python、tensorflow、opencv、pyqt5實現(xiàn)人臉實時簽到系統(tǒng),希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！
如果你覺得本文對你有幫助，歡迎轉(zhuǎn)載，煩請注明出處，謝謝！
相關(guān)文章
相信學(xué)Python爬蟲的小伙伴聽說過Scrapy框架，也用過Scrapy框架，今天我們邊學(xué)習(xí)Scrapy框架邊爬取整部小說，讓大家在不知不覺的學(xué)習(xí)過程中使用Scrapy框架完成整部小說的爬取2021-09-09
Python獲取遠(yuǎn)程文件大小的函數(shù)代碼分享
這篇文章主要介紹了Python獲取遠(yuǎn)程文件大小的函數(shù)代碼分享,需要的朋友可以參考下2014-05-05
這篇文章主要介紹了python如何做代碼性能分析，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-04-04
這篇文章主要和大家一起學(xué)習(xí)python類方法與對象方法，從一個簡單例子出發(fā)進行學(xué)習(xí)，感興趣的小伙伴們可以參考一下2016-03-03
每到年末各大App都會給你來一次年度總結(jié),最近突發(fā)奇想,鍵盤是每天必備的工具,為啥不給鍵盤也來個工作總結(jié),本文就來用Python統(tǒng)計一下每天敲了多少次鍵盤吧2024-04-04
使用Python創(chuàng)建websocket服務(wù)端并給出不同客戶端的請求
本文主要介紹了使用Python創(chuàng)建websocket服務(wù)端并給出不同客戶端的請求，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01
這篇文章主要為大家詳細(xì)介紹了python如何實現(xiàn)反向迭代，進行反向迭代，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-03-03
keras中的loss、optimizer、metrics用法
這篇文章主要介紹了keras中的loss、optimizer、metrics用法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
Python實現(xiàn)數(shù)據(jù)集劃分(訓(xùn)練集和測試集)
這篇文章主要為大家詳細(xì)介紹了Python是如何實現(xiàn)數(shù)據(jù)集劃分的，分為訓(xùn)練集和測試集，文中的實現(xiàn)方法講解詳細(xì)，感興趣的小伙伴可以了解一下2023-05-05
python 實現(xiàn)創(chuàng)建文件夾和創(chuàng)建日志文件的方法
這篇文章主要介紹了python 實現(xiàn)創(chuàng)建文件夾和創(chuàng)建日志文件的方法,文中給大家介紹了python 讀寫創(chuàng)建文件文件夾的方法 ，需要的朋友可以參考下2019-07-07