詳解Python中數(shù)據(jù)處理的方法總結(jié)及實現(xiàn)
更新時間：2022年09月16日 09:38:10 作者：一個熱愛學(xué)習(xí)的深度渣渣
數(shù)據(jù)增強(qiáng)作為前處理的關(guān)鍵步驟，在整個計算機(jī)視覺中有著具足輕重的地位。本文為大家總結(jié)了Python中數(shù)據(jù)處理的方法及實現(xiàn)，需要的可以參考一下
背景
數(shù)據(jù)增強(qiáng)作為前處理的關(guān)鍵步驟，在整個計算機(jī)視覺中有著具足輕重的地位；
數(shù)據(jù)增強(qiáng)往往是決定數(shù)據(jù)集質(zhì)量的關(guān)鍵，主要用于數(shù)據(jù)增廣，在基于深度學(xué)習(xí)的任務(wù)中，數(shù)據(jù)的多樣性和數(shù)量往往能夠決定模型的上限；
本次記錄主要是對數(shù)據(jù)增強(qiáng)中一些方法的源碼實現(xiàn)；
常用數(shù)據(jù)增強(qiáng)方法
首先如果是使用Pytorch框架，其內(nèi)部的torchvision已經(jīng)包裝好了數(shù)據(jù)增強(qiáng)的很多方法；
from torchvision import transforms
data_aug = transforms.Compose[
transforms.Resize(size=240),
transforms.RandomHorizontalFlip(0.5),
transforms.ToTensor()
]
接下來自己實現(xiàn)一些主要的方法；
常見的數(shù)據(jù)增強(qiáng)方法有：Compose、RandomHflip、RandomVflip、Reszie、RandomCrop、Normalize、Rotate、RandomRotate
1、Compose
作用：對多個方法的排序整合，并且依次調(diào)用；
# 排序（compose）
class Compose(object):
def __init__(self, transforms):
self.transforms = transforms
def __call__(self, img):
for t in self.transforms:
img = t(img) # 通過循環(huán)不斷調(diào)用列表中的方法
return img
2、RandomHflip
作用：隨機(jī)水平翻轉(zhuǎn)；
# 隨機(jī)水平翻轉(zhuǎn)（random h flip）
class RandomHflip(object):
def __call__(self, image):
if random.randint(2):
return cv2.flip(image, 1)
else:
return image
通過隨機(jī)數(shù)0或1，實現(xiàn)對圖像可能反轉(zhuǎn)或不翻轉(zhuǎn)；
3、RandomVflip
作用：隨機(jī)垂直翻轉(zhuǎn)
class RandomVflip(object):
def __call__(self, image):
if random.randint(2):
return cv2.flip(image, 0)
else:
return image
4、RandomCrop
作用：隨機(jī)裁剪；
# 縮放（scale）
def scale_down(src_size, size):
w, h = size
sw, sh = src_size
if sh < h:
w, h = float(w * sh) / h, sh
if sw < w:
w, h = sw, float(h * sw) / w
return int(w), int(h)
# 固定裁剪（fixed crop）
def fixed_crop(src, x0, y0, w, h, size=None):
out = src[y0:y0 + h, x0:x0 + w]
if size is not None and (w, h) != size:
out = cv2.resize(out, (size[0], size[1]), interpolation=cv2.INTER_CUBIC)
return out
# 隨機(jī)裁剪（random crop）
class RandomCrop(object):
def __init__(self, size):
self.size = size
def __call__(self, image):
h, w, _ = image.shape
new_w, new_h = scale_down((w, h), self.size)
if w == new_w:
x0 = 0
else:
x0 = random.randint(0, w - new_w)
if h == new_h:
y0 = 0
else:
y0 = random.randint(0, h - new_h)
??????? out = fixed_crop(image, x0, y0, new_w, new_h, self.size)
return out5、Normalize
作用：對圖像數(shù)據(jù)進(jìn)行正則化，也就是減均值除方差的作用；
# 正則化（normalize）
class Normalize(object):
def __init__(self,mean, std):
'''
:param mean: RGB order
:param std: RGB order
'''
self.mean = np.array(mean).reshape(3,1,1)
self.std = np.array(std).reshape(3,1,1)
def __call__(self, image):
'''
:param image: (H,W,3) RGB
:return:
'''
return (image.transpose((2, 0, 1)) / 255. - self.mean) / self.std
6、Rotate
作用：對圖像進(jìn)行旋轉(zhuǎn)；
# 旋轉(zhuǎn)（rotate）
def rotate_nobound(image, angle, center=None, scale=1.):
(h, w) = image.shape[:2]
# if the center is None, initialize it as the center of the image
if center is None:
center = (w // 2, h // 2) # perform the rotation
M = cv2.getRotationMatrix2D(center, angle, scale) # 這里是實現(xiàn)得到旋轉(zhuǎn)矩陣
rotated = cv2.warpAffine(image, M, (w, h)) # 通過矩陣進(jìn)行仿射變換
return rotated
7、RandomRotate
作用：隨機(jī)旋轉(zhuǎn)，廣泛適用于圖像增強(qiáng)；
# 隨機(jī)旋轉(zhuǎn)（random rotate）
class FixRandomRotate(object):
# 這里的隨機(jī)旋轉(zhuǎn)是指在0、90、180、270四個角度下的
def __init__(self, angles=[0,90,180,270], bound=False):
self.angles = angles
self.bound = bound
def __call__(self,img):
do_rotate = random.randint(0, 4)
angle=self.angles[do_rotate]
if self.bound:
img = rotate_bound(img, angle)
else:
img = rotate_nobound(img, angle)
return img
8、Resize
作用：實現(xiàn)縮放；
# 大小重置（resize）
class Resize(object):
def __init__(self, size, inter=cv2.INTER_CUBIC):
self.size = size
self.inter = inter
def __call__(self, image):
return cv2.resize(image, (self.size[0], self.size[0]), interpolation=self.inter)
其他數(shù)據(jù)增強(qiáng)方法
其他一些數(shù)據(jù)增強(qiáng)的方法大部分是特殊的裁剪；
1、中心裁剪
# 中心裁剪（center crop）
def center_crop(src, size):
h, w = src.shape[0:2]
new_w, new_h = scale_down((w, h), size)
x0 = int((w - new_w) / 2)
y0 = int((h - new_h) / 2)
out = fixed_crop(src, x0, y0, new_w, new_h, size)
return out
2、隨機(jī)亮度增強(qiáng)
# 隨機(jī)亮度增強(qiáng)（random brightness）
class RandomBrightness(object):
def __init__(self, delta=10):
assert delta >= 0
assert delta <= 255
self.delta = delta
def __call__(self, image):
if random.randint(2):
delta = random.uniform(-self.delta, self.delta)
image = (image + delta).clip(0.0, 255.0)
# print('RandomBrightness,delta ',delta)
return image
3、隨機(jī)對比度增強(qiáng)
# 隨機(jī)對比度增強(qiáng)（random contrast）
class RandomContrast(object):
def __init__(self, lower=0.9, upper=1.05):
self.lower = lower
self.upper = upper
assert self.upper >= self.lower, "contrast upper must be >= lower."
assert self.lower >= 0, "contrast lower must be non-negative."
# expects float image
def __call__(self, image):
if random.randint(2):
alpha = random.uniform(self.lower, self.upper)
# print('contrast:', alpha)
image = (image * alpha).clip(0.0,255.0)
return image
4、隨機(jī)飽和度增強(qiáng)
# 隨機(jī)飽和度增強(qiáng)（random saturation）
class RandomSaturation(object):
def __init__(self, lower=0.8, upper=1.2):
self.lower = lower
self.upper = upper
assert self.upper >= self.lower, "contrast upper must be >= lower."
assert self.lower >= 0, "contrast lower must be non-negative."
def __call__(self, image):
if random.randint(2):
alpha = random.uniform(self.lower, self.upper)
image[:, :, 1] *= alpha
# print('RandomSaturation,alpha',alpha)
return image
5、邊界擴(kuò)充
# 邊界擴(kuò)充（expand border）
class ExpandBorder(object):
def __init__(self, mode='constant', value=255, size=(336,336), resize=False):
self.mode = mode
self.value = value
self.resize = resize
self.size = size
def __call__(self, image):
h, w, _ = image.shape
if h > w:
pad1 = (h-w)//2
pad2 = h - w - pad1
if self.mode == 'constant':
image = np.pad(image, ((0, 0), (pad1, pad2), (0, 0)),
self.mode, constant_values=self.value)
else:
image = np.pad(image,((0,0), (pad1, pad2),(0,0)), self.mode)
elif h < w:
pad1 = (w-h)//2
pad2 = w-h - pad1
if self.mode == 'constant':
image = np.pad(image, ((pad1, pad2),(0, 0), (0, 0)),
self.mode,constant_values=self.value)
else:
image = np.pad(image, ((pad1, pad2), (0, 0), (0, 0)),self.mode)
if self.resize:
image = cv2.resize(image, (self.size[0], self.size[0]),interpolation=cv2.INTER_LINEAR)
return image
當(dāng)然還有很多其他數(shù)據(jù)增強(qiáng)的方式，在這里就不繼續(xù)做說明了；
拓展
除了可以使用Pytorch中自帶的數(shù)據(jù)增強(qiáng)包之外，也可以使用imgaug這個包（一個基于數(shù)據(jù)處理的包、包含大量的數(shù)據(jù)處理方法，并且代碼完全開源）
代碼地址：https://github.com/aleju/imgaug
說明文檔：https://imgaug.readthedocs.io/en/latest/index.html
強(qiáng)烈建議大家看看這個說明文檔，其中的很多數(shù)據(jù)處理方法可以快速的應(yīng)用到實際項目中，也可以加深對圖像處理的理解；
到此這篇關(guān)于詳解Python中數(shù)據(jù)處理的方法總結(jié)及實現(xiàn)的文章就介紹到這了,更多相關(guān)Python數(shù)據(jù)處理內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
TensorFlow實現(xiàn)隨機(jī)訓(xùn)練和批量訓(xùn)練的方法
本篇文章主要介紹了TensorFlow實現(xiàn)隨機(jī)訓(xùn)練和批量訓(xùn)練的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-04-04
下面小編就為大家?guī)硪黄獪\談python類屬性的訪問、設(shè)置和刪除方法。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2016-07-07
這篇文章主要介紹了wxPython電子表格功能wx.grid實例教程，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-11-11
詳解Python如何在多層循環(huán)中使用break/continue
關(guān)于break/continue這兩個關(guān)鍵字在平常的使用過程中一直比較迷糊。所以本文將詳細(xì)講講Python如何在多層循環(huán)中使用break/continue，需要的可以參考一下2022-05-05
這篇文章主要介紹了django中SMTP發(fā)送郵件配置，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
Python自定義函數(shù)實現(xiàn)求兩個數(shù)最大公約數(shù)、最小公倍數(shù)示例
這篇文章主要介紹了Python自定義函數(shù)實現(xiàn)求兩個數(shù)最大公約數(shù)、最小公倍數(shù),結(jié)合實例形式分析了Python求解兩個數(shù)最大公約數(shù)與最小公倍數(shù)相關(guān)原理與算法實現(xiàn)技巧,需要的朋友可以參考下2018-05-05
今天小編就為大家分享一篇關(guān)于Python中的集合介紹，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2021-08-08
使用Python實現(xiàn)文本轉(zhuǎn)語音(TTS)并播放音頻
在開發(fā)涉及語音交互或需要語音提示的應(yīng)用時,文本轉(zhuǎn)語音（TTS）技術(shù)是一個非常實用的工具,下面我們來看看如何使用gTTS和playsound庫將文本轉(zhuǎn)換為語音并播放音頻文件吧2025-03-03
python3實現(xiàn)名片管理系統(tǒng)（控制臺版）
這篇文章主要為大家詳細(xì)介紹了python3實現(xiàn)名片管理系統(tǒng)控制臺版，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-11-11