詳解Python 字符串相似性的幾種度量方法

更新時(shí)間：2019年08月29日 09:49:28 作者：-牧野-

這篇文章主要介紹了詳解Python 字符串相似性的幾種度量方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

字符串的相似性比較應(yīng)用場(chǎng)合很多，像拼寫糾錯(cuò)、文本去重、上下文相似性等。

評(píng)價(jià)字符串相似度最常見的辦法就是：把一個(gè)字符串通過插入、刪除或替換這樣的編輯操作，變成另外一個(gè)字符串，所需要的最少編輯次數(shù)，這種就是編輯距離（edit distance）度量方法，也稱為L(zhǎng)evenshtein距離。海明距離是編輯距離的一種特殊情況，只計(jì)算等長(zhǎng)情況下替換操作的編輯次數(shù)，只能應(yīng)用于兩個(gè)等長(zhǎng)字符串間的距離度量。

其他常用的度量方法還有 Jaccard distance、J-W距離（Jaro–Winkler distance）、余弦相似性（cosine similarity）、歐氏距離（Euclidean distance）等。

python-Levenshtein 使用

使用 pip install python-Levenshtein 指令安裝 Levenshtein

# -*- coding: utf-8 -*-
 
import difflib
# import jieba
import Levenshtein
 
str1 = "我的骨骼雪白 也長(zhǎng)不出青稞"
str2 = "雪的日子 我只想到雪中去si"
 
# 1. difflib
seq = difflib.SequenceMatcher(None, str1,str2)
ratio = seq.ratio()
print 'difflib similarity1: ', ratio
 
# difflib 去掉列表中不需要比較的字符
seq = difflib.SequenceMatcher(lambda x: x in ' 我的雪', str1,str2)
ratio = seq.ratio()
print 'difflib similarity2: ', ratio
 
# 2. hamming距離，str1和str2長(zhǎng)度必須一致，描述兩個(gè)等長(zhǎng)字串之間對(duì)應(yīng)位置上不同字符的個(gè)數(shù)
# sim = Levenshtein.hamming(str1, str2)
# print 'hamming similarity: ', sim
 
# 3. 編輯距離，描述由一個(gè)字串轉(zhuǎn)化成另一個(gè)字串最少的操作次數(shù)，在其中的操作包括 插入、刪除、替換
sim = Levenshtein.distance(str1, str2)
print 'Levenshtein similarity: ', sim
 
# 4.計(jì)算萊文斯坦比
sim = Levenshtein.ratio(str1, str2)
print 'Levenshtein.ratio similarity: ', sim
 
# 5.計(jì)算jaro距離
sim = Levenshtein.jaro(str1, str2 )
print 'Levenshtein.jaro similarity: ', sim
 
# 6. Jaro–Winkler距離
sim = Levenshtein.jaro_winkler(str1 , str2 )
print 'Levenshtein.jaro_winkler similarity: ', sim

輸出：

difflib similarity1: 0.246575342466
difflib similarity2: 0.0821917808219
Levenshtein similarity: 33
Levenshtein.ratio similarity: 0.27397260274
Levenshtein.jaro similarity: 0.490208958959
Levenshtein.jaro_winkler similarity: 0.490208958959

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: