php 一元分詞算法
更新時(shí)間:2009年11月30日 21:09:39 作者:
php 一元分詞算法
復(fù)制代碼 代碼如下:
/**
* 一元分詞算法
* UTF8編碼下一個(gè)字符如果首字符ASCII碼不大于192則只占1個(gè)字節(jié)
* 如果首字符ASCII碼大于192小于224則占用2個(gè)字節(jié),否則占用3個(gè)字節(jié)
* 一元分詞需要在mysql的my.ini文件中增加 ft_min_word_len=1
* 可以使用mysql查詢(xún)語(yǔ)句 show variables like '%ft%' 查看mysql全文搜索相關(guān)設(shè)置
*
* @access global
* @param string $str
* @param boolean $unique 是否去除重復(fù)值
* @param boolean $merge 是否合并附加值
* @return array
*/
function seg_word($str,$unique=false,$merge=true)
{
$str = trim(strip_tags($str));
$strlen = strlen($str);
if($strlen == 0) return array();
$spc = ' ';
//按需增加需要過(guò)濾的字符
$search = array(',', '/', '\\', '.', ';', ':', '\'', '!', '~','"', '`', '^', '(', ')', '?', '-', "\t", "\n", '\'', '<', '>', "\r", "\r\n", '\$', '&', '%', '#', '@', '+', '=', '{', '}', '[', ']', ')', '(', '.', '。', ',', '!', ';', '“', '”', '‘', ''', '[', ']', '、', '—', ' ', '《', '》', '-', '…', '【', '】',':');
$numpairs = array('1'=>'一','2'=>'二','3'=>'三','4'=>'四','5'=>'五','6'=>'六','7'=>'七','8'=>'八','9'=>'九','0'=>'零');
$str = alab_num($str);
$str = str_replace($search,' ',$str);
$ord = $i = $k = 0;
$prechar = 0;// 0-空白 1-英文和符號(hào) 2-中文
$result = array();
$annex = array();
while($ord = ord($str[$i]))
{
//1字節(jié)字符
if ($ord <= 0xC0 )
{
//去除空字符串
if($ord < 33) {
$prechar=0;
$i++;
$k++;
continue;
}
//附加中文大寫(xiě)數(shù)字轉(zhuǎn)換
if(isset($numpairs[$str[$i]])) {
$annex[]=$numpairs[$str[$i]];
}
//如果前面是中文
if( $prechar == 2 ){
$result[++$k] = $str[$i];
}
else {
$result[$k] .= $str[$i];
}
$prechar = 1;
$i++;
}
else //2-3字節(jié)字符(中文)
{
if($ord < 0xE0)
$step = 2;
else
$step = 3;
$c = substr($str,$i,$step);
if(false !== $key = array_search($c,$numpairs)){
$annex[] = $key;
}
if ($prechar != 0) {
$result[++$k] = $c;
}
else {
$result[$k] .= $c;
}
$prechar = 2;
$i+=$step;
}
}
$result = $merge ? array_merge($result,$annex) : $result ;
return $unique ? array_unique($result) : $result ;
}
您可能感興趣的文章:
- PHP編程計(jì)算文件或數(shù)組中單詞出現(xiàn)頻率的方法
- php給一組指定關(guān)鍵詞添加span標(biāo)簽的方法
- PHP實(shí)現(xiàn)的簡(jiǎn)單排列組合算法應(yīng)用示例
- php生成數(shù)組的使用示例 php全組合算法
- 組合算法的PHP解答方法
- php 大數(shù)據(jù)量及海量數(shù)據(jù)處理算法總結(jié)
- PHP 快速排序算法詳解
- 使用PHP實(shí)現(xiàn)二分查找算法代碼分享
- PHP經(jīng)典算法集錦【經(jīng)典收藏】
- PHP面試常用算法(推薦)
- PHP實(shí)現(xiàn)的簡(jiǎn)單組詞算法示例
相關(guān)文章
Thinkphp結(jié)合ajaxFileUpload實(shí)現(xiàn)異步圖片傳輸示例
這篇文章主要給大家介紹了利用Thinkphp結(jié)合ajaxFileUpload實(shí)現(xiàn)異步圖片傳輸?shù)姆椒?,文中給出了詳細(xì)的示例代碼,對(duì)大家具有一定的參考價(jià)值,需要的朋友們下面來(lái)一起看看吧。2017-03-03
PHP自動(dòng)識(shí)別字符集并完成轉(zhuǎn)碼詳解
話(huà)不多說(shuō),直接上函數(shù),這個(gè)函數(shù)是用來(lái)對(duì)字符串進(jìn)行檢查和轉(zhuǎn)碼的。需要的朋友可以過(guò)來(lái)參考下2013-08-08
PHP去除數(shù)組中重復(fù)的元素并按鍵名排序函數(shù)
用php實(shí)現(xiàn)的去除數(shù)組中重復(fù)的函數(shù)2008-08-08
php實(shí)現(xiàn)計(jì)數(shù)器方法小結(jié)
這篇文章主要介紹了php實(shí)現(xiàn)計(jì)數(shù)器方法,總結(jié)了三款非常實(shí)用的計(jì)數(shù)器實(shí)現(xiàn)方法,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-01-01
PHP使用strrev翻轉(zhuǎn)中文亂碼問(wèn)題的解決方法
這篇文章主要介紹了PHP使用strrev翻轉(zhuǎn)中文亂碼問(wèn)題的解決方法,通過(guò)自定義函數(shù)遍歷字符串并設(shè)置編碼格式解決亂碼問(wèn)題,需要的朋友可以參考下2017-01-01

