C# 撒列實(shí)現(xiàn)關(guān)鍵字過(guò)濾的實(shí)例

更新時(shí)間：2013年04月28日 14:40:44 作者：

C# 撒列實(shí)現(xiàn)關(guān)鍵字過(guò)濾的實(shí)例，需要的朋友可以參考一下

一直對(duì)搜索、過(guò)濾很好奇，覺(jué)得他們很有技術(shù)含量，只有非常NB的人才能做。很想知道他們的原理，實(shí)現(xiàn)這樣的功能，設(shè)計(jì)是不是必須得非常NB非常奇特，代碼是不是要寫得非常好，性能非常高?？傊@一切都不是我這樣級(jí)別的人能做的。直到我看了《編程珠璣(第二版)》中的這么一段文字：

“假定我們可以在執(zhí)行搜索之前對(duì)文本內(nèi)容進(jìn)行預(yù)處理，那么我們可以建立一個(gè)撒列表（或者搜索樹），為文檔中的每個(gè)不同的單詞建立索引，并為每個(gè)單詞的每次出現(xiàn)存儲(chǔ)一個(gè)鏈表，這樣的逆向索引使得程序可以很快的找到給定的單詞，為了查找短語(yǔ)，我們可以對(duì)其中包含的每個(gè)單詞的鏈表進(jìn)行交叉，但實(shí)現(xiàn)起來(lái)比較復(fù)雜，速度可能會(huì)很慢。（不過(guò)一些網(wǎng)頁(yè)搜索引擎用的就是這樣的方法）”

思路就這么簡(jiǎn)單，我靠！連有的搜索引擎也用這種思路。這種撒列的方式處理關(guān)鍵字過(guò)濾速度的確是蠻快，10000個(gè)字組織成一個(gè)撒列表也就幾毫秒，只要你預(yù)分配的內(nèi)存較好，基本上沒(méi)什么操作，就是向內(nèi)存中填數(shù)據(jù)。在撒列表中判斷一個(gè)鍵是否存在的時(shí)間復(fù)雜度為O(1),其實(shí)還可以自己重寫Dictionary<TKey, TValue>，關(guān)鍵字過(guò)濾的效率可能會(huì)更好點(diǎn)。

實(shí)現(xiàn)的思路比較簡(jiǎn)單：

1：處理關(guān)鍵字，生成一個(gè)關(guān)鍵字字典表

2：處理要過(guò)濾的文本，同樣生成一個(gè)字典表

3：將文本，兩個(gè)字典表三者進(jìn)行比對(duì)

現(xiàn)在來(lái)測(cè)試下面一段文字（我上篇博客中的一段文字）：

"看云風(fēng)博客關(guān)于解決12306并發(fā)問(wèn)題的啟發(fā)：我現(xiàn)在做駿卡接口，可能出現(xiàn)并發(fā)問(wèn)題，就是一個(gè)訂單可能向我們的接口發(fā)送多個(gè)請(qǐng)求，而我現(xiàn)在做的方法是去數(shù)據(jù)庫(kù)中對(duì)應(yīng)的表驗(yàn)證，看訂單是否存在，如果存在就提示一下，如果不存在按流程走，但是這個(gè)樣每來(lái)一個(gè)訂單我都需要去數(shù)據(jù)庫(kù)查，如果我在內(nèi)存中維護(hù)一個(gè)訂單集合，這樣就能很快解決判斷訂單是否存在的問(wèn)題，慣性思維太嚴(yán)重了，什么都去數(shù)據(jù)庫(kù)查，這樣的性能是最差的，其實(shí)很多問(wèn)題在內(nèi)存中就可以搞定的，最近還有一個(gè)特別感受，不要做井底之蛙，多看牛人的東西收獲真的比自己埋頭寫代碼進(jìn)步快很多，其實(shí)很多時(shí)候我寫的程序性能差，效率低都是因?yàn)榉椒ǖ脑?，沒(méi)有找到好的方法，沒(méi)有靈光一閃的感覺(jué)，用了最爛的方法解決問(wèn)題"

測(cè)試代碼：

復(fù)制代碼代碼如下:

class Program
    {
        static void Main(string[] args)
        {
            string keys = "云風(fēng)博客|并發(fā)問(wèn)題|最爛的方法|內(nèi)存|集合|數(shù)據(jù)庫(kù)|性能";

            using (new OperationTimer("keyWords:"))
            {
                WordSearch ws = new WordSearch(keys);
                string str = "看云風(fēng)博客關(guān)于解決12306并發(fā)問(wèn)題的啟發(fā)：我現(xiàn)在做駿卡接口，可能出現(xiàn)并發(fā)問(wèn)題，就是一個(gè)訂單可能向我們的接口發(fā)送多個(gè)請(qǐng)求，而我現(xiàn)在做的方法是去數(shù)據(jù)庫(kù)中對(duì)應(yīng)的表驗(yàn)證，看訂單是否存在，如果存在就提示一下，如果不存在按流程走，但是這個(gè)樣每來(lái)一個(gè)訂單我都需要去數(shù)據(jù)庫(kù)查，如果我在內(nèi)存中維護(hù)一個(gè)訂單集合，這樣就能很快解決判斷訂單是否存在的問(wèn)題，慣性思維太嚴(yán)重了，什么都去數(shù)據(jù)庫(kù)查，這樣的性能是最差的，其實(shí)很多問(wèn)題在內(nèi)存中就可以搞定的，最近還有一個(gè)特別感受，不要做井底之蛙，多看牛人的東西收獲真的比自己埋頭寫代碼進(jìn)步快很多，其實(shí)很多時(shí)候我寫的程序性能差，效率低都是因?yàn)榉椒ǖ脑?，沒(méi)有找到好的方法，沒(méi)有靈光一閃的感覺(jué)，用了最爛的方法解決問(wèn)題";
                ConsoleColor color = Console.ForegroundColor;
                Console.ForegroundColor = ConsoleColor.Red;
                Console.WriteLine("原文：");
                Console.ForegroundColor = color;
                Console.WriteLine(str);
                Console.WriteLine();
                Console.ForegroundColor = ConsoleColor.Red;
                Console.WriteLine("過(guò)濾后：");
                Console.ForegroundColor = color;
                Console.WriteLine(ws.Filter(str));
            }
            Console.Read();
        }

}

輸出結(jié)果截圖：

另外送上一個(gè)簡(jiǎn)單實(shí)用的代碼運(yùn)行時(shí)間測(cè)試類，測(cè)試某段代碼的運(yùn)行時(shí)間可是很方便的哦

復(fù)制代碼代碼如下:

using System;
using System.Diagnostics;

namespace WordFilter
{
    /// <summary>
    /// 測(cè)試代碼運(yùn)行時(shí)間幫組類
    /// </summary>
    public class OperationTimer : IDisposable
    {
        private string Text;
        private Int32 collectCount;
        private Stopwatch stopWatch;

        public OperationTimer(string txt)
        {
            PerpareForOperation();
            this.Text = txt;
            collectCount = GC.CollectionCount(0);
            stopWatch = new Stopwatch();
            stopWatch.Start();
        }

        public void Dispose()
        {
            stopWatch.Stop();
            Console.WriteLine("{0} Milliseconds (GCs={1}) {2}", stopWatch.ElapsedMilliseconds, GC.CollectionCount(0) - collectCount, Text);
        }

        private static void PerpareForOperation()
        {
            GC.Collect();
            GC.WaitForPendingFinalizers();
            GC.Collect();
        }
    }
}

實(shí)現(xiàn)撒列的部分核心代碼：

復(fù)制代碼代碼如下:

      public Dictionary<char, IList<char>> HandleKeyWords(IEnumerable<string> text, int size)
        {
            Dictionary<char, IList<char>> dicList = new Dictionary<char, IList<char>>(size);//預(yù)分配非常關(guān)鍵
            int len, i;
            foreach (string s in text)
            {
                if (s == string.Empty)
                {
                    continue;
                }
                len = s.Length - 1;
                for (i = 0; i < len; i++)
                {
                    if (dicList.ContainsKey(s[i]))
                    {
                        if (dicList[s[i]] != null && !dicList[s[i]].Contains(s[i + 1]))
                        {
                            dicList[s[i]].Add(s[i + 1]);
                        }
                    }
                    else
                    {
                        dicList.Add(s[i], new List<char>(2) { s[i + 1] });
                    }
                }
                if (!dicList.ContainsKey(s[len]))
                {
                    dicList.Add(s[len], null);
                }
            }

return dicList;
}

我也想貼出全部代碼，但是還有一些BUG，功能還有待完善，完善一些了會(huì)貼出源碼的，在截一張圖給大家看看