C#高效比較兩個DataTable數(shù)據(jù)差異化的方法實現(xiàn)
假如有兩個DataTable表格分別是dt1,dt2,dt2中有些數(shù)據(jù)跟dt1一樣,現(xiàn)在想找出dt2的數(shù)據(jù)在dt1中不存在的數(shù)據(jù)集(換句話也可以說dt2刪除已經(jīng)存在于dt1中的數(shù)據(jù)),傳統(tǒng)思想可能直接用循環(huán)找差異,這種是非常低效的做法,數(shù)據(jù)量少無所謂,數(shù)據(jù)量大,簡直要了程序猿老命,既然直接循環(huán)查找不可取,那么有沒有高效一點的做法呢(廢話,湊數(shù)字用,當然是有了),C# linq 中IEnumerable 提供了Expect(差集)的方法,眾所周知,DataTable提供了AsEnumerable()的轉換方法,能把DataTable轉成IEnumerable<DataRow>,這樣我們就能linq 來處理DataTable了,如果dt1和dt2的結構相同,則可以直接dt2.AsEnumerable().Expect(dt1.AsEnumerable())來獲得兩個表格的差異,當然這個結果的返回是一個IEnumerable<DataRow>,如果想要一個DataTable結果,可以直接調(diào)用方法CopyToDataTable()(該方法調(diào)用之前需要判斷結果集是否沒有數(shù)據(jù),沒有數(shù)據(jù)會報錯)
var list=dt2.AsEnumerable().Except(dt1.AsEnumerable());
DataTable resultDt;
if(list.Count()>0)
resultDt=list.CopyToDataTable();
else
resultDt=dt2.Clone();//克隆個結構;如果dt1,dt2的結構不一樣,那么就不能直接用Except方法來處理了,這里我的建議是用linq中的join方法,先把dt1,dt2兩個表做一個內(nèi)連接的關聯(lián)處理,找出dt2跟dt1相同的部分,然后再利用dt2跟dt2于dt1相同的部分做一次差集處理,就能得出dt2和dt1的差集,直接上代碼,代碼演示用的是linqpad工具,其中的Dump方法是用來輸出打印的,vs調(diào)試的話,請自行修改成Console,測試數(shù)據(jù)用了50w,60w如果單靠差集處理,是秒級別
void Main()
{
Stopwatch sw = new Stopwatch();
sw.Start();
var dt1 = CreateDt(500000, 3);
var dt2 = CreateDt(600000, 5);
sw.Stop();
sw.Elapsed.Dump("生成兩個表的時間");
sw.Restart();
//dt2.AsEnumerable().Except(dt1.AsEnumerable());//如果表格表的結構相同,則直接差集處理得出結果
var dt = dt2.AsEnumerable().Join(dt1.AsEnumerable(), p => p[0], p => p[0], (p, q) => p);//內(nèi)連接,查詢兩個表格相同部分,再利用相同部分做差集處理得出結果就是dt2在dt1中的差集
var result = dt2.AsEnumerable().Except(dt).ToList();
sw.Stop();
result.Count.Dump("差集結果條數(shù)");
sw.Elapsed.Dump("查詢差異的時間");
sw.Restart();
DataTable resultDt;
if (result.Count() > 0)
resultDt = result.CopyToDataTable();
else
resultDt = dt2.Clone();
sw.Stop();
sw.Elapsed.Dump("轉成DataTable耗時:");
}
DataTable CreateDt(int row, int count)
{
var dt = new DataTable();
for (int i = 0; i < count; i++)
dt.Columns.Add("col" + i);
var rnd = new Random();
for (int i = 0; i < row; i++)
{
var num = rnd.Next(0, row);
dt.Rows.Add(dt.Columns.Cast<DataColumn>().Select(p => p.ColumnName + num).ToArray());
}
return dt;
}結果圖:

從結果上看,關聯(lián)和差異處理共耗時1秒左右,這個速度還是能接受的
到此這篇關于C#高效比較兩個DataTable數(shù)據(jù)差異化的方法實現(xiàn)的文章就介紹到這了,更多相關C# 兩個DataTable數(shù)據(jù)差異化內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
C#?App.config和Web.config加密的實現(xiàn)步驟
本文介紹了如何使用C#對App.config和Web.config文件進行加密,通過使用ConfigurationSection類和SymmetricAlgorithm類,我們可以保護配置文件中的敏感數(shù)據(jù),確保只有授權人員可以訪問2023-08-08
C#使用MVC框架創(chuàng)建WebApi服務接口的流程步驟
WebAPI是一種基于HTTP協(xié)議的網(wǎng)絡應用程序接口,它使用JSON或XML格式來傳輸數(shù)據(jù),本文通過圖文和代碼示例給大家介紹了C#使用MVC框架創(chuàng)建WebApi服務接口的流程步驟,需要的朋友可以參考下2025-01-01
c#中winform根據(jù)郵箱地址和密碼一鍵發(fā)送email的實現(xiàn)
本文主要介紹了c#winform根據(jù)郵箱地址和密碼一鍵發(fā)送email的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2022-07-07
C#使用LibUsbDotNet實現(xiàn)USB設備檢測
C#?LibUsbDotNet是一個.NET平臺上的庫,用于訪問USB設備,它封裝了Linux下的libusb庫,LibUsbDotNet提供了一個簡單的API,開發(fā)者可以利用這個庫在C#中操作USB設備,本文介紹了C#使用LibUsbDotNet實現(xiàn)USB設備檢測,需要的朋友可以參考下2024-07-07

