關于.net環(huán)境下跨進程、高頻率讀寫數(shù)據(jù)的問題
一、需求背景
1、最近項目要求高頻次地讀寫數(shù)據(jù)，數(shù)據(jù)量也不是很大，多表總共加起來在百萬條上下。
單表最大的也在25萬左右，歷史數(shù)據(jù)表因為不涉及所以不用考慮，
難點在于這個規(guī)模的熱點數(shù)據(jù)，變化非常頻繁。
數(shù)據(jù)來源于一些檢測設備的采集數(shù)據(jù)，一些大表，有可能在極短時間內(nèi)（如幾秒鐘）可能大部分都會變化，
而且主程序也有一些后臺服務需要不斷輪詢、讀寫某種類型的設備，所以要求信息交互時間盡可能短。
2、之前的解決方案是把所有熱點數(shù)據(jù)，統(tǒng)一加載到共享內(nèi)存里邊，到也能夠支撐的?。ê撩爰壍模?，但是由于系統(tǒng)架構升級，之前的程序（20年前的）不能兼容。
只能重新寫一個，最先想到的是用redis，當時把所有API重寫完成后，測試發(fā)現(xiàn)效率不行，是的，你沒有看錯，redis也是有使用范圍的。
3、redis讀寫非?？?，但是對于大批量讀寫操作我覺得支持不夠，雖然redis支持批量讀寫，但是效率還是不夠快，
對于字符串（string）類型的批量讀寫，我測試過；效率比較好的在每批次200 至 250條之間，處理20萬條數(shù)據(jù)耗時5秒左右, (PC機，8G，4核)
而對于有序集合（sorted set）類型，批量寫的操作用起來非常別扭，而且沒有修改API（如有其他方式請指教），我測試過，效率沒string類型那么高
其他類型不適合我的業(yè)務場景，就沒考慮使用了
4、所以項目組最后決定還是用回共享內(nèi)存，先決定在.net環(huán)境下使用c#的共享內(nèi)存，這個功能可能使用的人不多，其實在.net4.0版本就已經(jīng)集成進來了
在System.IO.MemoryMappedFile命名空間下。這個類庫讓人很無語，因為里邊能用的只有Write、Read這2種方法，而且只是針對字節(jié)的操作，
需要非常多的類型轉(zhuǎn)換，非常麻煩！想想，只能以字節(jié)為單位去構建一個需要存放百萬級數(shù)據(jù)的內(nèi)存數(shù)據(jù)庫，得多麻煩？
需要手動搞定索引功能，因為要支持各種查詢，最后花了一天的時間寫完DEMO，最后測試后發(fā)現(xiàn)效率并沒有很大提高，因為當時加了互斥量測試，
但是離毫秒級差得遠。這個技術點有興趣的可以了解下，園子里有，如：https://www.cnblogs.com/zeroone/archive/2012/04/18/2454776.html
二、沒錯，第一節(jié)寫的太多了
1、最后分析，這應該是c#語言的瓶頸，c#對于這種騷操作是不那么成熟的。
2、最后瞄來瞄去，決定使用VC開發(fā)一個dll，在里邊封裝對內(nèi)存數(shù)據(jù)的讀寫功能，然后c#調(diào)用
3、本人的C、C++不那么熟、參考了一些實例，比如園子里的：http://www.cnblogs.com/cwbcwb505/archive/2008/12/08/1350505.html
4、是的，你沒有看錯，2008年的，我還看到一篇更早的，看來底層開發(fā)C、C++那么經(jīng)久不衰不是沒有道理的，很多技術現(xiàn)在都在用
5、看看什么是共享內(nèi)存
三、開始寫代碼了
1、首先建2個控制臺項目，支持MFC，
2、先這樣：一個負責創(chuàng)建共享內(nèi)存，初始化數(shù)據(jù)
3、再這樣：一個讀寫數(shù)據(jù)測試，最后修改
4、最后修改下圖片細節(jié)，測試一下，看看效果
5、完成了，see, 是不是很簡單呀？都會了嗎？
四、真的要貼代碼了
1、先定義個枚舉返回狀態(tài)
typedef enum
{
Success = 0,
AlreadyExists = 1,
Error = 2,
OverSize = 3
}enumMemory;
2、再定義個結構體用來測試
typedef struct
{
int TagID;
char TagName[32];
int Area;
double EngVal;
double UpdateTime;
double RawMax;
double RawMin;
double RawVal;
char Name[50];
char Al;
double ASTime;
char MaskState;
double AMTime;
char Cf;
char Tdf;
char AlarmCode[32];
}TENG;
3、開始創(chuàng)建共享內(nèi)存
int Create(UINT size)
{
// Data
HANDLE fileMap = CreateFileMapping(INVALID_HANDLE_VALUE, NULL, PAGE_READWRITE, 0, size, “Name”);
if (fileMap == NULL || fileMap == INVALID_HANDLE_VALUE)
return Error;
if (GetLastError() == ERROR_ALREADY_EXISTS)
return AlreadyExists;
// init
void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, size);
if (mapView == NULL)
return Error;
else
memset(mapView, 0, size);
return Success;
}
4、再開始寫數(shù)據(jù)
int Write(void *pDate, UINT nSize, UINT offset)
{
// open
HANDLE fileMap = OpenFileMapping(FILE_MAP_WRITE, FALSE, “Name”);
if (fileMap == NULL)
return Error;
// hander
void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, nSize);
if (mapView == NULL)
return Error;
else
WriteDataPtr = mapView;
// write
memcpy(mapView, pDate, nSize);
UnmapViewOfFile(pMapView);
return Success;
}
5、開始讀數(shù)據(jù)
int Read(void *pData, UINT nSize, UINT offset)
{
// open
HANDLE fileMap = OpenFileMapping(FILE_MAP_READ, FALSE, GetTableName());
if (fileMap == NULL)
return Error;
// hander
void *pMapView = MapViewOfFile(fileMap, FILE_MAP_READ, 0, 0, nSize);
if (pMapView == NULL)
return Error;
else
ReadDataPtr = pMapView;
memcpy(pData, (pMapView, nSize);
UnmapViewOfFile(pMapView);
return Success;
}
6、OK了，不復雜，網(wǎng)上都有這些資料，最后我們貼上測試程序
int _tmain(int argc, TCHAR* argv[], TCHAR* envp[])
{
int length = 100000;
CEng * ceng = new CEng();
DWORD dwStart = GetTickCount();
for (int i = 0; i < length; i++) {
TENG eng;
ceng->Read(&eng, ceng->size, ceng->size * i);
eng.EngVal = i;
ceng->Write(&eng, ceng->size, (i*ceng->size));
if (i % 10000 == 0 || i == length - 1)
printf("正在讀寫的Eng.TagName:%s \n", eng.TagName);
}
printf("總條數(shù)%d,耗時:%d 毫秒 \n", length, GetTickCount() - dwStart);
// 驗證數(shù)據(jù)
TENG eng5000;
ceng->Read(&eng5000, ceng->size, ceng->size * 5000);
printf("\n驗證數(shù)據(jù) \n");
printf("第5000個Eng的TagID:%d, EngVal:%lf \n", eng5000.TagID, eng5000.EngVal);
scanf_s("按任意鍵結束");
return 0;
}
7、還有寫測試程序
int _tmain(int argc, TCHAR* argv[], TCHAR* envp[])
{
int length = 100000;
CEng * ceng = new CEng();
ceng->Create(ceng->size * length);
DWORD dwStart = GetTickCount();
for (int i = 0; i < length; i++)
{
TENG eng;
memset(&eng, 0, ceng->size);
eng.TagID = i;
sprintf_s(eng.AlarmCode, "AlarmCode.%d", i);
sprintf_s(eng.TagName, "TagName.%d", i);
if (i % 10000 == 0 || i == length - 1)
printf("正在寫入的Eng.TagName:%s \n", eng.TagName);
ceng->Write(&eng, ceng->size, (i*ceng->size));
}
// print time
printf("寫入數(shù)據(jù)完畢,總條數(shù):%d\n", length);
printf("初始化值共享內(nèi)存區(qū)耗時:%d 毫秒 \n", GetTickCount() - dwStart);
scanf_s("按任意鍵結束");
return 0;
}
8、當然得再貼一遍啦
五、差點忘記做成DLL了
1、定義外部函數(shù)
extern "C" __declspec(dllexport) int ReadFromSharedMemory(TENG *pData, int nSize, int offset)
{
return ceng->Read(pData, nSize, offset);
}
extern "C" __declspec(dllexport) int WriteToSharedMemory(void *pData, int nSize, int offset)
{
return ceng->Write(pData, nSize, offset);
}
2、好了，VC到此為止，可以去領盒飯了，c#進場
public class Lib
{
[DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)]
public static extern int ReadFromSharedMemory(IntPtr pData, int nSize, int offset);
[DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)]
public static extern int WriteToSharedMemory(IntPtr pData, int nSize, int offset);
}
3、c#測試一下
static void Main(string[] args)
{
var length = 100000;
var startTime = DateTime.Now;
var size = Marshal.SizeOf(typeof(TEng));
var intPtrOut = Marshal.AllocHGlobal(size);
var intPtrIn = Marshal.AllocHGlobal(size);
for (var i = 0; i < length; i++)
{
Lib.ReadFromSharedMemory(intPtrOut, size, size * i);
var eng = Marshal.PtrToStructure<TEng>(intPtrOut);
eng.EngVal = i;
Marshal.StructureToPtr(eng, intPtrIn, true);
Lib.WriteToSharedMemory(intPtrIn, size, size * i);
if (i % 10000 == 0)
Console.WriteLine("eng.TagID:{0}", eng.TagID);
}
Console.WriteLine("總條數(shù){0},耗時:{1} 毫秒", length.ToString(),
(DateTime.Now - startTime).TotalMilliseconds.ToString());
// 驗證數(shù)據(jù)
var intPtr100 = Marshal.AllocHGlobal(size);
Lib.ReadFromSharedMemory(intPtr100, size, size * 100);
var eng100 = Marshal.PtrToStructure<TEng>(intPtr100);
Console.WriteLine();
Console.WriteLine("驗證數(shù)據(jù)");
Console.WriteLine("第100個Eng的TagID:{0},EngVal:{1}", eng100.TagID, eng100.EngVal);
Console.ReadKey();
}
4、165毫秒，相比在VC下運行，差了一個數(shù)量級，但是，也不錯了；
因為c#環(huán)境下需要不斷的Marshal.PtrToStructure、Marshal.StructureToPtr，頻繁地把數(shù)據(jù)在托管內(nèi)存俞共享內(nèi)存之間搬運
是需要耗費時間的，這點有更好處理方式的請指教，
六、因為跨線程、進程，所以要考慮加入互斥量哦
1、很簡單，MFC下有現(xiàn)成的類CMutex，加在Write里邊在看看效率
互斥量是需要耗費資源的，多了將進100毫秒
2、讀寫都加上互斥量試試看
又多了80多毫秒，
魚與熊掌不可兼得啊。要根據(jù)實際運用場景覺得是否加上互斥量
好了，人家51去游玩、我卻宅家里碼程序，可見我的趣味還是挺高的，洗澡、洗衣服、然后去吃飯、一天沒進食了，
以上就是.net環(huán)境下跨進程、高頻率讀寫數(shù)據(jù)的詳細內(nèi)容，更多關于.net跨進程高頻率讀寫數(shù)據(jù)的資料請關注腳本之家其它相關文章！
相關文章
ASP.NET讓FileUpload控件支持瀏覽自動上傳功能的解決方法
這篇文章主要介紹了ASP.NET讓FileUpload控件支持瀏覽自動上傳功能的解決方法,很實用的技巧,需要的朋友可以參考下2014-07-07
Visual Studio中調(diào)試 .NET源代碼的實現(xiàn)步驟
在調(diào)試 .NET 應用程序時,有時你可能需要查看其他人的源代碼,本文主要介紹了Visual Studio中調(diào)試 .NET源代碼的實現(xiàn)步驟,具有一定的參考價值,感興趣的可以了解一下2024-03-03
asp.net CommunityServer中的wwwStatus
最近不得不對這個論壇進行研究，以適應后面的發(fā)展，現(xiàn)在同事研究太吃力了，以后改些東西，估計又要...打開web項目中的communityserver.config發(fā)現(xiàn)一個有趣的地方。2009-03-03
ASP.NET?Core中創(chuàng)建中間件的方式匯總
ASP.NET?Core中間件（Middleware）是用于處理HTTP請求和響應的組件,它們被安排在請求處理管道中,并按順序執(zhí)行,這篇文章主要介紹了ASP.NET?Core中創(chuàng)建中間件的幾種方式,需要的朋友可以參考下2024-07-07
ASP.NET?MVC使用jQuery?ui的progressbar實現(xiàn)進度條
這篇文章介紹了ASP.NET?MVC使用jQuery?ui的progressbar實現(xiàn)進度條的方法，文中通過示例代碼介紹的非常詳細。對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-08-08
這篇文章主要為大家詳細介紹了Visual Studio卸載不完全問題的解決方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-04-04
ASP.NET資源的請求所經(jīng)過的處理流程：首先，IIS接收到該請求并將其轉(zhuǎn)交給aspnet_isapi.dll。其次，ASP.NET引擎將一些 HttpModule初始化。2008-12-12
有時候通過一個頁面設置的js，在其它的子頁面或父頁面就無法正常獲取，主要是因為路徑的問題， 設置到根目錄中即可。下面是具體的解決方法。2010-12-12
asp.net 源碼保存 用程序分頁實現(xiàn)代碼。2010-06-06
這篇文章主要給大家介紹了關于ASP.NET Core中如何實現(xiàn)重定向的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-01-01