SQL Server中避免觸發(fā)鏡像SUSPEND的N種方法
背景:
我們在使用數(shù)據(jù)庫的過程中,很多時候要追求性能,特別在處理大批量數(shù)據(jù)的時候更希望快速處理。那么對SQL SERVER而言,數(shù)據(jù)庫實現(xiàn)大批量插入的優(yōu)化方案,這里特別介紹通過大容量插入的一種方式。
基本原理:
簡單恢復(fù)模式按最小方式記錄大多數(shù)大容量操作,對于完整恢復(fù)模式下的數(shù)據(jù)庫,大容量導(dǎo)入期間執(zhí)行的所有行插入操作被完整地記錄到事務(wù)日志中。如果數(shù)據(jù)導(dǎo)入量較大,會導(dǎo)致迅速填滿事務(wù)日志。對于大容量導(dǎo)入操作,按最小方式記錄比完整記錄更有效,并減少了大容量導(dǎo)入操作填滿日志空間的可能性,所以性能會得到極大的提升。
但是,大容量導(dǎo)入中按最小方式記錄日志的前提條件需要滿足:
1. 當(dāng)前沒有復(fù)制表
2. 指定了表鎖定:
注意:鎖定是 SQL Server 數(shù)據(jù)庫引擎用來對多個用戶同時訪問同一數(shù)據(jù)塊的操作進(jìn)行同步。當(dāng)事務(wù)修改某個數(shù)據(jù)塊時,它將持有保護(hù)所做修改的鎖,直到事務(wù)結(jié)束。指定大容量導(dǎo)入操作的表鎖定后,該表將在大容量導(dǎo)入操作期間采取大容量更新 (BU) 鎖定。大容量更新 (BU) 鎖允許多個線程將數(shù)據(jù)并發(fā)地大容量導(dǎo)入到同一表中,同時阻止其他不進(jìn)行大容量導(dǎo)入數(shù)據(jù)的進(jìn)程訪問該表。表鎖定可以通過減少表的鎖爭用來提高大容量導(dǎo)入操作的性能。
基本的理論信息還很多,這里不再累述。
在阿里云SQL SERVER的主備架構(gòu)中,使用大容量插入時,使用時需要特別留意一個特性需要明確指定,如果不指定,會觸發(fā)微軟尚未在SQL Server 2008 R2中未修復(fù)的BUG,會導(dǎo)致鏡像SUSPEND,那么如何來避免各種情況呢? 下面列舉了一些常見的場景:
1、通過ado.net sqlbulkcopy 方式:
只需要將SqlBulkCopy 指定SqlBulkCopyOptions.CheckConstraints就好,數(shù)據(jù)庫指定AdventureWorks2008R2的Person表。舉個例子:
static void Main()
{
string srcConnString = "Data Source=(local);Integrated Security=true;Initial Catalog=testdb";
string desConnString = "Data Source=****.sqlserver.rds.aliyuncs.com,3433;User ID=**;Password=**;Initial Catalog=testdb";
SqlConnection srcConnection = new SqlConnection();
SqlConnection desConnection = new SqlConnection();
SqlCommand sqlcmd = new SqlCommand();
SqlDataAdapter da = new SqlDataAdapter();
DataTable dt = new DataTable();
srcConnection.ConnectionString = srcConnString;
desConnection.ConnectionString = desConnString;
sqlcmd.Connection = srcConnection;
sqlcmd.CommandText = @"SELECT top 1000000 [PersonType],[NameStyle],[Title],[FirstName],[MiddleName],[LastName],[Suffix],[EmailPromotion]
,[AdditionalContactInfo],[Demographics],NULL as rowguid,[ModifiedDate] FROM [testdb].[dbo].[Person]";
sqlcmd.CommandType = CommandType.Text;
sqlcmd.Connection.Open();
da.SelectCommand = sqlcmd;
da.Fill(dt);
using (SqlBulkCopy blkcpy = new SqlBulkCopy(desConnString, SqlBulkCopyOptions.CheckConstraints))
//using (SqlBulkCopy blkcpy = new SqlBulkCopy(desConnString, SqlBulkCopyOptions.Default))
{
blkcpy.BatchSize = 2000;
blkcpy.BulkCopyTimeout = 5000;
blkcpy.SqlRowsCopied += new SqlRowsCopiedEventHandler(OnSqlRowsCopied);
blkcpy.NotifyAfter = 2000;
foreach (DataColumn dc in dt.Columns)
{
blkcpy.ColumnMappings.Add(dc.ColumnName, dc.ColumnName);
}
try
{
blkcpy.DestinationTableName = "Person";
blkcpy.WriteToServer(dt);
}
catch (Exception ex)
{
Console.WriteLine(ex.Message);
}
finally
{
sqlcmd.Clone();
srcConnection.Close();
desConnection.Close();
}
}
}
private static void OnSqlRowsCopied(
object sender, SqlRowsCopiedEventArgs e)
{
Console.WriteLine("Copied {0} so far...", e.RowsCopied);
}
2、通過jdbc sqlbulkcopy 方式:
只需要在初始化對象時指定setCheckConstraints屬性為TRUE,例如:
QLServerBulkCopyOptions copyOptions = new SQLServerBulkCopyOptions();
copyOptions.setCheckConstraints(true);
3、通過DTS/SSIS方式:
1. import/export data方式需要先保存SSIS包,然后修改Connection Manager的屬性
2. 直接使用SQL Server Business Intelligence Development Stuidio新建 SSIS包

3、通過BCP方式
1. 先將數(shù)據(jù)BCP出來 BCP ...OUT
BCP testdb.dbo.person Out "bcp_data" /t /N /U **** /P *** /S "****.sqlserver.rds.aliyuncs.com,3433"
2. 然后將數(shù)據(jù)BCP進(jìn)去 BCP...IN ,但需要指定提示:/h "CHECK_CONSTRAINTS"
BCP testdb.dbo.person In "bcp_data" /C /N /q /k /h "CHECK_CONSTRAINTS" /U *** /P *** /b 500 /S "***.sqlserver.rds.aliyuncs.com,3433"
4、通過bulk insert方式(在RDS不可是實現(xiàn),因為不允許上傳文件)
BULK INSERT testdb.dbo.person_in FROM N'D:\trace\bcp.txt' WITH ( CHECK_CONSTRAINTS );
四種方式教你在SQL Server中避免觸發(fā)鏡像SUSPEND,希望對大家的學(xué)習(xí)有所幫助。
相關(guān)文章
SQL Server數(shù)據(jù)表字段自定義自增數(shù)據(jù)格式的方法
這篇文章主要介紹了SQL Server數(shù)據(jù)表字段自定義自增數(shù)據(jù)格式的方法,結(jié)合實例形式分析了SQL Server自增數(shù)據(jù)格式的定義方法與具體實現(xiàn)步驟,需要的朋友可以參考下2016-08-08
SQL 雙親節(jié)點查找所有子節(jié)點的實現(xiàn)方法
下面小編就為大家?guī)硪黄猄QL 雙親節(jié)點查找所有子節(jié)點的實現(xiàn)方法。小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2016-05-05
sqlserver 文件數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫的比較
本文概要地從數(shù)據(jù)格式、數(shù)據(jù)庫結(jié)構(gòu)和WEB發(fā)布數(shù)據(jù)三個方面比較了文件數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫的異同,同時差別了文件數(shù)據(jù)庫和過去存儲數(shù)據(jù)的文件系統(tǒng)的不同2011-10-10
SSMS中出現(xiàn)兩個相同的服務(wù)器名稱的問題解決
在SSMS的【連接到服務(wù)器】頁面,有時候可能會出現(xiàn)多個相同的服務(wù)器名稱本文主要介紹了SSMS中出現(xiàn)兩個相同的服務(wù)器名稱的問題解決,感興趣的可以了解一下2024-05-05
淺談SQL Server中統(tǒng)計對于查詢的影響分析
SQL Server查詢分析器是基于開銷的。通常來講,查詢分析器會根據(jù)謂詞來確定該如何選擇高效的查詢路線,比如該選擇哪個索引2012-05-05
行轉(zhuǎn)列之SQL SERVER PIVOT與用法詳解
這篇文章主要給大家介紹了關(guān)于行轉(zhuǎn)列之SQL SERVER PIVOT與用法的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家學(xué)習(xí)或者使用SQL SERVER具有一定的參考學(xué)習(xí)價值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
SQL?Server新特性SequenceNumber用法介紹
這篇文章介紹了SQL?Server新特性SequenceNumber的用法,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-02-02

