mysql高效導(dǎo)數(shù)據(jù)的方法講解
更新時(shí)間：2013年09月28日 21:06:00 作者：
模擬現(xiàn)網(wǎng)測(cè)試，需要搭建測(cè)試環(huán)境，導(dǎo)入上億級(jí)的數(shù)據(jù)到數(shù)據(jù)庫。對(duì)于到的問題做些簡單記錄，有需要的朋友可以參考一下
數(shù)據(jù)：一個(gè)db，2000個(gè)表格，2000張表格數(shù)據(jù)，每條記錄30個(gè)column，平均每張表格4.3w條記錄，總共86388670條記錄。
機(jī)器：linux 64bit 8G內(nèi)存 4核IntelX3320@2.5GHz
基本思路：
mysql -utest -pxxxx -s -e "source xxxx.sql"
將load語句放在xxxx.sql中
load語法：
load data [low_priority] [local] infile 'file_name.txt' [replace | ignore]
如果串行導(dǎo)入數(shù)據(jù)，會(huì)很慢，考慮并行，但可能有沖突，解決辦法：
load之前清空表
truncate table xxxx 或 delete from table xxxx;
或使用replace或ignore關(guān)鍵字。
機(jī)器：linux 64bit 8G內(nèi)存 4核IntelX3320@2.5GHz
基本思路：
復(fù)制代碼 代碼如下:
mysql -utest -pxxxx -s -e "source xxxx.sql"
將load語句放在xxxx.sql中
load語法：
復(fù)制代碼 代碼如下:
load data [low_priority] [local] infile 'file_name.txt' [replace | ignore]
如果串行導(dǎo)入數(shù)據(jù)，會(huì)很慢，考慮并行，但可能有沖突，解決辦法：
load之前清空表
復(fù)制代碼 代碼如下:
truncate table xxxx 或 delete from table xxxx;
或使用replace或ignore關(guān)鍵字。
相關(guān)文章
這篇文章主要介紹了詳解MySQL主從不一致情形與解決方法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-04-04
MySQL中sleep函數(shù)的特殊現(xiàn)象示例詳解
這篇文章主要給大家介紹了關(guān)于MySQL中sleep函數(shù)特殊現(xiàn)象的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者使用MySQL具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
MySQL8.0內(nèi)存相關(guān)參數(shù)總結(jié)
這篇文章主要介紹了MySQL8.0內(nèi)存相關(guān)參數(shù)總結(jié)，幫助大家更好的理解和學(xué)習(xí)mysql，感興趣的朋友可以了解下2020-08-08
升級(jí)到mysql-connector-java8.0.27的注意事項(xiàng)
這篇文章主要介紹了升級(jí)到mysql-connector-java8.0.27的注意事項(xiàng),凡是升級(jí)總會(huì)碰到點(diǎn)問題，換了連接器后部署果然報(bào)錯(cuò)了，下面小編給大家分享解決方法，需要的朋友可以參考下2021-12-12
mysql數(shù)據(jù)庫數(shù)據(jù)批量插入的實(shí)現(xiàn)
本文介紹了在MySQL數(shù)據(jù)庫中進(jìn)行數(shù)據(jù)批量插入和性能測(cè)試的方法,包括使用Navicat批量插入數(shù)據(jù)、編寫SQL測(cè)試、索引的創(chuàng)建和使用、查詢測(cè)試以及提升SQL性能的優(yōu)化方法,感興趣的可以參考一下2024-11-11
mysql 記錄不存在時(shí)插入 記錄存在則更新的實(shí)現(xiàn)方法
相信很多人都需要用到這個(gè)語句，請(qǐng)看下文:(在4.1以后的版本才有效)2008-08-08
這篇文章主要介紹了mysql中的字符集和校驗(yàn)規(guī)則的相關(guān)資料，幫助大家更好的理解和學(xué)習(xí)MySQL，感興趣的朋友可以了解下2020-12-12
在MySQL執(zhí)行UPDATE語句時(shí)遇到的錯(cuò)誤1175的解決方案
MySQL安全更新模式（SafeUpdateMode）限制了UPDATE和DELETE操作,要求使用WHERE子句時(shí)必須基于主鍵或索引列,或者使用LIMIT限制行數(shù),若SQL語句未滿足這些條件,會(huì)觸發(fā)錯(cuò)誤1175,本文介紹在MySQL執(zhí)行UPDATE語句時(shí)遇到的錯(cuò)誤1175的解決方案,感興趣的朋友一起看看吧2025-02-02
這篇文章主要介紹了MySQL?Varchar?類型尾部空格,在這里需要注意的是?binary?排序規(guī)則的?pad?屬性為?NO?PAD，這里其實(shí)不是個(gè)例外，因?yàn)?char、varchar?和?text?類型都?xì)w類為?nonbinary，感興趣的朋友跟隨小編一起學(xué)習(xí)下吧2022-04-04
MySQL數(shù)據(jù)庫遭到攻擊篡改(使用備份和binlog進(jìn)行數(shù)據(jù)恢復(fù))
這篇文章主要介紹了MySQL數(shù)據(jù)庫遭到攻擊篡改(使用備份和binlog進(jìn)行數(shù)據(jù)恢復(fù)),需要的朋友可以參考下2016-04-04