mysql技巧：提高插入數(shù)據(jù)(添加記錄)的速度
更新時間：2014年12月20日 00:54:29 投稿：mdxy-dxy
這篇文章主要介紹了mysql技巧：提高插入數(shù)據(jù)(添加記錄)的速度,需要的朋友可以參考下
問題描述：
普通臺式機，采集數(shù)據(jù)，表中已經(jīng)有>1000萬數(shù)據(jù)量。
采集回來的數(shù)據(jù)插入表中的時候很慢，每條約100毫秒。
解決方法：
1、加大mysql配置中的bulk_insert_buffer_size，這個參數(shù)默認為8M
bulk_insert_buffer_size=100M
2、改寫所有insert語句為insert delayed
這個insert delayed不同之處在于：立即返回結(jié)果，后臺進行處理插入。
還有一個技巧是在一跳insert中插入多條數(shù)據(jù)，類似insert into tablename values('xxx','xxx'),('yyy','yyy'),('zzz','zzz')...;但是在我采集程序中改sql比較麻煩，故未采用
腳本之家小編提醒：
說實話一般主要用于數(shù)據(jù)的采集入庫操作，成熟的cms不建議修改，dedecms是由于本人的系統(tǒng)設(shè)計問題，建議使用商業(yè)版或自行建立索引等，現(xiàn)在大數(shù)據(jù)首選帝國cms或phpcms。
您可能感興趣的文章:
- mysql大批量插入數(shù)據(jù)的4種方法示例
- mysql中迅速插入百萬條測試數(shù)據(jù)的方法
- MySql中把一個表的數(shù)據(jù)插入到另一個表中的實現(xiàn)代碼
- 用一條mysql語句插入多條數(shù)據(jù)
- mysql如果數(shù)據(jù)不存在，則插入新數(shù)據(jù)，否則更新的實現(xiàn)方法
- mysql中插入表數(shù)據(jù)中文亂碼問題的解決方法
- mysql數(shù)據(jù)庫插入速度和讀取速度的調(diào)整記錄
- MYSQL批量插入數(shù)據(jù)的實現(xiàn)代碼
- mysql 一次向表中插入多條數(shù)據(jù)實例講解
- Mysql快速插入千萬條數(shù)據(jù)的實戰(zhàn)教程
相關(guān)文章
這篇文章主要介紹了Mysql數(shù)據(jù)庫的優(yōu)化詳解,查詢優(yōu)化的本質(zhì)是讓數(shù)據(jù)庫優(yōu)化器為SQL語句選擇最佳的執(zhí)行計劃,一般來說，對于在線交易處理(OLTP)系統(tǒng)的數(shù)據(jù)庫，減少數(shù)據(jù)庫磁盤I/O是SQL語句性能優(yōu)化的首要方法,需要的朋友可以參考下2023-07-07
Navicat遠程連接SQL Server并轉(zhuǎn)換成MySQL步驟詳解
最近遇到一個需求是將SQL Server轉(zhuǎn)換為 MySQL的格式，由于不想在本地安裝 SQL Server，所以決定在遠程的 Windows 服務(wù)器上安裝，并在本地使用Navicat遠程連接它，然而在實現(xiàn)過程中遇到了諸多問題，記錄于此。感興趣的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧。2017-01-01
MySQL GRANT用戶授權(quán)的實現(xiàn)
授權(quán)就是為某個用戶賦予某些權(quán)限。MySQL 提供了 GRANT 語句來為用戶設(shè)置權(quán)限。具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-06-06
這篇文章主要給大家介紹了關(guān)于避免MySQL替換邏輯SQL的坑爹操作的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家學(xué)習(xí)或者使用mysql具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2018-03-03
這篇文章主要介紹了的相關(guān)資料,需要的朋友可以參考下2015-10-10
mysql定時任務(wù)(event事件)實現(xiàn)詳解
這篇文章主要介紹了mysql定時任務(wù)(event事件)實現(xiàn)詳解,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-08-08
mysql報1292?Incorrect?datetime?value錯誤的解決方法
這篇文章主要給大家介紹如何解決mysql報1292?Incorrect?datetime?value錯誤，文中有詳細的解決方案，具有一定的參考價值，需要的同學(xué)可以參考閱讀下本文2023-07-07
這篇文章主要介紹了Mysql事務(wù)操作失敗如何解決的相關(guān)資料,需要的朋友可以參考下2017-07-07
隨著互聯(lián)網(wǎng)的發(fā)展,產(chǎn)生了許多新類型的字符,例如emoji這種類型的符號,也就是我們通常在聊天時發(fā)的小黃臉表情,下面這篇文章主要給大家介紹了關(guān)于MySql存儲表情報錯的排查解決,需要的朋友可以參考下2022-07-07
這篇文章主要介紹了MySQL的加密解密的幾種方式(小結(jié))，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03