目錄
- 前期準(zhǔn)備
- 實(shí)現(xiàn)方法：
- 1、單條數(shù)據(jù)插入
- 2、合并數(shù)據(jù)插入
- 3、MySqlBulkLoader插入
- 性能測(cè)試對(duì)比
- 最后
前期準(zhǔn)備
訂單測(cè)試表
CREATE TABLE `trade` (
`id` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',
`trade_no` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',
UNIQUE INDEX `id` (`id`),
INDEX `trade_no` (`trade_no`)
)
COMMENT='訂單'
COLLATE='utf8_unicode_ci'
ENGINE=InnoDB;
測(cè)試環(huán)境
操作系統(tǒng)：Window 10 專業(yè)版
CPU：Inter(R) Core(TM) i7-8650U CPU @1.90GHZ 2.11 GHZ
內(nèi)存：16G
MySQL版本：5.7.26
實(shí)現(xiàn)方法：
1、單條數(shù)據(jù)插入
這是最普通的方式，通過(guò)循環(huán)一條一條的導(dǎo)入數(shù)據(jù)，這個(gè)方式的缺點(diǎn)很明顯就是每一次都需要連接一次數(shù)據(jù)庫(kù)。
實(shí)現(xiàn)代碼：
//開始時(shí)間
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
conn.Open();
//插入10萬(wàn)數(shù)據(jù)
for (var i = 0; i 100000; i++)
{
//插入
var sql = string.Format("insert into trade(id,trade_no) values('{0}','{1}');",
Guid.NewGuid().ToString(), "trade_" + (i + 1)
);
var sqlComm = new MySqlCommand();
sqlComm.Connection = conn;
sqlComm.CommandText = sql;
sqlComm.ExecuteNonQuery();
sqlComm.Dispose();
}
conn.Close();
}
//完成時(shí)間
var endTime = DateTime.Now;
//耗時(shí)
var spanTime = endTime - startTime;
Console.WriteLine("循環(huán)插入方式耗時(shí)：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");
10萬(wàn)條測(cè)試耗時(shí)：
上面的例子，我們是批量導(dǎo)入10萬(wàn)條數(shù)據(jù)，需要連接10萬(wàn)次數(shù)據(jù)庫(kù)。我們把SQL語(yǔ)句改為1000條拼接為1條，這樣就能減少數(shù)據(jù)庫(kù)連接，實(shí)現(xiàn)代碼修改如下：
//開始時(shí)間
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
conn.Open();
//插入10萬(wàn)數(shù)據(jù)
var sql = new StringBuilder();
for (var i = 0; i 100000; i++)
{
//插入
sql.AppendFormat("insert into trade(id,trade_no) values('{0}','{1}');",
Guid.NewGuid().ToString(), "trade_" + (i + 1)
);
//合并插入
if (i % 1000 == 999)
{
var sqlComm = new MySqlCommand();
sqlComm.Connection = conn;
sqlComm.CommandText = sql.ToString();
sqlComm.ExecuteNonQuery();
sqlComm.Dispose();
sql.Clear();
}
}
conn.Close();
}
//完成時(shí)間
var endTime = DateTime.Now;
//耗時(shí)
var spanTime = endTime - startTime;
Console.WriteLine("循環(huán)插入方式耗時(shí)：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");
10萬(wàn)條測(cè)試耗時(shí)：
通過(guò)優(yōu)化后，原本需要10萬(wàn)次連接數(shù)據(jù)庫(kù)，只需連接100次。從最終運(yùn)行效果看，由于數(shù)據(jù)庫(kù)是在同一臺(tái)服務(wù)器，不涉及網(wǎng)絡(luò)傳輸，性能提升不明顯。
2、合并數(shù)據(jù)插入
在MySQL同樣也支持，通過(guò)合并數(shù)據(jù)來(lái)實(shí)現(xiàn)批量數(shù)據(jù)導(dǎo)入。實(shí)現(xiàn)代碼：
//開始時(shí)間
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
conn.Open();
//插入10萬(wàn)數(shù)據(jù)
var sql = new StringBuilder();
for (var i = 0; i 100000; i++)
{
if (i % 1000 == 0)
{
sql.Append("insert into trade(id,trade_no) values");
}
//拼接
sql.AppendFormat("('{0}','{1}'),", Guid.NewGuid().ToString(), "trade_" + (i + 1));
//一次性插入1000條
if (i % 1000 == 999)
{
var sqlComm = new MySqlCommand();
sqlComm.Connection = conn;
sqlComm.CommandText = sql.ToString().TrimEnd(',');
sqlComm.ExecuteNonQuery();
sqlComm.Dispose();
sql.Clear();
}
}
conn.Close();
}
//完成時(shí)間
var endTime = DateTime.Now;
//耗時(shí)
var spanTime = endTime - startTime;
Console.WriteLine("合并數(shù)據(jù)插入方式耗時(shí)：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");
10萬(wàn)條測(cè)試耗時(shí)：
通過(guò)這種方式插入操作明顯能夠提高程序的插入效率。雖然第一種方法通過(guò)優(yōu)化后，同樣的可以減少數(shù)據(jù)庫(kù)連接次數(shù)，但第二種方法：合并后日志量(MySQL的binlog和innodb的事務(wù)讓日志)減少了，降低日志刷盤的數(shù)據(jù)量和頻率，從而提高效率。同時(shí)也能減少SQL語(yǔ)句解析的次數(shù)，減少網(wǎng)絡(luò)傳輸?shù)腎O。
3、MySqlBulkLoader插入
MySQLBulkLoader也稱為L(zhǎng)OAD DATA INFILE，它的原理是從文件讀取數(shù)據(jù)。所以我們需要將我們的數(shù)據(jù)集保存到文件，然后再?gòu)奈募锩孀x取。
實(shí)現(xiàn)代碼：
//開始時(shí)間
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
conn.Open();
var table = new DataTable();
table.Columns.Add("id", typeof(string));
table.Columns.Add("trade_no", typeof(string));
//生成10萬(wàn)數(shù)據(jù)
for (var i = 0; i 100000; i++)
{
if (i % 500000 == 0)
{
table.Rows.Clear();
}
//記錄
var row = table.NewRow();
row[0] = Guid.NewGuid().ToString();
row[1] = "trade_" + (i + 1);
table.Rows.Add(row);
//50萬(wàn)條一批次插入
if (i % 500000 != 499999 i (100000 - 1))
{
continue;
}
Console.WriteLine("開始插入:" + i);
//數(shù)據(jù)轉(zhuǎn)換為csv格式
var tradeCsv = DataTableToCsv(table);
var tradeFilePath = System.AppDomain.CurrentDomain.BaseDirectory + "trade.csv";
File.WriteAllText(tradeFilePath, tradeCsv);
#region 保存至數(shù)據(jù)庫(kù)
var bulkCopy = new MySqlBulkLoader(conn)
{
FieldTerminator = ",",
FieldQuotationCharacter = '"',
EscapeCharacter = '"',
LineTerminator = "\r\n",
FileName = tradeFilePath,
NumberOfLinesToSkip = 0,
TableName = "trade"
};
bulkCopy.Columns.AddRange(table.Columns.CastDataColumn>().Select(colum => colum.ColumnName).ToList());
bulkCopy.Load();
#endregion
}
conn.Close();
}
//完成時(shí)間
var endTime = DateTime.Now;
//耗時(shí)
var spanTime = endTime - startTime;
Console.WriteLine("MySqlBulk方式耗時(shí)：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");
10萬(wàn)條測(cè)試耗時(shí)：
注意：MySQL數(shù)據(jù)庫(kù)配置需開啟：允許文件導(dǎo)入。配置如下：
secure_file_priv=
性能測(cè)試對(duì)比
針對(duì)上面三種方法，分別測(cè)試10萬(wàn)、20萬(wàn)、100萬(wàn)、1000萬(wàn)條數(shù)據(jù)記錄，最終性能入如下：
最后
通過(guò)測(cè)試數(shù)據(jù)看，隨著數(shù)據(jù)量的增大，MySqlBulkLoader的方式表現(xiàn)依舊良好，其他方式性能下降比較明顯。MySqlBulkLoader的方式完全可以滿足我們的需求。
以上就是.Net Core導(dǎo)入千萬(wàn)級(jí)數(shù)據(jù)至Mysql的步驟的詳細(xì)內(nèi)容，更多關(guān)于導(dǎo)入千萬(wàn)級(jí)數(shù)據(jù)至Mysql的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
您可能感興趣的文章:- .Net Core導(dǎo)入千萬(wàn)級(jí)數(shù)據(jù)至Mysql數(shù)據(jù)庫(kù)的實(shí)現(xiàn)方法
- 詳解MySQL數(shù)據(jù)庫(kù)千萬(wàn)級(jí)數(shù)據(jù)查詢和存儲(chǔ)
- mysql千萬(wàn)級(jí)數(shù)據(jù)量根據(jù)索引優(yōu)化查詢速度的實(shí)現(xiàn)
- MySQL循環(huán)插入千萬(wàn)級(jí)數(shù)據(jù)
- MySQL 千萬(wàn)級(jí)數(shù)據(jù)量如何快速分頁(yè)
- mysql千萬(wàn)級(jí)數(shù)據(jù)分頁(yè)查詢性能優(yōu)化
- mysql千萬(wàn)級(jí)數(shù)據(jù)大表該如何優(yōu)化?
- MySQL單表千萬(wàn)級(jí)數(shù)據(jù)處理的思路分享
