CSV 文件
我有一个大小约为 1.3 GB 的 CSV 文件:
Mode LastWriteTime Length Name
---- ------------- ------ ----
-a---- 10/4/2021 1:23 PM 1397998768 XBTUSD.csv
这是 Kraken 交易所上比特币交易数据的完整列表。
CSV 中的数据如下所示:
> Get-Content .\XBTUSD.csv | Select-Object -First 10
1381095255,122.00000,0.10000000
1381179030,123.61000,0.10000000
1381201115,123.91000,1.00000000
1381201115,123.90000,0.99160000
1381210004,124.19000,1.00000000
1381210004,124.18000,1.00000000
1381311039,124.01687,1.00000000
1381311093,124.01687,1.00000000
1381311094,123.84000,0.82300000
1381431835,125.85000,1.00000000
有关该文件的更多信息可在此处找到:
https://support.kraken.com/hc/en-us/articles/360047543791-Downloadable-historical-market-data-time-and-sales
该文件可以从这里下载:
https://drive.google.com/drive/folders/1jI3mZvrPbInNAEaIOoMbWvFfgRDZ44TT
查看文件XBT.zip
。该档案里面是XBTUSD.csv
.
基线测试-直接导入到sqlite中
如果我在 sqlite 中创建下表:
CREATE TABLE CsvTrades (
"TimeStamp" TEXT NOT NULL,
"Price" TEXT NOT NULL,
"Volume" TEXT NOT NULL
);
并运行以下命令导入 CSV(以及所需时间):
$a = Get-Date
sqlite3.exe .\kraken-trades.db -cmd '.mode csv' '.import C:/Users/dharm/XBTUSD.csv CsvTrades'
$b = Get-Date
($b - $a).TotalMinutes
我得到以下信息:
1.56595191666667
1.5 分钟。不错!
使用 EF Core
在下面的代码中,我使用的是CsvHelper
包裹:
https://joshclose.github.io/CsvHelper/getting-started/
这是 CSV 文件行的类:
public class CsvRow
{
[CsvHelper.Configuration.Attributes.Index(0)]
public long TimeStamp { get; set; }
[CsvHelper.Configuration.Attributes.Index(1)]
public decimal Price { get; set; }
[CsvHelper.Configuration.Attributes.Index(2)]
public decimal Quantity { get; set; }
}
这是一堂课Trade
entity:
[Index(nameof(TimeStamp))]
public class Trade
{
public int Id { get; set; }
public decimal Price { get; set; }
public decimal Quantity { get; set; }
public DateTime TimeStamp { get; set; }
}
The DbContext
很简单:
public class AppContext : DbContext
{
public DbSet<Trade> Trades { get; set; }
protected override void OnConfiguring(DbContextOptionsBuilder optionsBuilder)
{
var folder = Environment.SpecialFolder.LocalApplicationData;
var path = Environment.GetFolderPath(folder);
var db_path = $"{path}{System.IO.Path.DirectorySeparatorChar}kraken-trades.db";
optionsBuilder.UseSqlite($"Data Source={db_path}");
}
}
最后是执行导入的函数:
void initialize_from_csv()
{
var config = new CsvConfiguration(CultureInfo.InvariantCulture)
{
HasHeaderRecord = false
};
using (var reader = new StreamReader(@"C:\Users\dharm\XBTUSD.csv"))
using (var csv = new CsvReader(reader, config))
{
var records = csv.GetRecords<CsvRow>().Select(row => new Trade()
{
Price = row.Price,
Quantity = row.Quantity,
TimeStamp = DateTimeOffset.FromUnixTimeSeconds(row.TimeStamp).UtcDateTime
});
using (var db = new AppContext())
{
Console.WriteLine(DateTime.Now);
while (true)
{
//var items = records.Take(10_000).ToList();
var items = records.Take(100_000).ToList();
if (items.Any() == false) break;
Console.WriteLine("{0:yyyy-MM-dd}", items[0].TimeStamp);
db.AddRange(items);
db.SaveChanges();
}
Console.WriteLine(DateTime.Now);
}
}
}
问题
当我让它运行时,它确实继续将项目添加到数据库中。然而,它的速度相当慢;我没有计算完成时间,但我可以看到它需要一个多小时。
有没有好的方法可以在仍然使用 EF Core 的情况下加快速度?
Notes
上面引用的代码可以在单个文件中找到:
https://github.com/dharmatech/kraken-trades-database/blob/003-minimal/KrakenTradesDatabase/Program.cs
这是一个 .NET 6 项目。如果您在构建和运行它时遇到任何问题,请告诉我。
Timing
我添加了一些代码来计时批次添加的时间。看起来每 100,000 条记录大约需要 7 秒。
Starting batch at 2013-10-06. Batch took 00:00:08.7689932.
Starting batch at 2015-12-08. Batch took 00:00:06.7453421.
Starting batch at 2016-04-19. Batch took 00:00:06.7833506.
Starting batch at 2016-06-25. Batch took 00:00:06.7083806.
Starting batch at 2016-08-22. Batch took 00:00:06.7826717.
Starting batch at 2016-11-20. Batch took 00:00:06.4212123.
wc
说有 41,695,261 行:
$ wc -l XBTUSD.csv
41695261 XBTUSD.csv
按照这个速度,大约需要 48 分钟。
为什么选择 EF Core?
有人问,为什么要使用 EF Core 呢?为什么不直接导入呢?
上面的示例被有意简化,以重点关注导入速度。
我有更详细的版本,其中与其他实体有关系。在这种情况下:
例如,请参阅此分支,其中导入了多个符号。之间有一个关系Trade
and Symbol
那里。还可能存在其他关系。
https://github.com/dharmatech/kraken-trades-database/blob/006/KrakenTradesDatabase/Program.cs