关于批量插入数据有没有好的办法

问题背景:

因为要构造一个百万级设备数量的数据中心模拟器,一个设备对象的属性基本都大于10个,插入的数据量超大。

type Server struct{
    SN       string
    IPV4     string
    IPV6     string
    Nic      string
    Location string
    ...
    ...
    ...
}

目前采用拼sql的方法

INSERT INTO Server(n1, n2, n3) VALUES (?, ?, ?),(?, ?, ?),(?, ?, ?) append (?,?,?)....

但是sql有长度限制,得根据不同表单行插入语句长度去做切割语句的判断,非常麻烦

请教大神们有没有更好的办法处理这种需求。

已邀请:

joy

赞同来自:

如果数据量大,可以使用prepare statement,效率更高

tsingson

赞同来自:

从文件 load data 最快

xiaoma

赞同来自:

没有重复,用pgsql的copy

gosky

赞同来自:

是不是可以换个数据库 比如mongodb

要回复问题请先登录注册