求数据库大神帮忙

StudyOverseas

欧阳逍遥 发表于 2019-1-1 20:34
python 生成 csv  然后 mysqldump 导入

Python生成csv也是要吃io的啊，而且相当于两次读取：
首先读60万个gz文件，生成csv
然后再sqldump进去60万个文件

StudyOverseas

ibmall 发表于 2019-1-1 21:03
现在一般电脑的性能都不会太差，I/O是瓶颈的不多，更多的瓶颈可能在数据库方面。
具体问题需要具体分析 ...

数据库是本地自建的，远程腾讯云的数据库更慢

ibmall

StudyOverseas 发表于 2019-1-1 21:15
数据库是本地自建的，远程腾讯云的数据库更慢

数据库慢一般在于，创建索引/索引变更/复杂索引/关联关系/异常 等等，你找数据库/开发论坛发帖求助吧，另外，把数据格式/关键点 说清除，否则，没人会费心去猜测

dupit8

对每个文件开启事务，而不是缺省插入，可能会快些。

hehekotete

是不是一行一行读入导致的？
我记得insert和insertmany好像是有一点差距的，更别说commit的位置了。
你给的细节有点少，代码亮出来才知道问题。mysqldump是一个好的选择

dwitns

如果每行字符串是一条sql命令的话，那快不了多少，根据数据库表设计来定
如果只是纯字符串，直接存或者分割下的话，快10倍以上应该是可以的。
程序没写好，io部分要异步的，再加上多线程，跑满硬盘io再说。
你一个文件才2m左右，4秒处理1个怎么能说io跑满了，目前瓶颈肯定不在这里。

word

StudyOverseas 发表于 2019-1-1 20:35
一个任务已经io占满了....

多租2个高IO的VPS是否可行？

醉里耍大刀

用loaddata的方式，批量导入会比直接写入快非常多，另外索引先不要加，写入完了再加

solomon

我就想问一下70万的gz数据库文件有多大？