innodb优化后,29小时入库1300万条数据
来源:互联网 发布:js怎么遍历jsonobject 编辑:程序博客网 时间:2024/05/19 05:32
做广告弹窗推广,记录来源ip,url。推广征战四方游戏时,我是没有记录弹窗数的,当时预计是36时1000万IP,机子是8000多块的组装机,我怕mysql撑不起来。这次决定记录一下试试,如果mysql真的撑不起来的话,就用脚本切换成静态的。
一,网络监控图
从上图可以看出,数据大部分都是在白天录入的。
二,数据库数据列表
数据库从推广开始到结束,一直在运行当中,一次没有down机。
- mysql> select count(*) as at from at;
- +---------+
- | at |
- +---------+
- | 1129964 |
- +---------+
- 1 row in set (0.67 sec)
- mysql> select count(*) as gb from gb;
- +---------+
- | gb |
- +---------+
- | 1629177 |
- +---------+
- 1 row in set (0.32 sec)
- mysql> select count(*) as jr from jr;
- +---------+
- | jr |
- +---------+
- | 1820653 |
- +---------+
- 1 row in set (1.01 sec)
- mysql> select count(*) as lg from lg;
- +--------+
- | lg |
- +--------+
- | 592303 |
- +--------+
- 1 row in set (0.32 sec)
- mysql> select count(*) as qd from qd;
- +---------+
- | qd |
- +---------+
- | 1249279 |
- +---------+
- 1 row in set (0.69 sec)
- mysql> select count(*) as xt from xt;
- +---------+
- | xt |
- +---------+
- | 2229205 |
- +---------+
- 1 row in set (1.23 sec)
- mysql> select count(*) as zs from zs;
- +---------+
- | zs |
- +---------+
- | 3992709 |
- +---------+
- 1 row in set (2.39 sec)
- //这里是数据表对应的文件,
- [root@localhost tg]# du -ah
- 9.1M ./sd.ibd
- 85M ./qd.ibd
- 4.0K ./db.opt
- 12K ./bd.frm
- 12K ./zs.frm
- 12K ./jr.frm
- 365M ./zs.ibd
- 45M ./lg.ibd
- 129M ./jr.ibd
- 145M ./xt.ibd
- 81M ./at.ibd
- 113M ./gb.ibd
- 12K ./sd.frm
- 12K ./xt.frm
- 12K ./gb.frm
- 12K ./at.frm
- 12K ./qd.frm
- 96K ./bd.ibd
- 12K ./lg.frm
- 966M .
三,innodb的主要优化
- init_connect='SET autocommit=0' //关闭自动提交,这个对于innodb来说,很重要
- innodb-file-per-table=1 //使用独立表空间
- innodb-open-file=500 //打开最大文件数据是500,默认是300
- innodb_log_file_size=512M //log文件大小
- innodb_log_buffer_size=8M //缓冲日志数据的缓冲区的大小
- innodb_flush_log_at_trx_commit=0 //提交数据等级0是最快,但是有可能会丢数据
- innodb_buffer_pool_size=5G //缓冲池大小,我把它设置内在的65%
- innodb_log_files_in_group=3 //日志文件总数
- innodb_file_io_threads=8 //根cpu核数是一样,读写文件进程数
- event_scheduler=1 //开启动mysql event
- //添加一个mysql event
- CREATE EVENT `commit_event` ON SCHEDULE EVERY 5 MINUTE STARTS '2012-01-04 19:06:26' ON COMPLETION NOT PRESERVE ENABLE DO COMMit
1,自动提交对innodb的影响非常大的,这个我做过测试,请参考,mysql autocommit对myisam,innodb的性能影响.
2,innodb_flush_log_at_trx_commit我把它设置成0,我只要求速度最快,最是统计推广的弹窗,这些数据只是为了我们后期统计和分析用的,没有太大的价值。如果数据很重要就不要设置成0了。
0代表日志只大约每秒写入日志文件并且日志文件刷新到磁盘.
1InnoDB会在每次提交后刷新(fsync)事务日志到磁盘上
2代表日志写入日志文件在每次提交后,但是日志文件只有大约每秒才会刷新到磁盘上.
3,还有一点就是我用了mysql event功能,根linux的crontab差不多,以前没在生产环境中用过mysql event,这次试了一下,还是挺给力的。关于mysql event请参考,mysql event 是什么,有什么用.
- innodb优化后,29小时入库1300万条数据
- MySql Innodb引擎 数据表 上万条数据连续插入优化
- 优化sqlldr加载上100万条记录的数据!
- 从2000万条开房数据优化谈检索
- 优化sqlldr加载上100万条记录的数据!
- 优化sqlldr加载上100万条记录的数据!
- 用Hibernate更新不到9万条数据用了2.5小时
- MySQL在插入90万条数据消耗的时间以及查询90万条数据时的性能优化
- 插入10万条数据
- 处理上百万条数据
- MySql 100万级别数据中随机获取一条或多条记录之RAND()优化
- 中500万大奖后的颠狂24小时
- 《一万小时天才理论》读后整理
- 读后笔记之《怎么练习一万小时》
- 2015-12-2oracle数据删除后,100万的数据只剩10条,查询速度反而变慢
- 如何处理几十万条并发数据?
- 如何处理几十万条并发数据
- 如何处理几十万条并发数据?
- HttpHandler与HttpModule区别
- POJ-1837-Balance-0 1背包
- java环境变量配置
- 一道腾讯面试题
- DP动态规划——最大数字子串
- innodb优化后,29小时入库1300万条数据
- IIS7中Integrated和classic的区别
- 有关Android 访问WCF的有关问题
- request.getParameterValues()用法
- const关键字
- HDU1116(Play on Words)
- 如何控制用户访问数据库
- persistence
- poj Children of the Candy Corn(Bfs + Dfs)