> 数据库 > MySQL >

innodb优化后，29小时入库1300万条数据

时间:2014-07-06 16:40  来源:linux.it.net.cn   作者:IT网

做广告弹窗推广，记录来源ip,url。推广征战四方游戏时，我是没有记录弹窗数的，当时预计是36时1000万IP，机子是8000多块的组装机，我怕mysql撑不起来。这次决定记录一下试试，如果mysql真的撑不起来的话，就用脚本切换成静态的。

 

一，网络监控图

网络流量监控

网络流量监控

从上图可以看出，数据大部分都是在白天录入的。

二，数据库数据列表

数据库从推广开始到结束，一直在运行当中，一次没有down机。

查看复制打印?
  1. mysql> select count(*) as at from at;  
  2. +---------+  
  3. | at      |  
  4. +---------+  
  5. | 1129964 |  
  6. +---------+  
  7. 1 row in set (0.67 sec)  
  8.   
  9. mysql> select count(*) as gb from gb;  
  10. +---------+  
  11. | gb      |  
  12. +---------+  
  13. | 1629177 |  
  14. +---------+  
  15. 1 row in set (0.32 sec)  
  16.   
  17. mysql> select count(*) as jr from jr;  
  18. +---------+  
  19. | jr      |  
  20. +---------+  
  21. | 1820653 |  
  22. +---------+  
  23. 1 row in set (1.01 sec)  
  24.   
  25. mysql> select count(*) as lg from lg;  
  26. +--------+  
  27. | lg     |  
  28. +--------+  
  29. | 592303 |  
  30. +--------+  
  31. 1 row in set (0.32 sec)  
  32.   
  33. mysql> select count(*) as qd from qd;  
  34. +---------+  
  35. | qd      |  
  36. +---------+  
  37. | 1249279 |  
  38. +---------+  
  39. 1 row in set (0.69 sec)  
  40.   
  41. mysql> select count(*) as xt from xt;  
  42. +---------+  
  43. | xt      |  
  44. +---------+  
  45. | 2229205 |  
  46. +---------+  
  47. 1 row in set (1.23 sec)  
  48.   
  49. mysql> select count(*) as zs from zs;  
  50. +---------+  
  51. | zs      |  
  52. +---------+  
  53. | 3992709 |  
  54. +---------+  
  55. 1 row in set (2.39 sec)  
  56.   
  57. //这里是数据表对应的文件，  
  58. [root@localhost tg]# du -ah  
  59. 9.1M    ./sd.ibd  
  60. 85M    ./qd.ibd  
  61. 4.0K    ./db.opt  
  62. 12K    ./bd.frm  
  63. 12K    ./zs.frm  
  64. 12K    ./jr.frm  
  65. 365M    ./zs.ibd  
  66. 45M    ./lg.ibd  
  67. 129M    ./jr.ibd  
  68. 145M    ./xt.ibd  
  69. 81M    ./at.ibd  
  70. 113M    ./gb.ibd  
  71. 12K    ./sd.frm  
  72. 12K    ./xt.frm  
  73. 12K    ./gb.frm  
  74. 12K    ./at.frm  
  75. 12K    ./qd.frm  
  76. 96K    ./bd.ibd  
  77. 12K    ./lg.frm  
  78. 966M    .  

三，innodb的主要优化

查看复制打印?
  1.  init_connect='SET autocommit=0'    //关闭自动提交，这个对于innodb来说，很重要  
  2.  innodb-file-per-table=1            //使用独立表空间  
  3.  innodb-open-file=500               //打开最大文件数据是500，默认是300  
  4.  innodb_log_file_size=512M          //log文件大小  
  5.  innodb_log_buffer_size=8M          //缓冲日志数据的缓冲区的大小  
  6.  innodb_flush_log_at_trx_commit=0   //提交数据等级0是最快，但是有可能会丢数据  
  7.  innodb_buffer_pool_size=5G         //缓冲池大小，我把它设置内在的65%  
  8.  innodb_log_files_in_group=3        //日志文件总数  
  9.  innodb_file_io_threads=8           //根cpu核数是一样，读写文件进程数  
  10.  event_scheduler=1                  //开启动mysql event  
  11.   
  12. //添加一个mysql event  
  13. CREATE EVENT `commit_event` ON SCHEDULE EVERY 5 MINUTE STARTS '2012-01-04 19:06:26' ON COMPLETION NOT PRESERVE ENABLE DO COMMit  

1,自动提交对innodb的影响非常大的，这个我做过测试，请参考,mysql autocommit对myisam,innodb的性能影响.

2,innodb_flush_log_at_trx_commit我把它设置成0，我只要求速度最快，最是统计推广的弹窗，这些数据只是为了我们后期统计和分析用的，没有太大的价值。如果数据很重要就不要设置成0了。

0代表日志只大约每秒写入日志文件并且日志文件刷新到磁盘.
1InnoDB会在每次提交后刷新(fsync)事务日志到磁盘上
2代表日志写入日志文件在每次提交后,但是日志文件只有大约每秒才会刷新到磁盘上.

3,还有一点就是我用了mysql event功能，根linux的crontab差不多，以前没在生产环境中用过mysql event，这次试了一下，还是挺给力的。关于mysql event请参考，mysql event 是什么，有什么用.

(责任编辑：IT)
    最近关注
    热点内容