介绍MySQL两种表存储结构性能比较测试过程

    作者:课课家教育更新于: 2015-11-14 23:00:10

    大神带你学编程,欢迎选课

    欢迎来到小编的文章进行学习阅读,想必大家又有很多问题吧,在这里会有你想要收获的答案,请大家慢慢学习吧。excel教学

    MySQL支持的两种主要表存储格式MyISAM,InnoDB,上个月做个项目时,先使用了InnoDB,结果速度特别慢,1秒钟只能插入10几条。后来换成MyISAM格式,一秒钟插入上万条。当时觉的这两个表的性能也差别太大了吧。后来自己推测,不应该差别这么慢,估计是写的插入语句有问题,决定做个测试:
    测试环境:Redhat Linux9,4CPU,内存2G,MySQL版本为4.1.6-gamma-standard
    测试程序:Python+Python-MySQL模块。
    测试方案:
    1、MyISAM格式分别测试,事务和不用事务两种情况:
    2、InnoDB格式分别测试AutoCommit=1(不用begin transaction和用begin transaction模式),AutoCommit=0 (不用begin transaction和用begin transaction模式)四种情况。
    测试方法为插入10000条记录。为了测试不互相影响,单独建立了专用的测试表,建表语句如下:
    1、MyISAM不用事务表:

    以下为引用的内容:
    CREATE TABLE `MyISAM_NT` (
    `TableId` int(11) NOT NULL default '0',
    `TableString` varchar(21) NOT NULL default ''
    ) ENGINE=MyISAM;


    2、MyISAM用事务表:

    以下为引用的内容:
    CREATE TABLE `MyISAM_TS` (
    `TableId` int(11) NOT NULL default '0',
    `TableString` varchar(21) NOT NULL default ''
    ) ENGINE=MyISAM;


    3、InnoDB关闭AutoCommit,不用事务:

    以下为引用的内容:
    CREATE TABLE `INNODB_NA_NB` (
    `TableId` int(11) NOT NULL default '0',
    `TableString` varchar(21) NOT NULL default ''
    ) ENGINE=InnoDB;


    4、InnoDB关闭AutoCommit,用事务:

    以下为引用的内容:
    CREATE TABLE `INNODB_NA_BE` (
    `TableId` int(11) NOT NULL default '0',
    `TableString` varchar(21) NOT NULL default ''
    ) ENGINE=InnoDB;


    5、InnoDB开启AutoCommit,不用事务:

    以下为引用的内容:
    CREATE TABLE `INNODB_AU_NB` (
    `TableId` int(11) NOT NULL default '0',
    `TableString` varchar(21) NOT NULL default ''
    ) ENGINE=InnoDB;


    6、InnoDB开启AutoCommit,用事务:

    以下为引用的内容:
    CREATE TABLE `INNODB_AU_BE` (
    `TableId` int(11) NOT NULL default '0',
    `TableString` varchar(21) NOT NULL default ''
    ) ENGINE=InnoDB;
    测试的Python脚本如下:
    #!/usr/bin/env Python
    '''


    MyISAM,InnoDB性能比较
    作者:空心菜(Invalid)
    时间:2004-10-22

    以下为引用的内容:
    '''
    import MySQLdb
    import sys
    import os
    import string
    import time
    c = None
    testtables = [("MyISAM_NT",None,0),
    ("MyISAM_TS",None,1),
    ("INNODB_NA_NB",0,0),
    ("INNODB_NA_BE",0,1),
    ("INNODB_AU_NB",1,0),
    ("INNODB_AU_BE",1,1)
    ]
    def BeginTrans():
    print "ExecSQL:BEGIN;"
    c.execute("BEGIN;")
    return
    def Commit():
    print "ExecSQL:COMMIT;"
    c.execute("COMMIT;")
    return
    def AutoCommit(flag):
    print "ExecSQL:Set AUTOCOMMIT = "+str(flag)
    c.execute("Set AUTOCOMMIT = "+str(flag))
    return
    def getcount(table):
    #print "ExecSQL:select count(*) from "+table
    c.execute("select count(*) from "+table)
    return c.fetchall()[0][0]
    def AddTable (Table,TableId,TableString):
    sql = "INSERT INTO "+Table+"(TableId, TableString) VALUES( "+ TableId+ ",'" + TableString +"')"
    try:
    c.execute(sql)
    except MySQLdb.OperationalError,error:
    print "AddTable Error:",error
    return -1;
    return c.rowcount
    def main():
    argv = sys.argv
    if len(argv) < 2:
    print 'Usage:',argv[0],' TableId TestCount \\\\n'
    sys.exit(1)
    global c #MySQL访问cursor
    db_host = "localhost"
    db_name = "demo"
    db_user = "root"
    db_user_passwd = ""
    print "Config:[%s %s/%s %s] DB\\\\n"%(db_host,db_user,db_user_passwd,db_name)
    if len(argv) > 2:
    tableid = argv[1]
    testcount = int(argv[2]) #
    for test in testtables:

    excel基础教程

    well高级语言的出现使得计算机程序设计语言不再过度地依赖某种特定的机器或环境。这是因为高级语言在不同的平台上会被编译成不同的机器语言,而不是直接被机器执行。最早出现的编程语言之一FORTRAN的一个主要目标,就是实现平台独立。[1]
    虽然大多数的语言可以既可被编译又可被解译,但大多数仅在一种情况下能够良好运行。在一些编程系统中,程序要经过几个阶段的编译,一般而言,后阶段的编译往往更接近机器语言。这种常用的使用技巧最早在1960年代末用于BCPL,编译程序先编译一个叫做“0代码”的转换程序(representation),然后再使用虚拟器转换到可以运行于机器上的真实代码。这种成功的技巧之后又用于Pascal和P-code,以及Smalltalk和二进制码,在很多时候,中间过渡的代码往往是解译,而不是编译的。[1]
    如果所使用的翻译的机制是将所要翻译的程序代码作为一个整体翻译,并之后运行内部格式,那么这个翻译过程就被成为编译。因此,一个编译器是一个将人可阅读的程序文本(叫做源代码)作为输入的数据,然后输出可执行文件(object code)。所输出的可执行文件可以是机器语言,由计算机的中央处理器直接运行,或者是某种模拟器的二进制代码。[1]
    如果程序代码是在运行时才即时翻译,那么这种翻译机制就被称作直译。经直译的程序运行速度往往比编译的程序慢,但往往更具灵活性,因为它们能够与执行环境互相作用。[1]

     


    #每次操作前都重写建立数据库连接

    以下为引用的内容:
    try:
    mdb = MySQLdb.connect(db_host, db_user, db_user_passwd, db_name)
    except MySQLDb.OperationalError,error:
    print "Connect MySQL[%s %s/%s %s] DB Error:"%(db_host,db_user,db_user_passwd,db_name),error,"\\\\n"
    sys.exit(1)
    else:
    c = mdb.cursor()
    table,autocommit,trans = test
    starttime = time.time()
    print table," ",time.strftime("%y-%m-%d %H:%M:%S",time.localtime())
    if autocommit != None:
    AutoCommit(autocommit)
    if trans == 1:
    BeginTrans()
    for i in xrange(testcount):
    tablestring = "%020d"%i
    if (AddTable(table,tableid,tablestring)<1):
    print "AddTable Error",tablestring
    if trans == 1:
    Commit()
    print time.strftime("%y-%m-%d %H:%M:%S",time.localtime())
    endtime = time.time()
    usedtime = endtime-starttime
    print table,"count:",getcount(table)," used time:",usedtime
    c.close()
    mdb.close()
    if __name__ == '__main__':
    main()
    测试结果如下:
    Config:[localhost root/ demo] DB
    MyISAM_NT 04-10-22 16:33:24
    04-10-22 16:33:26
    MyISAM_NT count: 10000 used time: 2.1132440567
    MyISAM_TS 04-10-22 16:33:26
    ExecSQL:BEGIN;
    ExecSQL:COMMIT;
    04-10-22 16:33:29
    MyISAM_TS count: 10000 used time: 2.65475201607
    INNODB_NA_NB 04-10-22 16:33:29
    ExecSQL:Set AUTOCOMMIT = 0
    04-10-22 16:33:31
    INNODB_NA_NB count: 10000 used time: 2.51947999001
    INNODB_NA_BE 04-10-22 16:33:31
    ExecSQL:Set AUTOCOMMIT = 0
    ExecSQL:BEGIN;
    ExecSQL:COMMIT;
    04-10-22 16:33:35
    INNODB_NA_BE count: 10000 used time: 3.85625100136
    INNODB_AU_NB 04-10-22 16:33:35
    ExecSQL:Set AUTOCOMMIT = 1
    04-10-22 16:34:19
    INNODB_AU_NB count: 10000 used time: 43.7153041363
    INNODB_AU_BE 04-10-22 16:34:19
    ExecSQL:Set AUTOCOMMIT = 1
    ExecSQL:BEGIN;
    ExecSQL:COMMIT;
    04-10-22 16:34:22
    INNODB_AU_BE count: 10000 used time: 3.14328193665


    结论:
    由此得知影响速度的主要原因是AUTOCOMMIT默认设置是打开的,
    我当时的程序没有显式调用BEGIN;开始事务,导致每插入一条都自动Commit,严重影响了速度。
    算来也是个低级错误!
    相关参考:
    http://dev.mysql.com/doc/MySQL/en/COMMIT.html
    http://dev.mysql.com/doc/MySQL/en/InnoDB_and_AUTOCOMMIT.html excel教程

    更多视频课程文章的课程,可到课课家官网查看。我在等你哟。

课课家教育

未登录

1