关于事务开启与否对数据库插入数据所需时间的影响的讨论

企鹅博客
企鹅博客
企鹅博客
25193
文章
0
评论
2020年10月6日09:47:14 评论 7 views 1781字阅读5分56秒

最近在做sqlite3的二次开发,看到API里面关于事务的时候,萌生了测试一下事务的开启与否对插入数据所需要的时间影响的想法,根据sqlite3的api,在后面测试的时候发现对于sqlite3来说事务的开启与否仅插入1w条数据,时间的差距就已经非常非常明显了,先说下测试环境:Ubuntu 12.04, sqlite3 3.7.14.1,测试插入1w条数据。

   

    不开启事务时的测试代码如下:

   

    int insert_no_trans()

    {

   

    printf("<---------------------> \n"

            "go into function insert_no_trans()\n");

 

    int j = 0;

    for (j = 0; j < 10000; j++)

    {

        sprintf(sql, "INSERT INTO [dev] ([id], [name], [age])\

                values (%d, '%s', %d)", j, "JGood", j);

        if(SQLITE_OK != sqlite3_exec

                (conn, sql, 0, 0, &err_msg))

        {

            fprintf(stderr, "INSERT ERROR: %s\n", err_msg);

            exit(EXIT_FAILURE);

        }

       

    }

    printf("INSERT all succussfully!\n");

 

    printf("function insert_no_trans() end. \n"

            "<---------------------> \n");

 

    return EXIT_SUCCESS;

    }

   

   

    开启事务的测试代码如下:

    int insert_with_trans()

    {

   

    printf("<---------------------> \n"

            "go into function insert_with_trans()\n");

 

    sqlite3_exec(conn, "begin;", 0, 0, 0);  //开启事务

 

    int j = 0;

    for (j = 0; j < 10000; j++)

    {

        sprintf(sql, "INSERT INTO [dev] ([id], [name], [age])\

                values (%d, '%s', %d)", j, "JGood", j);

        if(SQLITE_OK != sqlite3_exec(conn, sql, 0, 0, &err_msg))

        {

            is_succeed = false; //失败之后把标识设为false

            fprintf(stderr, "INSERT ERROR: %s\n", err_msg);

            break;

        }

       

    }

 

    if(is_succeed)

        sqlite3_exec(conn, "commit;", 0, 0, 0); //提交事务

    else

    {

        sqlite3_exec(conn, "rollback;", 0, 0, 0); //回滚事务

        exit(EXIT_FAILURE);

    }

 

    printf("INSERT all succussfully!\n");

 

    printf("function insert_with_trans() end. \n"

            "<---------------------> \n");

 

    return EXIT_SUCCESS;

    }

 

    测试结果大跌眼镜,时间测试我用的是linux的time命令,在开启了事务的情况下插入1w条数据的时间仅为0.4s,而在不开启事务的情况下,由于时间太长,没有等其执行完,根据.db文件的大小和已经使用的时间推测,假设单位时间插入同样多条数据,推算出来的时间高达18分钟。这已经不在一个数量级了,google了一下这个问题,看到网上有人对此是这么解释的,如果未启用事务,sqlite会每插入一条数据,就往磁盘上面写一次,在整个执行过程中我也观察到未开启事务时程序执行期间硬盘灯一直是亮的,这也映证了这一点。而在开启事务的情况下,其应该是在对数据全部处理完之后才需要执行一次IO操作,时间自然非常快。

继续阅读
NUMA导致的Oracle性能问题 Linux-数据库

NUMA导致的Oracle性能问题

背景简介: Oracle版本:11.2.0.4   OS 版本:OEL5.8 在一次Oracle的Dataguard正常switchover过程中,遇到了一个极其诡异的问题,一条主业务的SQL语句在新...
Oracle中IP地址和掩码转换成CIDR格式 Linux-数据库

Oracle中IP地址和掩码转换成CIDR格式

遇到的问题如下:数据库中存储了IP地址,以及IP地址掩码,需要将他们转化成CIDR格式的,并且不仅仅是将掩码转化成CIDR对应的数字的问题,需要将原有的IP地址转化成对应的网络地址,例如IP地址是58...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: