博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
如何提高Pentaho Kettle的MySQL写入速度
阅读量:6426 次
发布时间:2019-06-23

本文共 780 字,大约阅读时间需要 2 分钟。

版权声明:本文为博主原创文章,未经博主允许不得转载。欢迎访问我的博客 https://blog.csdn.net/smooth00/article/details/69389424

使用Kettle的初期,一般只是关注Tranaction如何实现功能,对连接参数可以说基本不关注,其实这里面隐含一些性能问题,如果不熟悉这些性能参数,要想提高性能还真的不容易。

参考1:http://julienhofstede.blogspot.nl/2014/02/increase-mysql-output-to-80k-rowssecond.html

参考2:http://forums.pentaho.com/showthread.php?142217-Table-Output-Performance-MySQL#9

通过在要插入mysql的数据库连接参数中配置以下参数,就可以大量提高mysql数据批量插入的速度:

1、这是因为在数据库连接参数中配置了以下两个MySQL特定选项:

useServerPrepStmts = false

rewriteBatchedStatements = true

将会使大批量单条插入语句:

INSERT INTO t (c1,c2) VALUES ('One',1);

INSERT INTO t (c1,c2) VALUES ('Two',2);
INSERT INTO t (c1,c2) VALUES ('Three',3);

改写成真正的批量插入语句:

INSERT INTO t (c1,c2) VALUES ('One',1),('Two',2),('Three',3);

2、通过设置MySQL如下连接参数:

useCompression=true

可以实现压缩传输,优化客户端和MySQL服务器之间的通信性能。

你可能感兴趣的文章
框架源码系列二:手写Spring-IOC和Spring-DI(IOC分析、IOC设计实现、DI分析、DI实现)...
查看>>
PHP:第二章——PHP中的break一continue一return语句
查看>>
asp.net编译 懒人脚本
查看>>
二分答案经典入门题:)
查看>>
Permutations II
查看>>
火狐开发版使用说明
查看>>
[Git] Git 文件归档, include submodule
查看>>
[Android Pro] Swift 3.0多线程
查看>>
hdu 4351 Digital root
查看>>
LA 2797 Monster Trap (Simple Geometry && Floyd)
查看>>
谁拿了最多奖学金(2005提高组第一题)
查看>>
Python专题
查看>>
MySQL server has gone away
查看>>
CentOS-6.5安装配置Tomcat7
查看>>
幂相关
查看>>
python定义影像投影
查看>>
ArcGIS紧凑型缓存存储格式分析
查看>>
kao2+mongodb搭建小程序后台环境(一)
查看>>
Spring Web Flow 入门demo(三)嵌套流程与业务结合 附源代码
查看>>
极光推送---安卓Demo
查看>>