kettle使用常见问题解决-01

kettle常见问题解决

1、kettle界面connect消失

第一步：检查IE浏览器，不能低于10;

第二步：在数据资源仓库的database里描述写中文，导致repositories.xml出现乱码；

解决方法：

      1） 找到.kettle目录，不知道目录路径的，可以搜索文件repositories.xml

                例如：C:\Users\yyalin\.kettle

      2）删除该目录下的repositories.xml，.spoonrc、db.cache文件

      3）重启恢复正常

1、无法将null插入

该问题是由于目标的字段不能为null，而插入的数据有null值导致的

解决方法：将目标库的字段设置为可以为null，或者用nvl等语句对入库数据执行处理

2、无效数字

原因1：是目标库要求的number类型，而入库的数据是varchar类型

解决方式：将目标库的类型改为varchar类型，或者用正则表达函数regexp_replace将

入库数据进行过滤，只留下数字。

原因2：在对账报错的话，是因为原库、目标库主键字段类型不一致,一般是原库是varchar，目标库是number造成的，常出现在数据库是Oracle19C上。

解决方案：将原库字段TO_NUMBER()即可

3、入库字段的值太大

解决方法：将目标字段的值改大，或者用SUBSTR对入库数据进行截取

4、标志符无效，原因是目标库没有对应的字段

解决方法：检查目标库是否有对应的字段，没有就新增。也有可能是源库有多余字段，可能要删除。

5、大字段，用dblink，造成Kettle查询原表卡死或很慢

问题原因：大部分是使用dblink造成的，由于dblink对大字段比较敏感。

解决方案：建议将包含大字段的表使用原库连接方式直接查询，不再使用dblink，直接在数据库连接里面配置原库连接即可。

6、对账时报违反唯一性约束

解决方案：因为两边时间戳不一致造成的，在数据同步完后对错误消息进行插入更新处理，这样就可以保证两边时间戳及数据完全一致，避免因报错导致整个流程无法进行。

7、ORA-01861: 文字与格式字符串不匹配

造成原因：经常发生在数据库字段是日期类型，但是处理的时候是varchar类型的。

解决方案：

利用数据库的日期类型查找是哪个字段，将其改为date类型即可。

8、解决转义问题

常见的报错：ORA-00917: 缺失逗号

解决方法：q'/?/'

INSERT INTO KTCITY.CDR_01_LOG_FALSE (FIELD_NAME,CREATE_TYPE,CREATE_TIME,TRAN_FLAG,EVT_LOG_ID,BS_CODE,TRAN_COMMENT,TABLE_NAME,UPDATE_TIME) VALUES   ('ORG_CODE|CLINIC_ID@'||'?'||'|'||'?','?',sysdate,'N','?','C01.02.00.00',  q'/?/','KTBASE_PERSON',sysdate); COMMIT;

/*+ driving_site(A)  LEADING(D,A,C,B) USE_NL(A) USE_NL(C) USE_NL(B) */

其中：A、B、C、D是表的别名。

9、kettle中报org.gjt.mm.mysql.Driver 解决办法

出现的问题：

解决方法：

修改maven 中的版本号，低于mysql-connector-java-5.1.47.jar这个版本都支持。

具体参考：

https://blog.csdn.net/Yanhe_z/article/details/117559022

org.gjt.mm.mysql.Driver 版本5.1.47以前可以使用
com.mysql.jdbc.Driver 版本6-以下可以使用
com.mysql.cj.jdbc.Driver版本6+以上可以使用

10、kettle并发设置

2、设置并发数量，开启多线程

需要添加的上面右键，然后填写数量为2,enter即可。

但是，在多线程”insert/update”场景中，如果更新的key并非惟一，则有可能产生死锁(多个线程一次更新同一行的数据)，因此设置并发的时候最好关键字是主键或唯一字段。

11、数据采集慢问题解决

12、kettle9.3mysql资源库乱码问题

备注：characterEncoding utf8

1、Invalid byte 2 of 2-byte UTF-8 sequence.
原因在于：
C:\Users\Administrator.kettle\repositories.xml 这个xml文件中有汉字导致乱码。
解决办法：
    修改文件中的乱码，将同文件夹下的.spoonrc文件和db.cache-*文件删除掉；重启kettle

2、Kettle里在对数据库连接、转换、作业命名时尽量不要使用中文

3、Kettle在linux上查看不到资源库，将windows下的建好资源库的repositories.xml文件，拷贝到linux的KETTLE_HOME目录下（注：必须放到￥KETTLE_HOME目录下）

4、打开转换时提示【一个数据库错误发生在从资源库文件读取转换时 Unexpected error reading step information from the repository Invalid byte 1 of 1-byte UTF-8 sequence.】

一般发生在Windows系统，需要修改Spoon.bat中JVM参数【-Dfile.encoding=UTF-8】

第二种情况：若kettle客户端spoon.bat运行是好的，且webspoon运行也是好的，那就是启动类上少加了编码格式utf-8，例如：

start java -jar -Dfile.encoding=utf-8 -Xms10240m -Xmx10240m  ./dataCollection.jar

5、Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m

原因：tomcat使用的jdk版本为1.8，而在tomcat/bin/catalina.sh文件中，设置的vm参数：-Xmx2048m -XX:PermSize=512m -XX:MaxPermSize=768m -Xss2m
该参数在jdk1.8版本中已放弃使用，正确的设置方式为：

1 2	JAVA_OPTS="-Xmx2048m -XX:MetaspaceSize=512m -XX:MaxMetaspaceSize=768m  -Xss2m" CATALINA_OPTS="-Djava.awt.headless=true"