一、背景
使用Datax3.0 地址: https://github.com/alibaba/DataX 在HDFS读的时候开放了如下nullFormat选项:
nullFormat
但是在HDFS 写的时候却没有开放出来,因此源码中的写法是对于MySQL空的处理直接丢了个null进去而不是HDFS的||N
二、原因
原Datax3.0未在HDFSWriter中开放nullFormat配置项,因此需要修改部分源代码来提供。
三、结论
以上已orc文件写入为例,同理可以应用到textfile格式的处理。
以上左边你可以对其写死,所有的NULL均转为\\N ,或者像我这边传进来nullFormat使得NULL作为空还是空字符串取决于你这边设置值。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)