给DataX配置加密的方法

给DataX配置加密的方法

前言

在生产环境中使用DataX，往往在json配置文件中需要用到数据库的账号信息，这是非常不安全的。好在DataX自带的功能支持对敏感信息加密解密，达到对配置文件信息脱敏的效果。

生成公钥和私钥

以下使用DataX源码的SecretUtil工具类，生成密钥对，并使用公钥对字符串123进行加密，得到加密字符串，再对加密字符串使用私钥解密，最终还原成123的过程。

public static void main(String[] args) throws Exception {
    // 获取公钥与私钥
    String[] keys = SecretUtil.initKey();
    String publicKey = keys[0];
    String privateKey = keys[1];
    System.out.println("publicKey = " + publicKey);
    System.out.println("privateKey = " + privateKey);

    // 通过公钥加密
    String encryptData = SecretUtil.encryptRSA("123", publicKey);
    System.out.println("encryptData = " + encryptData);

    // 通过私钥解密
    String decryptData = SecretUtil.decryptRSA(encryptData, privateKey);
    System.out.println("decryptData = " + decryptData);
}

修改密钥配置

修改.secret.properties 配置文件，它在$DATAX_HOMEconf 目录下

#ds basicAuth config
auth.user=
auth.pass=
current.keyVersion=v1
current.publicKey=sfwjwwrjwejrwelththwt
current.privateKey=543l5j34lkj53l4kj5kl3
current.service.username=
current.service.password=

修改以下配置：

• current.keyVersion 该配置可自定义，用于后面DataX的json配置中使用；
• current.publicKey 该配置为公钥，用来对敏感信息做加密；
• current.privateKey 该配置为私钥，用来对敏感信息做解密；

DataX配置中应用

如以下配置示例，主要做了几下改动：

• 给job节点添加keyVersion配置项，值取自上一步的配置current.keyVersion中的值
• 在需要脱敏的配置的key前面加上一个*，如”*username”、”*password”
• 修改*开头的配置的取值，由明文改为密文，密文是由第一步的main方法生成而来

{
  "job": {
    "setting": {
      "speed": {
        "channel": 3
      },
      "errorLimit": {
        "record": 0,
        "percentage": 0.02
      },
	    "keyVersion": "v1"
    },
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "*username": "a2KMPlT1nSUJx",
            "*password": "b1VFs5VzcW4V0Cnyb",
            // 省略
          }
        },
        "writer": {
          // 省略
        }
      }
    ]
  }
}

执行DataX任务，在打印日志中能看到username解密成功，password因为是敏感信息所以用***代替。

参考

异构数据源数据同步 → 从源码分析 DataX 敏感信息的加解密-腾讯云开发者社区-腾讯云