创建符合正则表达式规则的表
有些应用场景是,上游会定时的产生一些符合一定规则的表,比如按照日期,每天,每周,每月生成一张相关的业务表,也有可能生成一些包含自增信息的表。
在本版本中,您可以通过在结构变化策略中,配置相应的正则表达式,然后采集代理,会在解析日志的过程中,当解析到符合正则表达式的表后,自动按照设置的规则创建映射,并完成同步的工作。
您可以通过产品设置在目的地是创建新表,还是用表名做匹配。同时对表名可以考虑增加前后缀,同时可以在目的地新增字段以及配置高级清洗,通过这些配置,您可以很方便的实现您的预期结果。
您的操作使用流程:
在数据链路中的策略配置里,找到结构变化策略。并且找到「数据源创建了符合下列正则表达式规则的表」
此时点击下面的「添加」弹出规则的编辑窗。这里您可以根据需要设置希望同步的符合正则表达式规则的表。
同时可以根据需要在目的地创建新表或者匹配已有表。并且可以在源表名的基础上增加前后缀。提升业务场景的支持灵活度。
也可以根据需要添加字段,这里需要符合产品的限制,通常情况下,创建新表时,允许添加字段并指定字段的类型。而对于选择已有表时,一般RDBMS的具有固定表结构的,往往产品此时不提供在产品上直接添加字段的方式,需要您去目的地添加该字段后,然后回到产品上在刷新一下,才能显示出该字段。但是对于kafka,json格式的是可以直接在产品中添加字段的。
最后您还可以根据需要对于某个规则选择需要的高级清洗脚本并设置。
最后更新于
这有帮助吗?