{dede:global.cfg_webname/}

当前位置: 首页 > 财经/金融 > 正文

【全球新视野】火山引擎DataLeap引入任务模板,助力数据研发提效

来源:    时间:2023-04-25 12:34:13

在数仓及中台研发过程中,研发人员经常需要在不同任务中维护相同或类似代码,不仅费时费力,并且代码迭代后也面临不同业务单元逻辑性不一致的问题,对运维管理形成挑战。

一般来说,研发人员往往通过代码模板来解决这一问题。具体而言,在核心数据处理逻辑相同的情况下,研发人员通过代码模版传入不同的任务参数,解决核心数据处理逻辑复用的问题,使得后续任务可以批量化,满足实时调用需求。

目前,任务模板已是火山引擎DataLeap研发治理能力之一,主要用于管理常用的任务逻辑,以此降低常用代码的运维成本。在产品功能上,DataLeap任务模板支持丰富的引擎能力,包括LAS/EMR HSQL 、LAS/EMR Java Flink、LAS/EMR Flink SQL、shell任务,满足离线实时任务的不同需求。此外,DataLeap还支持历史版本管理,即保存或更新模板后,记录各个版本更新情况,方便查看代码设置及参数。

在使用层面上,研发人员只需要三步骤即可完成任务模板创建,便捷复用核心数据处理逻辑。

第一步:选中支持的任务类型

·在模板列表右侧的“+”(更多)按钮中,新建子目录或新建任务模板。

·在新建任务模板窗口中,输入以下参数,并新建模板。

火山引擎DataLeap引入任务模板,助力数据研发提效

第二步:代码编写参数设置

·在任务模板的代码开发编辑界面,通过 DDL 和 DML 编写通用 SQL。

·表名、字段名分别可以用参数表示,以下以 LAS Flink SQL的逻辑处理,保存为test02模板。

火山引擎DataLeap引入任务模板,助力数据研发提效

第三步:在任务开发中引用

研发人员可以通过以下2种方式引用test02模板:

·方法1:在模板列表中,选择模板并点击后即可快速引用。

·方法2:在代码编辑界面右上角选择任务模板,选择模板后,按需选择是否最新版本的模板,在对参数设置之后,预览代码最终生成效果(如图)。

火山引擎DataLeap引入任务模板,助力数据研发提效

火山引擎DataLeap任务模板能力可应用于以下场景:

·场景1:将预先设计好的离线、实时任务模板保存后,即可在多个任务中引用此类型模板,快速实现代码复用。

·场景2:将shell任务代码制作为前置判断条件,在数据分析前的触发检测运行条件是否满足。

除了任务模板之外,作为大数据研发治理套件,火山引擎DataLeap还可以提供数据集成、开发、运维、治理、资产、安全等能力,帮助用户提升数据研发效率、降低管理成本,加速推动企业的数字化转型。(作者:宋岩)

声明:来源非IT商业科技网的作品均转载自其它媒体,转载请尊重版权保留出处,一切法律责任自负。文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。转载稿件或作者投稿可能会经编辑修改或者补充, 如有异议可投诉至:Email:342 4350 938@qq.com

频道精选
【全球新视野】火山引擎DataLeap引入任务模板,助力数据研发提效

【全球新视野】火山引擎DataLeap引入任务模板,助力数据研发提效

在数仓及中台研发过程中,研发人员经常需要在不同任务中维护相同或类似代码,不仅费时费力,并且代码迭代后也面临不同业务单元逻辑性不一致
2023-04-25
视焦点讯!浪潮KaiwuDB携工业物联网场景解决方案亮相山东省数字化转型论坛

视焦点讯!浪潮KaiwuDB携工业物联网场景解决方案亮相山东省数字化转型论坛

   助力工赋山东     4月21日,第十五届信博会暨中国数字经济高端峰会成功举办。浪潮KaiwuDB受邀出席峰会重要
2023-04-25
世界视讯!云融合 共智声 -- Q-SYS桥思智慧AVC技术交流会成功举行

世界视讯!云融合 共智声 -- Q-SYS桥思智慧AVC技术交流会成功举行

今天音视频解决方案实现明天无限可能2023年4月,“Q-SYS桥思智慧AVC技术交流会”于北京、上海、深圳和广州成功举办。本次活动以“云融合、
2023-04-25
世界关注:瑞尼具有防爆合格证的执法记录仪更安全

世界关注:瑞尼具有防爆合格证的执法记录仪更安全

说到防爆执法记录仪,我们首先了解一下什么是防爆合格证?防爆认证是指用于确定设备符合国家防爆CNEX认证标准要求(GB T3836 1-2021标准,GB T3
2023-04-25
环球速递!绿联一度电户外电源3699元

环球速递!绿联一度电户外电源3699元

  这是可以用一两天的户外电源。   绿联 星辰户外电源GS1200W大功率 1度电大容量【磷酸铁锂】220V快充便携移动储能
2023-04-25
天天热点!对标RTX 4060 Ti!AMD新卡RX 7600 将发布,5月见!

天天热点!对标RTX 4060 Ti!AMD新卡RX 7600 将发布,5月见!

  根据德国大神Igors Lab的确认,AMD将在今年台北电脑展期间展示RDNA3 RX 7000显卡家族中最入门的桌面产品RX 7600。
2023-04-25

2017-2019 Copyright © IT商业科技网 备案许可证号粤ICP备2022153948号 豫公网安备110102003388号

紧急处理QQ:133 4673 445@qq.com