企业在当今竞争激烈的商业环境中，面临着巨大的数据挑战。数据作为企业的宝贵资产，对于决策制定和业务优化起着至关重要的作用。

而实际数仓建设过程中，存在复杂的任务依赖及调度、运维管理场景。随着数据集和ETL的增加，任务依赖关系变得更加复杂，缺乏清晰可见性，故障排查效率低下。而且，随着业务的不断扩张和多样化，企业需要更快速、更灵活地处理和分析数据，以便及时做出正确的业务决策。

观远数据「高级调度」，以可视化DAG流的方式编排平台内任务的依赖关系及运行顺序，助力企业实现高时效、低成本的数据实时处理！

数仓建设难点与需求总结

一、数据及时性。业务愈发需要及时且准确的数据进行业务分析，然而接入实时系统（如Kafka、Flink）不仅需要额外预算，还需要更高的技术人员能力以及承担更复杂数据链路带来的成本和风险。

二、任务编排复杂。随着数量增长和数据链路的开发，数据表量级不断膨胀，对数据集成、加工处理和升级改造带来了很大挑战。同时，业务分析任务数量、优先级各有差异，手动编排和调度N多个任务的优先级和执行时机，容易出现遗漏或错误。

三、高峰低谷带来的数据资源浪费。数据应用时间段具有明显的高峰期和空闲期的特点，缺乏有效的时段调度，将带来数据资源的浪费。

以上数仓建设难点可以总结为三点需求：

? 高时效的用数体验；

? 统一任务编排调度；

? 统一运维视图。

「高级调度」功能优势

观远BI「高级调度」以可视化DAG流的方式编排平台内任务（包括ETL、数据集等）的依赖关系及运行顺序，提供了更加强大的依赖编排/分支调度能力，并建立起全局任务运行及运维管理视图。

对业务侧而言，各个数据开发任务存在运行先后顺序要求或数据依赖关系。「高级调度」可以确保按照用户配置的运行顺序及依赖条件，依次调起各任务运行，从而避免数据处理过程中的混乱和冲突，保证数据的一致性、正确性。同时，「高级调度」还提供了任务实例化运维的能力，帮助用户更好地追踪和管理平台内的各项任务。

总的来说，观远BI「高级调度」具备以下三大功能优势：

1、优势一：千万级数据实时处理，提升数据新鲜度，辅助业务决策

以前：分析师们需要操作多个ETL才能进行实时数据和离线数据的接入，因计算链路长、耗时久，数据更新也得小时级起步。

现在：观远BI以增量刷新和分钟级高频调度两大能力护航，让数据实现实时更新。数据新鲜度大幅提升，让业务用户能在更短的周期中，通过数据发现问题，及时调整营销方案，进行市场验证、试错和迭代。

分钟级高频调度

2、优势二：低成本达成分析时效，任务运行自动化，优化分析体验

以前：公司需要斥巨资接入Kafka、Flink等实时系统，成本增加的同时还要应对更复杂数据链路带来的稳定性风险。

现在：公司不需要引入难上手、运维复杂的实时组件，通过观远BI就能高效融合最新批次实时与离线数据。分析师还可配置任务执行时间段让其自动运行，减少不必要时段的任务调度。以更低的成本获得更优越的分析时效体验。

3、优势三：低门槛完成图形化编排，，一屏化管理保障多任务高效执行

以前：只有具备开发FlinkCDC、Kafka等开源组件能力的分析师才能完成场景编排。

现在：使用观远BI，分析师们无需掌握专业的数据开发能力，只需全拖拉拽操作，就能编排实现整个场景链路。通过统一的调度界面，分析师们可直观了解各任务执行状态，进行管理和监控。

一屏化管理，调度过程实时反馈

「高级调度」场景实践

以零售消费品公司电商促销的数据分析需求场景为例。在大促活动时，业务团队基于「高级调度」能力，可以更加及时地看到销售业绩、订单量、访问量、热门商品排行等指标信息，了解大促活动的表现，及时调整促销力度、重新分配资源、推出临时促销活动等。

1、高时效低成本的场景分析

过去，大促分析需要等到次日才能进行离线分析，导致数据已经过时。而现在，观远BI高级调度功能无需接入新的数据或技术平台，可以高效地融合最新批次的实时数据与历史数据，帮助看数人员获得更好的实时性体验。无论是实时接入各个渠道的销售数据，还是将实时数据和历史数据进行整合分析，如同比、环比等，都可以以低成本实现。

2、促销活动的灵活管理

在促销活动过程中，高级调度可以根据某一节点的成功或失败状态走下游的不同分支，触发不同的业务流程。例如，如果促销活动执行成功并达到预期效果，系统可以自动触发结算和奖励流程；若促销活动执行未能达到预期效果或出现问题，则可以自动发送报告给相关部门，分析问题原因并提出改进方案。

3、保障活动高峰，资源错峰调度

高级调度功能实现了高效的资源时段调度。在大促期间，实时销售数据大屏的观看需求一般集中在活动高峰的几个小时，其他时间段并不需要看数。高级调度功能在活动期间可以有效地调度任务，确保资源的高效利用，保障活动中数据分析的顺利进行。

4、全局任务一屏管理，一览业务链路和优先级

过去，在大促活动期间，实时销售监控大屏、数据分析报表、预测模型更新等分析任务繁多，优先级也各不相同，手动编排和调度这些任务的优先级和执行时机容易遗漏或出错。而现在，通过高级调度功能的全拖拉拽操作，用户可以直观地了解活动期间任务执行的状态、进度和依赖关系，实现数据分析一屏管理。

在数据驱动的时代，企业和组织需要充分利用数据的力量来指导决策和实现业务目标。「高级调度」带来的高时效、低成本的数据实时处理能力，将有效助力企业实现更快速、更灵活的数据处理分析，实现敏捷决策。

未来，观远数据将继续在一站式数据分析与智能决策产品及解决方案之路上努力前进，以满足客户不断变化的需求，并提供高效、可靠的技术支持，为用户带来更优质的体验！