北京足石科技有限公司
首页
产品
大数据
解决方案
关于我们
人才招聘
数据合作
弹性计算
应用服务
数据库
负载均衡
实时日志分析服务
云数据库MySQL版
容器集群管理服务
大数据搜索服务
云数据库Redis版
批量计算
集群消息服务
云数据库Hbase版
大数据治理服务
API网关
云数据库PostgreSQL版
云数据库SQLServer版
大数据基础服务
数据同步与迁移
大数据一站式服务
分布式监控服务
集群网格服务
分布式任务调度服务
数据质量检测服务
物联网平台服务
智慧交通
公交客流分析平台
公交运行监测平台
地铁客流分析平台
网约车监管信息交互平台
智慧能源
智慧电网
建筑能源管理平台
石油石化解决方案
移动端公众号
移动端
公众号
智慧医疗
智慧医疗
智慧城市
智慧政务
环境在线监测平台
智慧军工
智慧军营
智慧航空
智慧公安
警用地理信息平台
智慧教育
智慧教育
智慧电信
智慧电信
通用软件解决方案
通用软件解决方案
产品概述
系统界面
优势及特性
适用场景
产品概述
分布式任务调度可用于编排复杂计算工作流和数据处理流水线作业。可执行时间超长的cron脚本任务,或者是大数据的批处理任务,通过并行的方式合理利用资源,通过加大对任务的同时批量处理业务容量来加快业务的运营速度。能帮助您解决任务调度与任务处理等工作的困境。便于定位作业运行时问题,便于了解作业运行进展、负载情况、监控作业运行时的性能指标,便于对作业进行调优。
系统界面
1
2
3
4
5
优势及特性
简单
支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手
动态
支持动态修改任务状态、暂停/恢复任务,以及终止运行中任务,即时生效
一致性
“调度中心”通过DB锁保证集群分布式调度的一致性,一次任务调度只会触发一次执行
调度日志
支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志
调度中心HA(中心式)
调度采用中心式设计,可保证调度中心HA
执行器HA(分布式)
任务分布式执行,任务“执行器”支持集群部署,可保证任务执行HA
任务Failover
执行器集群部署时,任务路由策略选择“故障转移”情况下调度失败时将会平滑切换执行器进行Failover
自定义任务参数
支持在线配置调度任务入参,即时生效
调度线程池
调度系统多线程触发调度运行,确保调度精确执行,不被堵塞
弹性扩容缩容
一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务
邮件报警
任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件
状态监控
支持实时监控任务进度
GLUE
提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。
数据加密
调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性
任务依赖
支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行,多个子任务用逗号分隔
任务注册
执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时,也支持手动录入执行器地址
路由策略
执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等
运行报表
支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图等
脚本任务
支持以GLUE模式开发和运行脚本任务,包括Shell、Python等类型脚本
阻塞处理策略
调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度
失败处理策略
调度失败时的处理策略,策略包括:失败告警(默认)、失败重试
分片广播任务
执行器集群部署时,任务路由策略选择“分片广播”情况下,一次任务调度将会广播触发集群中所有执行器执行一次任务,可根据分片参数开发分片任务
动态分片
分片广播任务以执行器为维度进行分片,支持动态扩容执行器集群从而动态增加分片数量,协同进行业务处理;在进行大数据量业务操作时可显著提升任务处理能力和速度
事件触发
除了“Cron方式”和“任务依赖方式”触发任务执行之外,支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务,可根据业务事件灵活触发。适用场景:电商业务,银行业务、大数据作业等
1
2
3
4
5
适用场景
电商业务
银行业务
大数据作业
北京足石科技有限公司
关于我们
版权所有:北京足石科技有限公司 备案序号:
京ICP备16000073号-1
网址:www.footston.com 电话:010-53681516 联系地址:北京市海淀区上地十街辉煌国际1号楼504
中国报道
北京市交通发展研究院
北京城建设计发展集团股份有限公司
北京华康视通科技有限公司
深圳市都市交通规划设计研究院