随着企业业务发展与技术成熟,企业面临海量增长的数据,结合大数据、人工智能物联网等技术,企业对数据的应用从检测、洞察逐步向决策迈进,进入了数据智能应用的时代。
传统企业面临多种数据应用的困境:内部数据孤岛现象严重,且数据碎片化,无法统一融合赋能业务;传统企业内部通常是IT部门负责处理和管理数据,业务部门无法直接使用数据,影响业务运营与规划;数据开发工作成本高,不同需求导致企业存在数据服务能力重复建设的问题等。
而数据中台能够实现数据汇聚、统一标准与口径,形成数据资产,进而为业务提供高效的数据服务;同时数据中台面向业务场景而建,将数据抽象封装成服务,能够实现数据的资产化、服务化,具有跨部门的普适性业务价值能力,赋能业务部门人员进行数据分析和数据应用;连接数据前台和后台,实现企业的数据开发能力的复用。因此,数据中台成为企业实现数据智能应用的核心。
数据中台的应用场景规划
基于数据中台,某航空公司重塑航空燃油分析体系
民航机组的“直接运行成本”(DOC)包主要由固定成本、燃油成本、时间成本三个部分构成,其中,燃油成本约占总成本的30-40%。2019年,民航局公布咨询通告《航空承运人燃油政策优化与实施指南》(CCAR-121-R5),对不可预期燃油政策进行优化调整,航空公司可以申请5%及以下的不可预期燃油政策。从10%的不可预期燃油降低到5%及以下,可以避免多带油造成油耗油的成本浪费,极大地降低公司运营成本。
随着油价的持续攀升和航空业竞争的不断加剧,某航空公司迫切需要通在保障飞行安全的前提下,基于大数据进行运行分析和数据挖掘,从而降低燃油消耗、节省运行成本,以达到符合R5最低燃油标准的精细化运行管理的目的,提升航司综合竞争力。
QAR是航司最重要的数据资产之一,完整记录了飞行过程的重要参数,数据质量高,可满足为公司提供高效运营决策支持的要求,从而提升公司成本控制水平、管理能力和竞争力。
因此,依据QAR再加上传统运行的CARS、A-CDM、CDM等关键运行核心生产数据建立统一数据共享服务平台,实现运行成本的多维度管理,从而达到节能减排和降低公司运行成本,已成为公司应对挑战和把握机遇的一个重要手段。
该航空公司传统的数据分析体系存在多个痛点:
第一,该航空公司原有数仓是基于Oracle构建,随着业务发展,数据量增多,数据种类不断丰富,数据融合的难度加大,运行分析的维度和精细化场景不断复杂深化,原有数仓无法有效支撑性能和灵活性,运行分析和燃油数据难以发挥应有价值。同时指标口径不一、数据资产缺乏管理、数据服务化水平不足等问题严重制约着该航空公司的数字化转型。
第二,飞机大多数传感器的解码和接入标准都掌握在国外飞机或发动机制造商手中。因此,民航公司多与其开展QAR数据分析合作,不仅成本高,而且只能提供部分场景的数据分析且不支持场景拓展,无法满足航空公司日益增长的需求。
第三,公司过往的指标分析,主要是通过数据分析团队进行手工跑数,但是业务人员无法进行数据分析,造成数据分析人员工作量过大,而业务人员无法灵活地分析数据。
基于此,该航空公司联合逸迅科技共同研发针对该公司的数据中台,并打造指标管理平台。
上海逸迅信息科技有限公司是提供数据治理和数据中台的全栈方案供应商,依托自主研发的数据治理、数据模型和机器学习模型开发工具等产品,提供采集、存储、分析和挖掘大数据的高效数据平台和服务,为各行业客户提供定制化解决方案,服务领域覆盖智慧城市、智慧航空、智慧物流、智能制造等行业,帮助用户快速实现大数据应用价值。
该航空公司分两期项目推进方案,一期基于该航空公司的业务系统打造数据中台,二期基于数据中台进行R5燃油分析,并构建了指标管理平台,完善指标管理体系。
逸迅科技自主研发的数据中台产品DIPC,是数仓构建、指标体系构建及数据研发的一站式集成环境(开发、部署),涵盖数仓可视化建模、数据研发(实时和离线处理)、数据服务等数据处理和服务全流程,实现智能的数据开发和数仓建模等流程。
在一期项目中,基于逸迅数据中台产品DIPC,该航空公司通过规范化的建模体系和统一集成的数据开发能力,连接数据后台与业务前台,有效解决前端业务场景对数据的灵活需求与后端数据开发较慢的能力不匹配问题,提升开发和运行效率;建立统一指标/标签体系,构建该航空公司数据资产目录,实现该航空公司数据资产化,强化数据资产管控能力;引入微服务架构建设数据服务体系,实现数据资产化管理和服务化开放,高效赋能前端业务场景需求,帮助该航空公司提升数据资产运营的能力。
数据中台成为了该航空公司一站式数据研发、数据服务和数据资产管控平台,提升企业内部的数据研发效率,强化数据研发流程和数据资产管控能力,为数字化转型提供关键支撑。
在二期项目中,基于该航空公司业务和高品质的数据成果,公司通过Hadoop大数据平台重构该航空公司数仓体系,并基于XData和XGov对数据进行迁移、汇聚和数据治理。基于Hadoop的大数据平台计算性能提高将近百倍,同时灵活的扩展性可支撑该航空公司未来数年内不断增长的数据体量和业务需求,从根本上解决了原有数仓的性能问题。
基于高品质的数据成果,该航空公司完成R5不可预期燃油分析、最优进近轨迹分析等功能,同时优化R5燃油分析算法,丰富和完善燃油分析体系,辅助业务部门进行更加精确的节油提效,通过指标管理与自主分析的模块构建,赋能业务部门更加灵活自主的分析能力。
该航空公司还搭建丰富的指标体系,逐步增加和飞行器相关的传感数据分析,例如飞行员模拟机训练、维修物料的流程监控、维修数据统计分析,为该航空公司构建了数百个运行分析指标和数十张分析报表,数据查询的性能响应时间由小时级别提升为分钟级别甚至秒级别,同时赋能业务人员更加准确地分析,作为燃油加注、驾驶行为等飞机运行的支撑。除了丰富指标体系以外,该航空公司还构建了指标管理平台,使业务人员能够自主进行指标的自由组合,指标的灵活分析,释放数据分析人员的工作量,实现精细化分析,同时提升业务人员KPI考核全面性和精细度,进而提高业务人员的主观能动性。
该航空公司利用燃油数据整合成果,推广节油分析功能到集团,为其带来长远价值和效益。
该航空公司在项目过程中的经验积累对于同类企业十分具有借鉴意义。企业建设数据中台之前首先需要有明确的应用场景规划,并选取部分应用场景同步推进数据中台建设和上层应用开发,打造业务场景闭环,率先实现部分业务价值。基于此,不断发掘新的业务场景和系统需求,获取企业各部门的持续投入和支持,完善数据中台体系和应用场景的建设。