大数据焦点：全链路数据整治、湖仓一体、存算分离、离在线混部等探索与实践

发布时间：2023-03-10 14:15:48 所属栏目：动态来源：

导读：全球数字化带来的海量数据，给企业的数据存储和分析带来了越来越不可忽视的挑战。随着各行各业纷纷借力云计算技术，许多困难已逐渐得以克服，但如何从中挖掘出更实用、即时和可访问的商业智能隐藏的巨大潜力，仍需要

全球数字化带来的海量数据，给企业的数据存储和分析带来了越来越不可忽视的挑战。随着各行各业纷纷借力云计算技术，许多困难已逐渐得以克服，但如何从中挖掘出更实用、即时和可访问的商业智能隐藏的巨大潜力，仍需要我们不懈地上下求索。为此，第八届DAMS中国数据智能管理峰会特别精选以下大数据领域热门议题，将于3月31日在上海与大家一起进行深度探讨。

为应对多变的业务数据时效诉求和数据离散管理难，我们如何打破数据湖与数仓间的壁垒，构建实时的湖仓和仓库管理一体的服务管理架构；
如何通过湖仓一体架构，使割裂数据融合统一，减少数据分析中的搬迁，实现统一的数据管理，同时增强业务数据时效，更好为业务赋能。

时序数据分析和挖掘是工业大数据处理的重要环节，现有时间序列数据库主要支持数据快速读写和简单聚集查询，通用时序分析工具主要关注预测和异常检测等单一分析功能，领域时间序列分析工具支持更丰富的分析手段，但不具有数据库能力。本次分享将介绍团队在工业时间序列管理和分析系统方面的实践探索，具体包括以下内容：

介绍工况切分、关联分析等若干典型的工业时序分析算法；
从数据管理、算法库、分析流程搭建等方面介绍系统的整体架构和核心模块。

介绍网易严选在数据治理的方法论和落地实践，通过对整个生命周期的数据、任务、服务组件的治理，保障数据稳定、高质量地进行生产，并推进整体资源优化，以及大数据平台的演进，具体包括以下内容：

如何提升数据体系的可观测性、可运维能力以及稳定性；
如何更高效、低成本地进行数据治理，发现和减少数据系统的腐化问题。

湖仓一体技术可以为业务带来原先Hadoop数仓所无法提供的能力，包括流批一体架构、行级更新、schema evolution、更为丰富的查询优化等。腾讯自2020年开始投入该领域，为业务带来新的能力。本议题将分享以下内容：

一、介绍数据治理体系顶层设计：

数据治理体系的五大要素；
翼支付数据治理方法论——“二三四法则”；
二、分享翼支付数据治理实践：

数据治理的效益评价设计；
核心数据链路治理；
数据规范设计与落地；
数据治理平台体系建设。

云原生时代下，提供可快速交付、可弹性伸缩的多维分析服务，同时满足高可用、高性能的诉求已经成为业界共同发展的方向。本次分享将主要介绍京东零售多维分析服务在云原生建设过程中的经验、思考与展望，具体包括以下内容：

OLAP云原生建设思路；
存算分离选型与落地；
智能化运维实践。

主要介绍金融级实时消息服务架构的演进过程，分享具体包括以下内容：

如何实现复杂平台架构拆分，将业务逻辑与数据平台逻辑解耦，构建统一的消息总线服务；
在构建消息总线服务过程中，如何对周边生态进行扩展，实现高效的监控、统一的SDK封装，以及如何引入Schema Registry解决数据耦合的问题；
后续进一步建设金融级消息总线服务的重点计划。

湖仓一体是近年非常火的趋势，如何保持湖的灵活性，同时提供仓的高效分析效率，是一个亟待解决的问题。本次分享主要介绍bilibili在OLAP平台上遇到的挑战，以及湖仓一体的架构设计，具体包括以下内容：

湖仓一体架构的好处；
如何基于Iceberg建设湖仓一体架构；
在数据分布、索引、预计算等多方面增强优化，提升数据分析效率，降低分析成本的实践经验。

（编辑：汽车网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!