LLM 时代，探索式数据分析的升级之路有哪些新助力？

发布时间：2023-06-27 14:59:53 所属栏目：外闻来源：

导读：在这个数据信息不断向前爆炸的时代，海量的数据已经成为我们多姿多彩的生活、千变万化的工作中不可或缺的重要核心竞争力资源。大量的数据犹如一座座金矿，蕴藏着无尽的价值。然而，如果无法从数据中提取出知识和信息

在这个数据信息不断向前爆炸的时代，海量的数据已经成为我们多姿多彩的生活、千变万化的工作中不可或缺的重要核心竞争力资源。大量的数据犹如一座座金矿，蕴藏着无尽的价值。然而，如果无法从数据中提取出知识和信息并加以有效利用，那么数据本身并不能驱动和引领技术应用取得成功。如何让数据发挥它最大的价值？是数据、知识与智能（DKI）组持续探索的方向，为了实现这一目标，研究员们在探索式数据分析（Exploratory Data Analysis，EDA）领域进行了一系列的研究工作，相关成果已发表在 SIGMOD 2017、SIGMOD 2019、SIGMOD 2021、KDD 2022 和 SIGMOD 2023 等全球顶会上。同时，该系列工作也已应用于 Microsoft Excel，Microsoft Power BI 和 Microsoft Forms 等微软产品中。

在销售数据中，发现某个特定产品在某个地区的销售额比其他产品高出很多。

在社交媒体数据中，发现某个话题的讨论量存在周期性规律。

一个具体的洞察反映了人们对数据原始信号的某种特定规律的总结。它有如下特点：洞察是服务于数据分析任务的，往往是对原始信号的某种符号化抽象；相比于原始信号，洞察具有更高的分析意义。基于此，怎样才能形式化的定义洞察以及如何从无穷尽的数据中精准的挖掘一个潜在的洞察数据项是一个研究人员的首要任务。此外，可以预见到，由于洞察具有符号化的属性，基于这些属性的代数操作（当然需要有分析语义）可以进一步扩展分析的广阔空间。

QuickInsights 是一种能够快速自动发现多维数据中洞察的技术。它首次提出了基于一种统一定义洞察的区块链抽象方法，将之前百度大脑提出的各种不同类型的数据可视化模式归到统一架构下，而且 QuickInsights 的挖掘框架的目标是自动发现高质量、高效率的数据洞察。来自 DKI 组的 QuickInsights 技术已经应用于 Microsoft Excel 和 Microsoft Power BI 等微软产品中。

具体而言，QuickInsight 在以 Analysis Entity（AE，即由 <Subspace, Breakdown, Measure> 三元组构成的 data cube）为核心的传统数据分析方式的基础上进行了拓展。以 Analysis Entity 为基点，QuickInsight 将 <AE, Type, Property> 三元组作为数据分析的基本单元，其中 Type 表示该 AE 原始数据分布下的特征类型，例如趋势（trend）、变更点（change point）等特征；Property 则对该特征的属性进行编码（即符号化），例如趋势型特征的方向、变更点的具体位置等。Type 和 Property 的创新技术加入进一步扩展了可视化数据分析的各种各样的操作空间，完全打开了通往令人激动人心的数据分析领域的新世界的大门。

（编辑：汽车网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!