Microsoft Fabric
Author:zhoulujun Date:
2023年5月微软推出 数据分析平台Microsoft Fabric,企图将关键数据管理和分析工作负载整合到一项服务中。
其目标是为数据专业人员和业务用户提供流畅一致的体验,涵盖从数据输入到获取见解的所有内容。
结构化的、非结构化的、实时的、归档的、湖里的、仓里的、云上的、自产的、第三方的……
企业要面对的是千头万绪的数据整合,需要综合的数据解决方案。
Fabric 将 Azure 数据工厂、Azure Synapse Analytics 和 Power BI 等技术集成到统一的产品中,将组织的所有数据,所有模型,所有人员,都集中在一个地方的分析平台,进行统一的管理
Microsoft Fabric 是一个端到端(从源头到终点)的分析平台,它提供了一组集成的分析工具,使数据从业人员能够导入、存储、处理和分析数据;也为数据专业人员和企业提供了统一的集成环境来合作处理数据项目。
所以各种数据和分析工具就像编织物中的每一根线一样,被整合到了这个统一的平台Fabric上。
OneLake
内置了 OneLake 的多云数据湖,所有 Fabric 都可直接使用。所有Fabric的工作都会自动与 OneLake 连接,就像所有的 Microsoft 365 应用程序与 OneDrive 连接一样。通过 Fabric 的「数据湖」,企业团队可以从任何地方连接到数据,并在不同引擎之间使用相同的数据副本。
通过 OneLake 作为存储系统,将 Delta 和 Parquet 作为所有工作的通用格式,提供了在最基本层面上统一的数据堆栈。这种对共同开放数据格式意味着客户只需将数据加载到数据湖中一次,所有的工作都可以在同一份数据上操作,而不需要单独导入数据,也不需要为数据库、数据湖、数据仓库、商业智能或实时分析维护不同的数据副本。
OneLake互联互通
在没有OneLake的时候,不同的业务在不同的容器中存储,好像一个个的数据孤岛,不同的业务再根据需求从这些孤岛中抓取数据。
微软研发了onelake并消除了数据孤岛,将所有数据和用户汇集在这个统一数据湖中,增强了数据专业人员之间的协作,通过定义业务域和工作区,更好地组织和管理范围内的数据。
OneLake是基于ADLS(Azure Data Lake Storage)Gen2构建的,并且以delta-parquet格式来存储表格数据。他的一个重要功能是快捷方式,通过创建快捷方式用于指向其他文件或外部存储位置,无需复制数据就能快速获取。
例如一个SQL工程师构建了一个数据库,创建了很多表并把数据上传到表中,之后数据科学家想要使用这些数据,那么他就不需要再整理再上传,创建快捷方式即可获取。
参考文章:
大家都在聊的Microsoft Fabric好在哪里? https://zhuanlan.zhihu.com/p/701809650
Microsoft Fabric入门介绍(一) https://zhuanlan.zhihu.com/p/682409300
转载本站文章《Microsoft Fabric》,
请注明出处:https://www.zhoulujun.cn/html/webfront/visualization/rudiment/9418.html