本文介绍如何在Azure data bricks中创建外部表。
本例子使用新建的Azure databricks。
新建如下资源:
- Azure databricks;
- Azure storage account 并开启分层命名空间;
- Azure Databricks 的访问连接器(这个是用来配置 databricks 链接 datalake的 managed identity),图标如下图所示;
在存储账户中,将 Azure databricks的访问连接器配置为存储账户的 blob数据所有者或者参与者;
接下来的步骤:
创建元存储(metastore)-> 创建 Unity Catalog->
1. 在accounts.azuredatabricks.net 中的data 页面创建 metastore;
2.为创建的metastore 分配 workspace;
重要概念:
若要使用 Unity Catalog,必须创建元存储(metastore)。 元存储是 Unity Catalog 中数据的顶级容器。
每个元存储公开一个三级命名空间 (catalog
.schema
.table
),可在该命名空间组织数据。
创建一个外部表,
%sql
CREATE TABLE `databricks-catalog`.default.people_101m
(
id INT, name STRING, age INT
)
LOCATION 'abfss://external-location@datalakesean001.dfs.core.windows.net/tables/people';