AWS Glue
使用 PyCharm,您可以监控您的 AWS Glue 平台。
典型工作流程:
连接到 AWS Glue 服务器
在 Big Data Tools 窗口中,点击
,然后选择 AWS Glue。
在打开的 Big Data Tools 对话框中,指定连接参数:

名称 :连接名称,用于将其与其他连接区分开来。
区域 :选择要获取存储桶的区域。
身份验证类型 可让您选择身份验证方法:
默认凭证提供程序链 :使用默认提供程序链中的凭据。 有关该链的更多信息,请参阅 Using the Default Credential Provider Chain。
来自 credentials 文件的配置文件 :从您的 文件中选择一个配置文件。
显式访问密钥和秘密访问密钥 :手动输入您的凭据。
选择 默认凭证提供程序链 或 来自 credentials 文件的配置文件 选项后,您可以点击 打开 credentials 以定位凭据文件所在的目录。 如果您使用默认位置,在 Linux 或 macOS 上通常为 ~/.aws/credentials ,在 Windows 上则为 C:\Users\<USERNAME>\.aws\credentials 。 或者,如果您选择了 使用自定义配置 ,也可以是您的自定义位置。
可选:您可以进行如下设置:
按项目 :选择后,仅对当前项目启用这些连接设置。 如果您希望此连接在其他项目中可见,请清除此复选框。
启用连接 :如果您想要禁用此连接,请清除此复选框。 默认情况下,新创建的连接处于启用状态。
HTTP 代理 :选择是否使用 IDE 代理设置 ,或指定自定义代理设置。
填写设置后,点击 测试连接 以确保所有配置参数均正确。 然后点击 确定。
在编辑器中查看数据库
您可以在编辑器的单独选项卡中打开 AWS Glue 或其特定的目录、数据库和表(类似于 其他存储)。
在 Big Data Tools 工具窗口中,选择到 AWS Glue 的连接,或展开它以打开目录、数据库或表。
右键点击所选元素,然后选择 在编辑器中打开。 或者,点击
。
这将在您的编辑器的单独选项卡中打开所选的存储、目录、数据库或表。
在已打开选项卡的右侧,使用
显示或隐藏所选元素的详细信息。

监控数据库
一旦与 AWS Glue 服务器建立连接, AWS Glue 工具窗口即可使用。 您可以使用它监控数据库、查看架构和分区,并配置数据的显示方式:
使用 筛选器 列表显示本地、外部或所有数据库。
选择一个数据库并点击
,以在数据库视图中显示或隐藏列。
点击列标题以按列对数据进行排序。

在 位置 列中,您可以点击数据库 URL,以在 S3 查看器中快速打开目录。 如果所需的连接不存在,这将打开连接创建表单。