AWS Glue
使用 PyCharm,您可以监控您的 AWS Glue 平台。
典型工作流程:
连接到 AWS Glue 服务器
在 Big Data Tools 窗口中,点击
,然后选择 AWS Glue。
在打开的 Big Data Tools 对话框中,指定连接参数:

名称 :用于将其与其他连接区分开的连接名称。
区域 :选择要从中获取存储桶的区域。
身份验证类型 允许您选择身份验证方法:
默认凭证提供程序链 :使用默认凭证提供程序链中的凭据。 有关该链的更多信息,请参阅 使用默认凭据提供程序链。
来自凭证文件的配置文件 :从您的 文件中选择配置文件。
显式访问密钥 ID 和秘密访问密钥 :手动输入您的凭证。
选择 默认凭证提供程序链 或 来自凭证文件的配置文件 选项后,您可以点击 打开凭证文件 来定位凭证文件的存储目录。 如果您使用默认位置,Linux 或 macOS 上通常为 ~/.aws/credentials ,Windows 上为 C:\Users\<USERNAME>\.aws\credentials 。 如果您选择了 使用自定义配置 ,也可以是您的自定义位置。
可选地,您可以设置:
按项目 :选中后,仅对当前项目启用这些连接设置。 如果希望在其他项目中也可见该连接,请清除此复选框。
启用连接 :如果您想禁用此连接,请清除该复选框。 默认情况下,新建的连接处于启用状态。
HTTP 代理 :如果您希望使用 IDE 代理设置 或指定自定义代理设置,请选择此项。
填写完设置后,点击 测试连接 以确保所有配置参数正确。 然后点击 确定。
在编辑器中查看数据库
您可以在编辑器的单独选项卡中打开 AWS Glue 或其特定的目录、数据库和表(类似于 其他存储)。
在 Big Data Tools 工具窗口中,选择到 AWS Glue 的连接,或展开它以打开目录、数据库或表。
右键点击所选元素,然后选择 在编辑器中打开。 或者,点击
。
这会在您的编辑器中以单独选项卡打开所选存储、目录、数据库或表。
在已打开选项卡的右侧,使用
显示和隐藏所选元素的详细信息。

监控数据库
一旦与 AWS Glue 服务器建立连接, AWS Glue 工具窗口即可使用。 您可以使用其监控数据库、查看架构和分区,并配置数据的显示方式:
使用 过滤 列表显示本地、外部或所有数据库。
选择一个数据库并点击
,以在数据库视图中显示或隐藏列。
点击列标题以按列对数据进行排序。

在 位置 列中,您可以点击数据库 URL,以在 S3 查看器中快速打开目录。 如果所需的连接不存在,这将打开创建连接的表单。