我正在通过抓取S3中的实木复合地板文件来创建由Glue自动创建的Athena表。它以文件夹名称作为分区,并将该分区列命名为“ partition_0”。现在,我想将此分区重命名为“ snapshot_date”,并且可以使用“ edit_schema”选项在Glue UI中执行此操作。但是,另一方面,当我尝试使用Java代码执行相同的操作时,却无法执行。这是我正在通过Java代码运行以完成此操作的查询。 Alter table test_java_crawler.pao_java_input_data change…

2020年2月13日 0条评论 37点热度 阅读全文

我在aws胶水控制台中有向导生成的胶水作业。我没有更改任务生成的默认脚本。它从posgres数据库表(源)获取数据并写入另一个postgres数据库(目标)。我在ide中选择了启用书签。每当任务运行时,即使在源中没有插入,更新或删除时,它也会将完整的源数据库表复制到目标表。我明白在启用书签的情况下,它应该只复制上次运行源中的更改,但这不会发生。因此,如果源表中有4行,则每次运行任务时都会将所有4行添加到目标中,并且目标的行数将增加1.如何才能使其仅处理来自上次源数据的chages跑? 此外,它如何收藏?如果在两次运…

2019年6月30日 0条评论 49点热度 阅读全文