我正在使用KCL(v2)将Kafka使用者转换为AWS Kinesis使用者。在Kafka中,偏移量用于帮助消费者跟踪其最近消费的消息。如果我的Kafka应用程序死了,它将使用偏移量重新启动时从中断处开始消耗。 但是,这在Kinesis中并不相同。我可以设置kinesisClientLibConfiguration.withInitialPositionInStream(...),但是唯一的参数是TRIM_HORIZON,LATEST或AT_TIMESTAMP。如果我的Kinesis应用程序死了,它将不知道从重新启…

2020年10月14日 0条评论 12点热度 阅读全文

无法打开与Monitoring.us-east-1.amazonaws.com:443的连接:连接到AWS kinesis时证书验证失败 public static KinesisProducer getKinesisProducer() { KinesisProducerConfiguration config = new KinesisProducerConfiguration(); config.setCredentialsProvider(new DefaultAWSCredentialsProviderC…

2020年8月18日 0条评论 9点热度 阅读全文

我刚开始使用其API可用的Kinesis here 我用它来将 100条记录推送到 kinesis for (int j = 0; j < 100; j++) { PutRecordRequest putRecordRequest = new PutRecordRequest(); putRecordRequest.setStreamName(myStreamName); putRecordRequest.setData(ByteBuffer.wrap(data.getBytes())); putRecord…

2020年3月18日 0条评论 10点热度 阅读全文

到目前为止,我已经按照Flink的kinesis连接器记录的说明使用本地Kinesis。 Using Non-AWS Kinesis Endpoints for Testing Properties producerConfig = new Properties(); producerConfig.put(AWSConfigConstants.AWS_REGION, "us-east-1"); producerConfig.put(AWSConfigConstants.AWS_ACCESS_KEY_ID, "aws…

2019年12月2日 0条评论 14点热度 阅读全文

我们正在研究使用Spring Boot开发的Micro服务,该服务使用Kinesis流中的数据对其进行处理,然后将其存储在DB中。我们有良好的JUnit Mockito测试覆盖率。现在我们需要对此进行集成测试。您能否建议一个好的框架或框架集,以用于端到端地测试整个应用程序。到目前为止,我们已经检查了柑橘和弹簧整合法,但是没有运气 解决方案如下: 通常,您可以使用localstack在本地运行诸如Kinesis之类的AWS服务,并使用Docker命令或诸如Testcontainers之类的集成测试来启动它们。 根据您…

2019年9月6日 0条评论 29点热度 阅读全文

我正在尝试使用DynamoDB流和AWS提供的Java DynamoDB流Kinesis适配器捕获DynamoDB表更改。我正在Scala应用程序中使用AWS Java SDK。 我首先关注AWS guide并阅读了AWS发布的code example。但是,在使Amazon自己的已发布代码在我的环境中运行时,我遇到了问题。我的问题在于KinesisClientLibConfiguration对象。 在示例代码中,KinesisClientLibConfiguration配置有DynamoDB提供的流ARN。 ne…

2019年7月26日 0条评论 15点热度 阅读全文

实际情况 我想将Apache Flink与Kinesis Analytics结合使用。就像我没有Java和Maven的经验一样,我将尝试总结我遵循的步骤和结果。 使用IntelliJ IDEA作为IDE 毫无问题地测试此example 按照其instruction更改为AWS。问题开始于以下步骤:创建并编译Apache Flink流Java代码 问题 如果要使用Kinesis连接器,由于ASL许可证,您不能像其他连接器那样使用它,并且它们不会将工件部署到Flink版本上的Maven中央存储库,因此您需要自己构建Ki…

2019年6月9日 0条评论 10点热度 阅读全文

要求:在插入/更新到特定表时,创建一个数据流并将其推入 flex 搜索。 思想 AWS RDS(MariaDb)-----插入/更新以说出用户表---> AWS Kinesis流-使用AWS Lambda-> AWS ES 问题如何在插入/更新到特定表时创建运动流?我可以通过AWS Lambda吗? 解决方案如下: 如果您使用的是Amazon Aurora,则可以执行此操作。 Amazon Aurora中的最新更新之一是支持从存储过程中调用Lambda函数。 因此,要实现您的需求,您可以创建一个SQL触…

2019年4月5日 0条评论 8点热度 阅读全文