背景介绍 1、问题现状与尝试 没有做日志记录的线上系统,绝对是给系统运维人员留下的坑。尤其是前后端分离的项目,后端的接口日志可以解决对接、测试和运维时的很多问题。之前项目上发布的接口都是通过Oracle Service Bus(OSB)来做统一编排,在编排时加上日志记录,并将接口日志存储到数据库中。最后基于接口日志数据开发日志平台,来统一的接口日志分析。但我们总不能为了记录日志而使用OSB,这样很不自由。今年我们有很多后台接口使用Spring来开发,后台程序的部署环境也不局限于Oracle中间件的环境。当某些场景时…

2020年8月26日 0条评论 33点热度 阅读全文

1.向kafka对应的主题发送数据工具类代码 import java.util.{HashMap, Map, Properties} import org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord} import scala.io.Source /** * @Author: ch * @Date: 07/05/2020 12:20 AM * @Version 1.0 * @Describe: 发送数据到kafka对应的主题中 */ ob…

2020年8月20日 0条评论 64点热度 阅读全文

你还在为使用普通的 redis 可视化工具而烦恼吗 ,软件安装麻烦,查看数据乱码,查询数据卡死,没有一个漂亮的界面,来试试这个工具吧 https://gitee.com/sanri/sanri-tools-maven专门为企业打造的 redis 数据可视化工具,它具有这些功能 集群节点展示,显示节点主机,端口,角色,父节点 key 列表查询,可以查询集群所有节点,hashKey 列表查询,key 的长度,ttl , type 展示 查询某个 key 的数据,可以根据序列化和类加载器来直接展示成数据明文 支持的功能列…

2020年8月20日 0条评论 56点热度 阅读全文

1 简介 1.1 简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker。无论是kafka集群,还是producer和consumer都依赖于zookeeper来…

2020年8月19日 0条评论 43点热度 阅读全文

本篇文章主要是介绍kafkaoffsetmonitor的配置步骤 一、下载kafkaoffsetmonitor的jar包,可以到github搜索kafkaoffsetmonitor,第一个就是,里面可以下载编译好了的包。KafkaOffsetMonitor-assembly-0.2.1.jar wget https://github.com/quantifind/KafkaOffsetMonitor/releases/download/v0.2.1/KafkaOffsetMonitor-assembly-0.2.1…

2020年8月18日 0条评论 20点热度 阅读全文

继之前的mysql夺命连环之后,我发现我这个标题被好多套用的,什么夺命zookeeper,夺命多线程一大堆,这一次,开始面试题系列MQ专题,消息队列作为日常常见的使用中间件,面试也是必问的点之一,一起来看看MQ的面试题。 你们为什么使用mq?具体的使用场景是什么? mq的作用很简单,削峰填谷。以电商交易下单的场景来说,正向交易的过程可能涉及到创建订单、扣减库存、扣减活动预算、扣减积分等等。每个接口的耗时如果是100ms,那么理论上整个下单的链路就需要耗费400ms,这个时间显然是太长了。 如果这些操作全部同步处理的…

2020年8月15日 0条评论 67点热度 阅读全文

大家好,我是yes。 我们都知道 RocketMQ 和 Kafka 消息都是存在磁盘中的,那为什么消息存磁盘读写还可以这么快?有没有做了什么优化?都是存磁盘它们两者的实现之间有什么区别么?各自有什么优缺点? 今天我们就来一探究竟。 存储介质-磁盘 一般而言消息中间件的消息都存储在本地文件中,因为从效率来看直接放本地文件是最快的,并且稳定性最高。毕竟要是放类似数据库等第三方存储中的话,就多一个依赖少一份安全,并且还有网络的开销。 那对于将消息存入磁盘文件来说一个流程的瓶颈就是磁盘的写入和读取。我们知道磁盘相对而言读写…

2020年8月14日 0条评论 56点热度 阅读全文

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文首发在云+社区,未经许可,不得转载。 我叫陈新宇,在格灵深瞳负责数据流的研发,首先特别感谢如今老师,他们把Kafka一个优秀的消息中间件写出来,也感谢腾讯云做了调优工作,现在就该到我们这些做应用的人用它的时候了,我会从我们应用的层面讲一下它在我们PAAS平台中的应用,讲应用可能很难脱离业务,所以我可能会先给大家解释一下业务,这个业务中的应用,我觉得如何写卡,不卡如何设消费的骨肉普觉得这些东西大家可以自己看看文档,我就不给大家详细的描述了。 自我介绍 我…

2020年8月7日 0条评论 31点热度 阅读全文

高可用 高可用机制 Kafka在0.8以前的版本,并不提供高可用机制,一旦一个broker宕机,则宕机期间该broke上的所有partition均不可用。从0.8版本开始,kafka开始提供高可用机制。Kafka的高可用是通过多副本机制保证的。每个topic下的partition都有主分区以及多个follower(该值可在创建topic时设置,也可后续动态修改),但replica数量不能大于broker数量。比如有3个broker,创建topic的replica必须小于等于3.kafka的多副本机制是partiti…

2020年8月7日 0条评论 22点热度 阅读全文

前言 之前写过一篇《从源码分析如何优雅的使用 Kafka 生产者》 ,有生产者自然也就有消费者。 建议对 Kakfa 还比较陌生的朋友可以先看看。 就我的使用经验来说,大部分情况都是处于数据下游的消费者角色。也用 Kafka 消费过日均过亿的消息(不得不佩服 Kakfa 的设计),本文将借助我使用 Kakfa 消费数据的经验来聊聊如何高效的消费数据。 <!--more--> 单线程消费 以之前生产者中的代码为例,事先准备好了一个 Topic:data-push,3个分区。 先往里边发送 100 条消息,…

2020年8月7日 0条评论 21点热度 阅读全文
1345672000