《分布式技术原理》根据极客时间的《分布式计算原理和算法》的收费课程整理得到,分享一起学习; 目录 分布式的三围 性能(Performance) 资源占用(Resource Usage) 可用性(Availability)可扩展性(Scalability) 场景和取舍 按照业务的架构层次栈,自底向上按照资源、通信、数据与计算的维度,梳理出了 4 个技术层次:分布式资源池化、分布式通信、分布式数据存储与管理、分布式计算。这样的划分符合业务架构设计的一般规律,即“在一定资源上,进行一定通信,通过一定计算,完成一定数据的加…

2021年8月28日 0条评论 9点热度 阅读全文

目录 分布式选举 长者为大:Bully 算法 民主投票:Raft 算法 具有优先级的民主投票:ZAB 算法 分布式选举 主节点在一个分布式集群中负责对其他节点的协调和管理,也就是说其他节点都必须听从主节点的安排。主节点的存在就可以保证其他节点的有序运行,以及数据库集群中的写入数据在每个节点上的一致性。这里的一致性是指,数据在每个集群节点中都是一样的,不存在不同的情况。 当然,如果主故障了,集群就会天下大乱,就好比一个国家的皇帝驾崩了,国家大乱一样。比如,数据库集群中主节点故障后,可能导致每个节点上的数据会不一致。这…

2021年8月28日 0条评论 4点热度 阅读全文

分布式和人工智能 2016 年 3 月,Google AlphaGo 与围棋世界冠军李世石进行围棋人机大战,以 4 比 1 的总分获胜。至此,人工智能技术被推向了高潮。现在,人工智能已经广泛渗入到了我们的生活中,比如手机拍照美化、人脸识别、平安城市、自然语言处理、语音识别等。顾名思义,人工智能就是机器模拟人的思维,像人那样智能呗。目前,对人工智能的定义大多可划分为四类,即机器“像人一样思考”“像人一样行动”“理性地思考”和“理性地行动”。这里的行动,指的是采取行动或制定行动的决策。 那人工智能是如何让机器像人那样智…

2021年8月28日 0条评论 4点热度 阅读全文

目录 分布式计算 什么是分而治之? 分治法的原理 MapReduce 工作原理 MapReduce 实践应用 总结 分布式计算模式之Stream Stream 工作原理 分布式计算 Hadoop 这个框架主要用于解决海量数据的计算问题。那么,它是如何做到海量数据计算的呢?你可能会想,既然是海量数据,规模这么大,那就分成多个进程,每个进程计算一部分,然后汇总一下结果,就可以提升运算速度了。其实,整个计算流程,我们可以很形象地用一个词来解释,就是“同流合污“,在分布式领域中就叫作 MR 模式,即 Map Reduce …

2021年8月28日 0条评论 3点热度 阅读全文

目录 分布式共识:存异求同 PoW PoS DPoS   分布式共识:存异求同 其实,这个选主过程就是一个分布式共识问题,因为每个节点在选出主节点之前都可以认为自己会成为主节点,也就是说集群节点“存异”;而通过选举的过程选出主节点,让所有的节点都认可该主节点,这叫“求同”。由此可见,分布式共识的本质就是“存异求同”。 所以,从本质上看分布式选举问题其实就是传统的分布式共识方法,主要是基于多数投票策略实现的。基于多数投票策略的分布式选举方法,如果用于分布式在线记账一致性问题中,那么记账权通常会完全掌握到主节…

2021年8月28日 0条评论 2点热度 阅读全文

目录 分布式存储 分布式系统设计原则 CAP准则 CAP策略选择 分布式存储系统三要素

2021年8月28日 0条评论 4点热度 阅读全文

分布式体系结构之集中式结构 云这个话题对我们来说已经非常熟悉了。可以说,云在我们的生活中无处不在,比如我们平时看的视频通常就是放在云上的。当我们要播放一段视频时,请求会先转发到云上,从云上下载数据到本地,然后播放。在这里,你肯定会疑惑,云上资源那么丰富吗,可以存放这么多东西吗?云上的资源确实丰富,因为它可以尽可能地把更多的服务器组织起来,作为一个统一的资源,为多个用户提供服务。这里的重点是,把多个服务器管理起来,作为一个统一的资源提供服务。而如何组织,就是分布式体系结构的范畴了。 你会发现,很多场景下,我们的请求都…

2021年8月28日 0条评论 4点热度 阅读全文