大数据平台的权限管理工作,听起来不就是用户和密码管理这点事么?找个数据库存储一下两者的映射关系,然后再找个地方记录一下每个人可以做什么事,最后在需要的时候验证一下就好了,如果不讨论各种加解密原理和算法,那这个话题有什么值得一谈的么? 实际上,如果真正接触过这方面的工作内容,你很快就会发现,不论是在技术层面还是在产品层面,大数据平台环境下的权限管理工作都是一个让人伤脑筋的烫手山芋,它不仅仅是一个技术问题,还是一个业务问题,甚至还可能是一个人际沟通和权衡利益得失的哲学问题。。。 所以,以下内容分两部分展开,先谈哲学问题…

2017年11月30日 0条评论 1点热度 阅读全文

上一篇文章,讨论了作业调度系统的分类,流派,架构实现方案和各种方案的优缺点以及适用场景,最后还简单总结了理想中,一个完备的工作流作业调度系统,应该具备哪些功能特性。 但是,纸上得来终觉浅,绝知此事要躬行。实践才是硬道理。我司刚巧在开发工作流作业调度系统这块有一些实践经验,所以这篇文章来和大家探讨一下过去两年多来,我司Jarvis调度系统的产品功能定位,架构实现以及经验教训。 需求定位 如前文(数据平台作业调度系统详解-理论篇)所述,我司的Jarvis调度系统,经历了两代系统的迭代发展。 第一代Jarvis调度系统的…

2017年7月25日 0条评论 1点热度 阅读全文

作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 更多论文阅读笔记 http://blog.csdn.net/colorant/article/details/8256145 关键字 Paxos,一致性   == 目标问题 ==   基本的问题就是一组进程在一个不可靠的通信环境下如何对一件事情达成一致并获知结果。 常见的具体应用,比如一组节点如何决定并获知谁是主节点。…

2012年12月25日 0条评论 1点热度 阅读全文