分布式技术一周技术动态 2016.06.05

分布式系统实践

1. HDFS EC：将纠删码技术融入HDFS

https://mp.weixin.qq.com/s?__biz=MjM5MjAwODM4MA==&mid=2650686551&idx=1&sn=1369ddcaedbcd58124e77ab19a8cea24&scene=0&key=8d8120cb97983fad822e4657bcb6a25dacefda3adcc4bf94838f48a34e807da9fd6f97dbd17fd0789ac95a2495732b30&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=NJxc2%2BcBxiFjZON9CHvETqGwJBSXSTGI92J7xeEildq7qqTFvN6sV6AYBum8%2BlFt

要点: EC编码技术可以有效的降低存储副本数, 节省存储空间, 本文介绍了HDFS融入EC编码的技术细节.

2. 这可能是最全的 Redis 集群方案介绍了

https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=2651296671&idx=1&sn=366de50a6787963517ff6e096c9d1643&scene=0&key=8d8120cb97983fad0e99e973db6280f58cb181930c9ca6493c4a9bf5abafa18ff0e16f88c755d735ff8e40dafeed56f2&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=1LmwfVuGgR%2B81vRRRZQJxpIjzwGKv7mVi9Ea7l5Z1cF2FOBZ3oJGNwAHlp9RxhPw

要点: 当单个redis实例服务满足数据量和性能需求的时候, 唯一的做法就是水平扩展了, 然而不同的redis集群组织形式却有很大差别, 本文介绍了几种常见的redis集群解决方案, 其中codis作为豌豆荚开源的redis集群解决方案最受欢迎. 实际上, 我们的mint也是一种KV存储系统的集群解决方案, 只不过后端存储引擎不是redis而是sstable, 但是面临的问题和解决思路是一样的.

服务化和资源管理技术

1. Docker 微服务的性能监控与日志收集

http://mp.weixin.qq.com/s?__biz=MjM5NzAwNDI4Mg==&mid=504706725&idx=1&sn=b31b319eafdab524a9d851f914cd30a6#rd

要点: 微服务的发展给监控带来了很大的挑战, 这篇文章介绍了基于容器的常用监控解决方案, 并进行了简要的对比.

服务高可用技术

1. 负载均衡的那些算法们

http://mp.weixin.qq.com/s?__biz=MzA3MDExNzcyNA==&mid=2650392075&idx=1&sn=fca2ebeca258e15f78a43c44bbb6153d&scene=0#wechat_redirect

要点: 科普了一下负载均衡的常用算法, 除了算法之外, 还给出了伪代码, 对理解算法非常有帮助.

2. 淘宝技术分享 HTTP长连接200万尝试及调优

https://mp.weixin.qq.com/s?__biz=MzAwNjMxNjQzNA==&mid=2651150570&idx=1&sn=cd435dfe5b3c2cfc37464f30ee94ea46&scene=0&key=8d8120cb97983fadb12798ee14586dc53f7cb798875ec1af1820b3d57d4ca40e6d8a8bd6ed71303430dc74d69156f587&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=NJxc2%2BcBxiFjZON9CHvETqGwJBSXSTGI92J7xeEildq7qqTFvN6sV6AYBum8%2BlFt

要点: 本文介绍了实现200万HTTP长连接所需要进行的内核参数调优和实验.

3. Linux下高并发socket最大连接数所受的各种限制

https://mp.weixin.qq.com/s?__biz=MzAwNjMxNjQzNA==&mid=2651150571&idx=1&sn=3b530ab61da9b20df6b2ff30056cce4a&scene=0&key=8d8120cb97983fade87798ac2ab7c8fc5887921f408f7984e261ef58fa33352a1a7056a3487499cf0df80fe6deab423d&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=ERuEXw7VDdpi2mBibKUTxe84cVKV402zRFFKqBu0FVrz1ZCNGUOWGZS%2F6nOyVCOg

要点: linux存在很多内核参数会影响进程的最大socket连接数, 并且默认值都比较小, 本文告诉你都有哪些参数可以调整这些限制.

DevOps 技术

1. 基于CMDB与SALTSTACK的运维自动化之路

https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=2651296637&idx=1&sn=615013dfa2fbaf226c227467bf68bf6a&scene=0&key=8d8120cb97983fad9c516a1c252592105a45340ca926abd332beeaa35138dcde0965bb38e9f93c23dd9b5bed446c11f4&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=4wHH6MjXbp7JHsI2q17%2BOzZl8Ra5JSAeTa7AgllJrZX0XgYrTZjAoXn20fS%2Bc2WP

要点: 虽然随着DevOps的发展, 基于ITIL的运维流程逐步被淘汰, 但是CMDB仍然是整个运维工作的核心, 只要建设好CMDB, 才能实现全面的运维自动化. 本文介绍了基于CMDB和SaltStack实现的运维自动化过程, 文章中提到的分层架构值得我们学习.

2. DevOps年度报告：Docker、Puppet和Chef，谁更受欢迎？

https://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=2651660009&idx=1&sn=1382cd6e82d2c3e480de13b7013f0557&scene=0&key=8d8120cb97983fad5baaebda232d50ba44f39c7e10b85b505598e9c44c3fb2d11e7c07db72b01979499cfecf907614d3&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=ERuEXw7VDdpi2mBibKUTxe84cVKV402zRFFKqBu0FVrz1ZCNGUOWGZS%2F6nOyVCOg

要点: 这是一份相对权威的DevOps调查分析报告, 报告显示越来越多的公司加入了DevOps阵营, 而且Puppet, Chef和Docker成为了使用量最多的DevOps工具.

3. 浅谈自动化运维设计思想

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=401724680&idx=1&sn=f71dcd472e5b22d4fb11a8d27abec13e&scene=21#wechat_redirect

要点: 作者从3个方面阐述了完整的自动化运维体系的设计思想, 包括监控自动化处理, 模版化自动部署以及自动化技术思想.

大杂烩

1. 图说设计模式

http://design-patterns.readthedocs.io/zh_CN/latest/index.html

要点: 在敏捷开发模式的大背景下, 详细的设计文档写的越来越少了, 设计模式也由于复杂度高, 不容易记忆而逐步被简单的面向对象设计的六大原则取代. 不过24种经典的设计模式中还是有一些简单的模式可供参考的, 比如工厂模式, 适配器模式, 修饰器模式等, 本文用比较简洁的图概要说明了常见的设计模式和UML图的画法.

2. SHELL编程之执行过程

http://liwei.life/2016/05/23/shell%E7%BC%96%E7%A8%8B%E4%B9%8B%E6%89%A7%E8%A1%8C%E8%BF%87%E7%A8%8B/

要点: 作为linux的开发人员, 估计对shell非常熟悉了, 但是你真的理解shell的执行过程吗? 所有的命令都会fork子进程执行吗? shell的退出码有什么约定吗? 本文介绍了shell的执行过程, 并且回答了上述问题.