分布式技术一周技术动态 2016-04-24

分布式系统实践

1. 开源项目Dr.Elephant

https://mp.weixin.qq.com/s?__biz=MjM5MDAxNjkyMA==&mid=2650719285&idx=1&sn=89ab4b437446d0f248c6968d7c9848d6&scene=1&srcid=0415fhJcJEWdz91AciEfzPGl&key=b28b03434249256beed6c65277a3db934615510ba315fd8343d87334cef74696e64e99b07de7b240dad5b7e127fda8d7&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=SCFFXUieWKmFGs93vKib2g3sAk4ljetiBsgxGgVI3XY8VdMI7a07Gpzr4OhtrZQV

要点: Dr.Elephant是hadoop和Spark任务的性能分析工具, 帮助用户发现任务中的性能瓶颈, 帮助开发人员优化自己的作业.

2. 保证分布式系统数据一致性的6种方案

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653546976&idx=1&sn=c3fb2338389a41e7ab998c0c21bd3e5d&scene=1&srcid=0419adhsEy7tHcufsbnXTyIE&key=b28b03434249256be82acf386565645a0c91c3606e0021d51168afde6a5872a3eec19edd5fc6a63f13299cc2b8d513b3&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=43TyNXiLtfe63idLotGZwInAk8Ip4Wel%2BE9zXUiCYTX3RslAT0Ianh2Tp5frtWBX

要点: 文章总结了6个大型互联网公司的分布式事务解决方案, 供大家参考.

3. 开源DC/OS介绍：容器的最佳运行平台

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=2649689858&idx=1&sn=ca33bacd755b66a97d0d31e09a1259a9&scene=0&key=b28b03434249256b007d924a2dc82c6209061d9993bc812ad8dbb3247b9f1f78ce5db99fe2030e835c932e342cdb1582&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=vxOjbiy65D6z6j5WfnH56m4r3p3CXXgkb6jwnkrs1N0N1fNFDpadktQd1TwbbPx4

要点: Mesosphere基于mesos提供了整套商业解决方案, 现如今mesosphere吸收了商业产品中的很多优点, 联合了十几家公司开源了一整套DC/OS解决方案, 提供了30多个组件, 造福人类啊.

服务化和资源管理技术

1. 追捧&抗拒 | Docker使用的一些思考和理解

https://mp.weixin.qq.com/s?__biz=MzI4NzE1NTYyMg==&mid=2651100662&idx=1&sn=5a63da74c669a5a2011facb4c22370e9&scene=0&key=b28b03434249256b03068912d9845538d57b54eacc03b75b9876cc557b0cbb87b26d831ad1080cb9e0f844619640488a&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=SCFFXUieWKmFGs93vKib2g3sAk4ljetiBsgxGgVI3XY8VdMI7a07Gpzr4OhtrZQV

要点: 这篇文章的作者深入的思考了docker的本质, docker只是一种手段而已, 并且结合自身实践, 提出了对docker不一样的思考. 我很欣赏作者的思路, 我们有很多同学, 特别喜欢追求所谓高大上的技术, 为了新技术而新技术, 这其实是不对的. 我们做技术的目的其实是为了解决问题, 只有思考并理解了本质, 才能找到正确的解决问题的方法.

2. 学习Docker容器网络模型 - 搭建分布式Zookeeper集群

https://mp.weixin.qq.com/s?__biz=MzA4MjA0MTc4NQ==&mid=2651573179&idx=3&sn=3cf051901a8ddb4fb3cf9a4bf3b6eee4&scene=1&srcid=0417gPsSaeqR70Q4VOaZJh9V&key=b28b03434249256bbd10f3262b54b5c49d864a7b2e9822583b3df4873ba192d924cf2740702327ea417fc52a816f01b8&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=SCFFXUieWKmFGs93vKib2g3sAk4ljetiBsgxGgVI3XY8VdMI7a07Gpzr4OhtrZQV

要点: 网络配置可以说是docker中最为复杂的技术了, 本文通过使用docker部署zookeeper的例子, 让大家更直观的理解docker支持的不同网络模型.

3. 生产环境中使用Docker必须注意的事情

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=2649689848&idx=1&sn=3c6e6abd3474af46771c900943627214&scene=0&key=b28b03434249256b9435067546bbaba1ad867daa311ccf77e19aec641daae69fae4ed979fb7d0d0c0ef3489af19e6da1&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=43TyNXiLtfe63idLotGZwInAk8Ip4Wel%2BE9zXUiCYTX3RslAT0Ianh2Tp5frtWBX

要点: 这篇文章源于一个讽刺docker的小视频<<希特勒的怒吼-docker版>>, 讲述了将docker应用于生产环境需要考虑的问题. 还是那句话, 不要为了使用docker而使用docker.

4. 从 Linux 进程的角度看 Docker

https://mp.weixin.qq.com/s?__biz=MzA3MjEyNTE4MQ==&mid=2652724723&idx=1&sn=1c56eb57eafa148f9af0316535316659&scene=0&key=b28b03434249256b4b340bbda85f679614ffafdfe8493a401dbc62c0ccb82727fc38204fa34f90ca303417c111b98565&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=43TyNXiLtfe63idLotGZwInAk8Ip4Wel%2BE9zXUiCYTX3RslAT0Ianh2Tp5frtWBX

要点: 这篇文章从linux内核的task_struct说起, 深入的讲述了docker daemon和docker容器以及用户cmd之间的关系, 让大家对docker的理解更深一步, 是我喜欢的文章类型.

5. 纯干货！docker容器网络通信原理分析

https://mp.weixin.qq.com/s?__biz=MjM5NDI0MjM3Mg==&mid=2651157463&idx=1&sn=04cc3701cc1a5b7af23af22188d38e08&scene=1&srcid=0420JYwWhvm042ZX2KFVDgA9&key=b28b03434249256b7ef02e714efcdb3e7b213b0e843a2eb5de3d0cbbc1ebf28731e48be52037e987316be4471a788a7a&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=vxOjbiy65D6z6j5WfnH56m4r3p3CXXgkb6jwnkrs1N0N1fNFDpadktQd1TwbbPx4

要点: 网络是容器中最为复杂的部分, 这篇文章介绍了docker支持的多种网络模型, 以及实现跨主机通信的原理.

服务高可用技术

1. 互动1808亿次，16倍的超越！谈支付宝红包的高并发挑战

http://toutiao.com/a6274687360396574978/?tt_from=weixin&utm_campaign=client_share&app=news_article&utm_source=weixin&iid=3867576818&utm_medium=toutiao_ios&wxshare_count=1

要点: 这篇文章讲述了应对春晚, 支付宝红包针对8大技术难题做出的解决方案, 事实证明支付宝红包很好的应对了春晚红包的过程.

2. 汽车之家运维团队倾力打造的配置管理系统AutoCMS

https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=2651296455&idx=1&sn=ae9ff5e7f3a103559d690b79dfae1962&scene=1&srcid=04237s4tPg6D1kP3yV6flLUl&key=b28b03434249256b273e04462a72dc022d1ae57537307be98e59d092f92a7d8a857f369932d88aee4feec8450e380e7f&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=VVmhxsseXB6ZmcTzu6t8zUCIrqqsGe3mp1xGaqIXFoA3Xj4KZEK4n6DQcBe4Pb6j

要点: 自动化的配置管理和部署一直是我们追求的目标, 本文介绍了汽车之家运维团队的AutoCMS系统, 看看如何实现自动化和灰度化的配置管理和部署.

DevOps 技术

1. 推荐-zabbix原理篇

https://mp.weixin.qq.com/s?__biz=MzA3OTgyMDcwNg==&mid=2650624934&idx=1&sn=5c04fb6f52e7ed1f9aa6bc429bcfa0d8&scene=0&key=b28b03434249256b7652262f572695e74609ad54235e69c5e413adcf391b0308cd3a139299b3e7c9b0fd76762fdef323&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=SCFFXUieWKmFGs93vKib2g3sAk4ljetiBsgxGgVI3XY8VdMI7a07Gpzr4OhtrZQV

要点: zabbix是一款非常流行的分布式监控开源系统, 本文概要性的介绍了zabbix的基本原理, 适合入门.

2. 聊聊监控（二）：谁为代码负责以及常见的监控痛点

https://mp.weixin.qq.com/s?__biz=MzA5Nzc4OTA1Mw==&mid=2659596986&idx=1&sn=2385649e38a9299912df7f2f662ceb89&scene=0&key=b28b03434249256b51c80bec449ba36be9201c4b549a7838bbf27100f5cb0dca2b099a20110f3c074fa12901cda41f63&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=RfnVlzqFnCuHCn8FZdDKkWDaFychENXMFJ1eCl5k9CvQEUu4htWvNJ%2BInznBXcp9

要点: 『聊聊监控』系列文章翻译自Baron的博客，如作者所说，希望你在阅读该系列文章之后，可以在系统中应用这些最佳实践，并为你的应用构建一个高度可监控的架构，用小成本实现极佳的系统能见度。本文是第二篇, 强调了如果开发人员不负责运维, 那么很难做出运维友好性的软件.

3. Spotify的机器管理进化之路

https://mp.weixin.qq.com/s?__biz=MzI4OTE3MTI1NA==&mid=2649863021&idx=1&sn=d5d8ec849382133b788c49f486acf23b&scene=0&key=b28b03434249256b51ee718a7ce417a9cc12d0f3bb7c240d120182fb12fac6d185b6dbf05285894f167598b321354906&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=43TyNXiLtfe63idLotGZwInAk8Ip4Wel%2BE9zXUiCYTX3RslAT0Ianh2Tp5frtWBX

要点: Spotify是一家瑞典的提供流媒体音乐服务的公司，公司创建于2006年4月，在2008年10月正式对外提供服务，目前是全球最大的正版流媒体音乐服务平台。本文讲述了Spotify公司机器管理的几个阶段, 虽然只管理了1.2w台物理机+虚拟机, 但是技术还是很先进的, 可以实现分钟级的资源交付, 值得学习.

大杂烩

1. C++ Rvalue References Explained

http://thbecker.net/articles/rvalue_references/section_01.html

要点: 我看过好几篇介绍右值引用的中文文章, 但是直到看了这篇英文文章之后, 才发现只有这篇文章讲解的深入和透彻, 看来还是要多看英文文档啊, 推荐给大家.

2. C++字符串处理小结

http://www.jianshu.com/p/65dfcc4e8342?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 字符串是我们日常开发过程中最最常用的功能了, 遗憾的是c++标准库提供的支持却非常有限, 本文总结了c++11和boost中对字符串处理的支持.

3. 老码农教你学英语

http://blog.jobbole.com/45296/#rd&sukey=fa67fe3435f5c4beaeb474ce285139ccc6e1005dd2f1426d7ca255d27b7f836cf2bf38bf24f640769bb5596191eee701

要点: 计算机技术的大量文章都是用英文写的, 所以学好应用对IT工作的我们来说是非常有帮助的. 本文总结了作者学习英语的方法, 你可以试试看.