Google SRE (DevOps)

Borg + Omega 两大平台
http://www.infoq.com/cn/presentations/experience-of-google-devops-landing-practice#anch131871
#Site Reliability Engineering (DevOps)

》Site

生产线管理、跟服务一起成长、最懂基础架构设施

》Reliability

SLO(Service Level Objective):make plan

人的贡献力量是有限的:利用自动化工具

救火队员与纵火队员，自己点火烧自己

选好服务上线的时间(避免人不在的时间段)

》Engineering

做工程师该做的事、对未来负责(计划)、报警系统重度(中毒)用户

#人力资源

》技能点偏系统段 (software + system) engineering

》重度强迫症与处女座 not accept doing thing over and over by hand "Ben Treynor" 人不能参与程序维护

》脸皮厚 DEV(more and more)与 OPS(say no) 的永恒冲突 (Eternal conflict) 归结为数字结论

#组织地位

BOSS ----

产品线(小boss、艺术类、开发团队) ----

生产线(业务性SRE、基础架构SRE、数据中心运营(每天都在处理问题)、供应链(供应商或自主制造))

hot-add cpu/memory

#SRE团队

》松散的学习型组织(以产品线为核心、松散的学习型组织)

》SRE要做什么、SRE说了算

PRR(Prodcution Readiness Review) 解决应用潜在问题

#项目早期活动

1.自动化建议(automating routine tasks)

2.points out errors,omissions in documents看开发者应用文档

3.长期愿景与目标

#项目成熟期活动

fixing known bugs (take turns and on-call)

#Deployment model

Following the sun

任何一个成员都可以解决问题，留下不能解决的问题文档

Redundancy everywhere:多做准备

#Maturity model

initial - repeatable - defined - managed - optimizing

#OPS Overload

1.避免复杂度过高(持续不断地降低系统复杂度-Reduce complexity)

2.No humans operating (世界只剩下你和电脑)

3.Quarterly Service Review (Provide career path:成长空间)

#SLO Budgeting

#Failures分类

>.安全生产指标

MTBF/MTTR

#Graceful degradation

1.Caching/Time shifting

2.Failover

3.Redundant Instances,N+@

4.Localization

#实战演练

#D.I.R.T

#POSTMOTERM 演练文档as lessons

1.纪录facts

2.Root cause

# 5 Whys

#Make Action Plan