行业牛人和开源软件改变技术世界
2016-10-05 16:32
561 查看
Google在很长一段时间里都是技术圈内的顶尖技术的代名词。外界也不清楚Google是怎么完成一些不可能完成的任务的。当年,大家光是想象Google怎么保存那些海量的索引,是怎么做到的都不知道。所以大家想象Google里面每个工程师都是百年一遇的大神吧。 直到后来,Jeff Dean的三篇论文Google File System,MapReduce和BigTable一发布,大家才注意到,原来Google有个Systems and Infrastructure Group,有个Jeff Dean大神。原来他们把处理海量数据的方法,写成了内部系统,Google的工程师,不需要是神,只要学会这套工具,就可以操纵海量的数据了。 但是,可惜的是,Jeff Dean和Google只开放了他们的思想,但是没开放内部工具出来。这时候,一个叫做Doug Cutting的大神站了出来。 Doug Cutting是Lucene的作者,他当年曾在多家公司做搜索,还曾经在Apple做过搜索,他觉得业界缺乏一个开源的好用的搜索引擎内核。他就写了Lucene,Lucene是现在广泛使用的Elastic Search的内核。可以说,现在你在全世界的很多网站内点搜索,都是Lucene在支撑。仅当年我们创业的时候,因为我们在用Lucene,所以,我们的客户跑在Lucene上的搜索量就有几千万。 Doug Cutting把Jeff Dean的思想实现了出来,做了一个开源软件叫做Hadoop。Hadoop兴起后,其实分析处理海量数据,就变成了一个人人都可以做的事情(买得起机器就可以),从而产生了一场大数据的革命。 我举这个例子什么意思?就是Google很牛逼,Google在04-5年就有能力非常高效的分析处理海量数据。在那个时间点,能做Google量级的事情的人没有几个,这是非常有技术含量的。但是Jeff Dean一公布具体思想,这个技术含量就骤减。但是,仍旧是很有技术含量的。等到Doug Cutting把Hadoop做出来,分析处理海量数据的门槛实际上就降低到了会编译和搭建这个Java开源项目就可以了。 当然,有一些领域内的东西,即使有了开源软件,由于你对领域知识的匮乏,你仍旧很难高效的开发。比如Lucene,非常好用,但是Lucene是一个底层引擎,如果你对倒排索引的各种细节不够清楚,你直接用Lucene开发出好用的搜索是很难得。所以,当时我做了一个Cypress系统,用XML/HTTP请求把Lucene完全封装起来,用户不用懂倒排索引的任何细节就可以用好搜索了。后来流行的Elastic Search,跟我的设计思路如出一辙,唯一的区别是,他用JSON来做数据传输的格式,我用XML。一般团队使用Lucene,可能需要几个月才能做一个可用的搜索,用Cypress或者Elastic Search,一天就够了。 在这些牛人和开源工具的作用下,很多原来无比高大上,也没有几个人可以做的领域,很快就变成了随便一个工程师都可以学会的东西。实际上,中国的大多数技术公司,核心还是业务,而不是技术,技术的价值在于良好的保障业务。公司真正赚钱是靠业务。美国呢,大公司里面技术比重更高的公司要多一些。但是,也有大量的公司,核心业务并不是技术本身。
在这样公司里面实现业务逻辑的工程师是主流。他们虽然非常重要,但是他们做的事情,价值不是技术含量,而是能不能完美的满足业务需求。
作者:郝培强
链接:https://zhuanlan.zhihu.com/p/22646254
来自为知笔记(Wiz)
在这样公司里面实现业务逻辑的工程师是主流。他们虽然非常重要,但是他们做的事情,价值不是技术含量,而是能不能完美的满足业务需求。
作者:郝培强
链接:https://zhuanlan.zhihu.com/p/22646254
来自为知笔记(Wiz)
相关文章推荐
- WordPress十年:一款开源软件如何改变了世界和自己?
- 这些老外的开源技术养活了很多国产软件
- "开源"与"Web服务"领跑07上半年软件技术发展
- 【资料合集】阿里巴巴开源技术汇总——内含115个软件与100+技术文档、PDF下载
- 软件开发技术:开源软件(open source)
- 微软真的改变对开源软件的态度了吗?
- WINFORM 局域网PING 工具(技术改变世界-cnblog)
- 第一次全面揭示世界软件巨人微软致胜的技术奥秘
- 改变IT世界的11大Apache开源技术(转)
- 改变IT世界的11大Apache开源技术
- 电力行业适合学习的开源软件
- "开源"与"Web服务"领跑07上半年软件技术发展
- 米科·哈普宁:开源软件将使世界更安全
- 开源改变世界,分享改变世界
- 那些年,追过的开源软件和技术
- ERP软件开源是中国软件行业未来之路
- 本人制作的股票技术分析软件正式开源(.net wpf)
- 基于百度API的开源自动翻译.srt文件软件的实现的几个技术细节总结附源代码
- 开源空间信息软件体系与技术概述
- 成熟的 3D 打印技术能改变哪些行业?