分布式系统概述(来自学习资料)
2017-05-26 23:45
603 查看
2 分布式系统概述
注:由于大数据技术领域的各类技术框架基本上都是分布式系统,因此,理解hadoop、storm、spark等技术框架,都需要具备基本的分布式系统概念2.1 分布式软件系统(Distributed Software Systems)
² 该软件系统会划分成多个子系统或模块,各自运行在不同的机器上,子系统或模块之间通过网络通信进行协作,实现最终的整体功能² 比如分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。
2.2 分布式软件系统举例:solrcloud
A. 一个solrcloud集群通常有多台solr服务器B. 每一个solr服务器节点负责存储整个索引库的若干个shard(数据分片)
C. 每一个shard又有多台服务器存放若干个副本互为主备用
D. 索引的建立和查询会在整个集群的各个节点上并发执行
E. solrcloud集群作为整体对外服务,而其内部细节可对客户端透明
总结:利用多个节点共同协作完成一项或多项具体业务功能的系统就是分布式系统。
2.3 分布式应用系统模拟开发
需求:可以实现由主节点将运算任务发往从节点,并将各从节点上的任务启动;程序清单:
AppMaster
AppSlave/APPSlaveThread
Task
程序运行逻辑流程:
相关文章推荐
- 流式计算strom,Strom解决的问题,实现实时计算系统要解决那些问题,离线计算是什么,流式计算什么,离线和实时计算区别,strom应用场景,Strorm架构图和编程模型(来自学习资料)
- 分布式系统架构学习资料
- Elasticsearch概述、ES概念、什么是搜索、全文检索、Elasticsearch功能(来自网络+学习资料)
- 系统项目工程师学习资料
- 分布式基础学习【二】 —— 分布式计算系统(Map/Reduce)
- 【转】[新手资料]系统学习Linux的12点建议
- Asp.Net学习资料(来自MSDN)
- 利用WhiteHose一步步建立分布式系统的框架(一)--概述
- 分布式基础学习【二】 —— 分布式计算系统(Map/Reduce)
- [XAML学习资料] XAML 概述一
- 分布式缓存系统Memcached学习心得
- 来自Stormer 大虾的WPF学习资料,分享给已经学习或即将学习的童鞋们
- VC学习资料收集(18):VC ++ 如何取出系统时间
- RRC 25.331协议学习笔记二:系统消息概述
- 分布计算环境学习笔记2——分布式系统中的面向对象技术
- 分布式基础学习【二】 —— 分布式计算系统(Map/Reduce)
- 分布式系统开发学习之CS模式(二)
- [原创]分布式系统开发学习之CS模式(二) - CS模式的限制与应用及Scalability的补充讨论
- 分布式缓存系统Memcached学习心得
- 我的程序例会分享资料---寻路系统概述