Mapr升级指南
2013-12-30 23:40
465 查看
本指南介绍了升级软件版本MAPR集群上的过程。此页面包含:
升级过程概述
升级方法:离线升级与滚动升级
什么得到升级
目标升级程序
特定版本的注意事项
当从MAPR 1.x版升级
当从MAPR 2.x版升级
当从任何版本升级到3.0.2 MAPR
在本指南中,我们使用条款现有的版本意味着MAPR版本要升级的,并且新版本意味着要升级更新的版本来。
升级过程进行下列顺序。
规划升级过程 -确定如何以及何时进行升级。
升级准备 -准备集群升级,而它仍然运作。
升级MAPR包 -执行步骤,在维护窗口升级MAPR软件。
配置新版本 -做任何最终步骤将集群迁移到新的版本。
你会花大量的时间在规划一个适当的升级路径升级过程,然后准备集群升级。一旦你建立你需要的正确路径,步骤,准备群集是直截了当的,和步骤迅速,顺利地升级软件的举动。通过阅读本指南中的所有步骤,让你了解整个过程开始升级软件包在你面前。
此升级指南并没有解决下面的“升级”操作,这是一天到一天的群集管理的一部分:
升级许可证。支付功能,可以通过简单地将新的许可证启用。如果您是从M3的升级,重新群集的服务布局,使高可用性功能。
将节点添加到集群。请参阅将节点添加到集群。
添加磁盘,内存或网络容量集群硬件。请参阅添加磁盘,并编制各节点安装指南中。
添加的Hadoop生态系统组成部分,如HBase的和Hive。请参阅#相关主题的链接,相应的组件指南。
一个节点上升级本地操作系统。不建议这样做,而一个节点服务。
您可以执行滚动升级或离线升级,并且这两种方法都有取舍。离线升级是最流行 的选择,走最少的时间,但需要在集群中完全脱机维护中去。滚动升级网络保持文件系统的整个升级过程中,接受的读取和写入,但扩展了升级过程的持续时间。滚动升级不能被用于运行的Hadoop生态系统的组件,如HBase的和蜂巢集群。
下图显示了离线升级和滚动升级事件的高层次的序列。(箭头长度不准确描绘在每个阶段所花费的相对时间。)
本指南中描述的所有方法是就地升级,这意味着在相同节点上的集群运行升级为升级后之前。添加节点和磁盘的集群是一家集生产集群的典型生活的一部分,但不涉及升级软件。如果您打算添加磁盘,CPU或网络容量,使用标准的管理程序。请参阅将节点添加到集群或添加磁盘的详细信息。
您必须升级集群中的所有节点一次。MapReduce的层需要的JobTracker和TaskTracker必须建立ID来匹配,因此软件版本必须在所有节点匹配。
升级MAPR核心升级集群的以下几个方面:
Hadoop的MapReduce的层:JobTracker的和TaskTracker必须服务
存储层:MAPR-FS文件服务器和集装箱位置数据库(CLDB)服务
集群管理服务:动物园管理员和督导员
NFS服务器
Web服务器,包括MAPR控制系统的用户界面和REST API,以集群服务
该
任何新版本中引入的新功能和性能增强。您通常会在升级后手动启用新功能,其中升级过程中最大限度地减少集群行为不受控制的变化。
本指南重点介绍升级MAPR核心软件包,而不是Hadoop的生态系统组成部分,如HBase的,蜂巢,猪等注意事项生态系统组成部分被提出在适当情况下在本指南中,由于变更了MAPR核心可能会影响其他组件在Hadoop的生态系统。有关升级生态系统组成部分的说明,请参见每个特定组件的文档。请参阅#相关主题。如果您打算升级MAPR核心和Hadoop生态系统组成部分两者,MAPR建议先升级的核心和生态系统第二。
升级MAPR核心不影响其他的Hadoop组件存储在集群上的数据的数据格式。例如,HBase的0.92.2数据和元数据存储在MAPR 2.1群集上一样工作是升级到MAPR 3.0后。如HBase的和Hive组件有自己的数据迁移流程升级组件版本时,但这是独立的MAPR核心版本。
一旦群集服务将启动一个新的主要版本,集群不能回滚到先前的主要版本,因为新版本写入更新的数据格式到磁盘不能被还原。对于大多数次要版本和服务更新,可以降级版本(例如,X.2到X.1)。
您的MAPR部署是唯一对您的数据的工作量和您的用户的需求。因此,你的升级计划也将是独一无二的。通过本指南后,你会做出适合您需求的升级计划。以下原则本指南基地的建议,不管你具体的升级路径。
降低风险
增量变化
成功的频繁验证
最大限度地减少停机时间
计划,准备和初步实践。然后执行。
您可能也渴望触摸的每个节点尽可能少的时间,这可以抵抗尽量减少停机时间的目的。从一些步骤,准备升级可以移动到升级MAPR套餐流量,降低你要访问的每个节点的次数,但升级过程中增加节点的停机时间。
本节列出了升级注意事项适用于MAPR软件的特定版本。
与V1.2.8开始,在NFS文件格式的改变就必须重新挂载NFS挂载升级后。见NFS兼容的升级到MAPR V1.2.8或更新版本时。
蜂房释放0.7.x,这是包括在MAPR V1.X分布,不与MAPR芯v2.1与以后的工作。如果您打算升级到MAPR V2.1或更高版本,您还必须升级到蜂巢0.9.0或更高版本,可在MAPR的存储库中。
新功能不会自动启用。中所述,您必须启用它们配置新版本。
启动集群作为一个非root用户运行,你必须明确地切换到非root用户使用中的说明配置新版本。
当您从MAPR 1.x版升级到V2.1.3 MAPR或更高版本,运行
如果现有集群作为root运行,并且要过渡到一个非root用户作为升级过程的一部分,执行中描述的步骤从根将集群转换到非root用户在进行升级之前。
出于性能原因,MAPR核心的2.1.1版本中所做的显著改变存储在文件的默认的MapReduce化子性质
新的文件系统功能不会自动启用。中所述,您必须启用它们配置新版本。
如果您使用的是添加到MAPR-FS在3.0版中的表格功能,请注意以下事项:
你需要申请一个M7 Edition许可证。M3和M5的许可证不包括MAPR表的功能。
必须安装才能访问MAPR-FS表数据的MAPR HBase的客户端软件包。如果现有集群已在运行的Apache HBase的,你必须在MAPR HBase的客户端升级到可以访问MAPR-FS表的版本。
HBase的包命名为
当您从MAPR V2的早期版本升级到V2.1.3 MAPR或更高版本,运行
图标
当您从MAPR V2.1.3升级至v2.1.3.1或更高版本,运行
在MAPR分布的Hadoop版本3.0.2,则必须手动调用下面的安装后的命令来设置正确的权限
相关主题
从相关的主题MAPR安装指南
规划群集
编制各节点
升级题目的Hadoop生态系统的组成
与层叠工作
与水槽工作
与HBase的工作
与HCatalog工作
与蜂房工作
与工作亨利马乌
与Oozie的工作
与猪合作
与Sqoop工作
与呼呼工作
升级过程概述
升级方法:离线升级与滚动升级
什么得到升级
目标升级程序
特定版本的注意事项
当从MAPR 1.x版升级
当从MAPR 2.x版升级
当从任何版本升级到3.0.2 MAPR
在本指南中,我们使用条款现有的版本意味着MAPR版本要升级的,并且新版本意味着要升级更新的版本来。
升级过程概述
升级过程进行下列顺序。规划升级过程 -确定如何以及何时进行升级。
升级准备 -准备集群升级,而它仍然运作。
升级MAPR包 -执行步骤,在维护窗口升级MAPR软件。
配置新版本 -做任何最终步骤将集群迁移到新的版本。
你会花大量的时间在规划一个适当的升级路径升级过程,然后准备集群升级。一旦你建立你需要的正确路径,步骤,准备群集是直截了当的,和步骤迅速,顺利地升级软件的举动。通过阅读本指南中的所有步骤,让你了解整个过程开始升级软件包在你面前。
此升级指南并没有解决下面的“升级”操作,这是一天到一天的群集管理的一部分:
升级许可证。支付功能,可以通过简单地将新的许可证启用。如果您是从M3的升级,重新群集的服务布局,使高可用性功能。
将节点添加到集群。请参阅将节点添加到集群。
添加磁盘,内存或网络容量集群硬件。请参阅添加磁盘,并编制各节点安装指南中。
添加的Hadoop生态系统组成部分,如HBase的和Hive。请参阅#相关主题的链接,相应的组件指南。
一个节点上升级本地操作系统。不建议这样做,而一个节点服务。
升级方法:离线升级与滚动升级
您可以执行滚动升级或离线升级,并且这两种方法都有取舍。离线升级是最流行 的选择,走最少的时间,但需要在集群中完全脱机维护中去。滚动升级网络保持文件系统的整个升级过程中,接受的读取和写入,但扩展了升级过程的持续时间。滚动升级不能被用于运行的Hadoop生态系统的组件,如HBase的和蜂巢集群。下图显示了离线升级和滚动升级事件的高层次的序列。(箭头长度不准确描绘在每个阶段所花费的相对时间。)
图1。离线升级
图2。滚动升级
本指南中描述的所有方法是就地升级,这意味着在相同节点上的集群运行升级为升级后之前。添加节点和磁盘的集群是一家集生产集群的典型生活的一部分,但不涉及升级软件。如果您打算添加磁盘,CPU或网络容量,使用标准的管理程序。请参阅将节点添加到集群或添加磁盘的详细信息。
您必须升级集群中的所有节点一次。MapReduce的层需要的JobTracker和TaskTracker必须建立ID来匹配,因此软件版本必须在所有节点匹配。
什么得到升级
升级MAPR核心升级集群的以下几个方面:Hadoop的MapReduce的层:JobTracker的和TaskTracker必须服务
存储层:MAPR-FS文件服务器和集装箱位置数据库(CLDB)服务
集群管理服务:动物园管理员和督导员
NFS服务器
Web服务器,包括MAPR控制系统的用户界面和REST API,以集群服务
该
maprcli从客户端集群管理命令服务
任何新版本中引入的新功能和性能增强。您通常会在升级后手动启用新功能,其中升级过程中最大限度地减少集群行为不受控制的变化。
本指南重点介绍升级MAPR核心软件包,而不是Hadoop的生态系统组成部分,如HBase的,蜂巢,猪等注意事项生态系统组成部分被提出在适当情况下在本指南中,由于变更了MAPR核心可能会影响其他组件在Hadoop的生态系统。有关升级生态系统组成部分的说明,请参见每个特定组件的文档。请参阅#相关主题。如果您打算升级MAPR核心和Hadoop生态系统组成部分两者,MAPR建议先升级的核心和生态系统第二。
升级MAPR核心不影响其他的Hadoop组件存储在集群上的数据的数据格式。例如,HBase的0.92.2数据和元数据存储在MAPR 2.1群集上一样工作是升级到MAPR 3.0后。如HBase的和Hive组件有自己的数据迁移流程升级组件版本时,但这是独立的MAPR核心版本。
一旦群集服务将启动一个新的主要版本,集群不能回滚到先前的主要版本,因为新版本写入更新的数据格式到磁盘不能被还原。对于大多数次要版本和服务更新,可以降级版本(例如,X.2到X.1)。
目标升级程序
您的MAPR部署是唯一对您的数据的工作量和您的用户的需求。因此,你的升级计划也将是独一无二的。通过本指南后,你会做出适合您需求的升级计划。以下原则本指南基地的建议,不管你具体的升级路径。降低风险
增量变化
成功的频繁验证
最大限度地减少停机时间
计划,准备和初步实践。然后执行。
您可能也渴望触摸的每个节点尽可能少的时间,这可以抵抗尽量减少停机时间的目的。从一些步骤,准备升级可以移动到升级MAPR套餐流量,降低你要访问的每个节点的次数,但升级过程中增加节点的停机时间。
特定版本的注意事项
本节列出了升级注意事项适用于MAPR软件的特定版本。
当从MAPR 1.x版升级
与V1.2.8开始,在NFS文件格式的改变就必须重新挂载NFS挂载升级后。见NFS兼容的升级到MAPR V1.2.8或更新版本时。蜂房释放0.7.x,这是包括在MAPR V1.X分布,不与MAPR芯v2.1与以后的工作。如果您打算升级到MAPR V2.1或更高版本,您还必须升级到蜂巢0.9.0或更高版本,可在MAPR的存储库中。
新功能不会自动启用。中所述,您必须启用它们配置新版本。
启动集群作为一个非root用户运行,你必须明确地切换到非root用户使用中的说明配置新版本。
当您从MAPR 1.x版升级到V2.1.3 MAPR或更高版本,运行
upgrade2maprexecute安装升级包后,但为了把变化MAPR与交互的方式启动前监狱长脚本
sudo的。
当从MAPR 2.x版升级
如果现有集群作为root运行,并且要过渡到一个非root用户作为升级过程的一部分,执行中描述的步骤从根将集群转换到非root用户在进行升级之前。出于性能原因,MAPR核心的2.1.1版本中所做的显著改变存储在文件的默认的MapReduce化子性质
核心的site.xml和
mapred-site.xml的目录
/ opt/mapr/hadoop/hadoop- <VERSION> / conf /中。
新的文件系统功能不会自动启用。中所述,您必须启用它们配置新版本。
如果您使用的是添加到MAPR-FS在3.0版中的表格功能,请注意以下事项:
你需要申请一个M7 Edition许可证。M3和M5的许可证不包括MAPR表的功能。
必须安装才能访问MAPR-FS表数据的MAPR HBase的客户端软件包。如果现有集群已在运行的Apache HBase的,你必须在MAPR HBase的客户端升级到可以访问MAPR-FS表的版本。
HBase的包命名为
MAPR-HBase的内部,<VERSION>变化
MAPR-HBase的- <VERSION>为3.0版本(2013年5月1日)的。
当您从MAPR V2的早期版本升级到V2.1.3 MAPR或更高版本,运行
/ opt/mapr/server/upgrade2maprexecute安装升级包后,但为了把变化MAPR与交互的方式启动前监狱长脚本
须藤。
图标
当您从MAPR V2.1.3升级至v2.1.3.1或更高版本,运行
/ opt/mapr/server/upgrade2maprexecute升级后的集群中的每个节点上的脚本
MAPR芯包以设置正确的权限
maprexecute二进制。
当从任何版本升级到3.0.2 MAPR
在MAPR分布的Hadoop版本3.0.2,则必须手动调用下面的安装后的命令来设置正确的权限maprexecute二进制:
从相关的主题MAPR安装指南
规划群集
编制各节点
升级题目的Hadoop生态系统的组成
与层叠工作
与水槽工作
与HBase的工作
与HCatalog工作
与蜂房工作
与工作亨利马乌
与Oozie的工作
与猪合作
与Sqoop工作
与呼呼工作
相关文章推荐
- jquery1.9 升级指南
- ySQL 4.*或5.0.*的升级指南
- AutoMapper官方文档(二)【升级指南】
- 0209.Domino R8.0.x升级指南
- 华硕K40in升级Mountain Lion 10.8.3指南(12D65)
- Visual Studio 2010中C++项目升级指南
- Linux内核升级指南
- struts2漏洞升级指南
- Visual Studio 2010中C++项目升级指南
- angular升级指南
- Mcafee(麦咖啡) 无法升级的解决办法 附:进程详解,设置指南
- ERP SYSTEM 开发指南(三)支持程序自动升级
- Ocpjp 7升级1Z0-805学习指南
- MySQL 升级方法指南大全第1/5页
- Mapr升级方案(一)——离线升级
- Mapr与Hive工作(三)——升级hive
- jQuery 1.9升级指南
- Cisco 7609 ROMMON升级过程指南
- CentOS 7.1 升级Python2.7.10及编译mod_wsgi指南
- VMware View 升级指南