如何在 Ubuntu 16.04 中安装 Ceph 存储集群
2017-03-22 00:00
686 查看
Ceph 是一个高性能、可靠、可扩展的开源存储平台。它是一个自由的分布式存储系统,提供了对象、块和文件级存储的接口,并可以不受单点故障的影响而运行。
在这个教程中,我将指导你在 Ubuntu 16.04 服务器上安装建立一个 Ceph 集群。Ceph 集群包括这些组件:
Ceph OSD (ceph-osd) - 控制数据存储,数据复制和恢复。Ceph 集群需要至少两个 Ceph OSD 服务器。这次安装中我们将使用三个 Ubuntu 16.04 服务器。
Ceph Monitor (ceph-mon) - 监控集群状态并运行 OSD 映射 和 CRUSH 映射。这里我们使用一个服务器。
Ceph Meta Data Server (ceph-mds) - 如果你想把 Ceph 作为文件系统使用,就需要这个。
所有节点上的 root 权限
我将使用下面这些 hostname /IP 安装:
运行下面的命令来完成配置。
现在你可以试着在两个服务器间
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194249x4s9avayb14z6vy9.png)
生成
下面,为 ssh 创建一个配置文件
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194249o57wzwsusszqe71v.png)
改变配置文件权限为 644。
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194250wdfenasiossofsfi.png)
现在尝试从 ceph-admin 节点登录 osd1 服务器,测试无密登录是否正常。
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194250s1335gu1u57kuu43.png)
登录到 ceph-admin 节点,然后安装 ufw 包。
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194251sc4bpzcel3tqs8vt.png)
从 ceph-admin 节点,登录到监控节点 mon1 然后安装 ufw。
从 ceph-admin 登录到每个 ceph-osd 节点安装 ufw。
/dev/sda 用于根分区
/dev/sdb 空闲分区 - 20GB
我们要使用 /dev/sdb 作为 ceph 磁盘。从 ceph-admin 节点,登录到所有 OSD 节点,然后格式化 /dev/sdb 分区为 XFS 文件系统。
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194252vpk3z19i1px6d354.png)
用 pip 命令在 ceph-admin 节点安装 ceph-deploy 。
ceph-deploy 工具已经安装完毕后,为 Ceph 集群配置创建一个新目录。
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194253lvbhmpbbfbqdpujv.png)
用 vim 编辑
现在到 mon1 节点部署监控节点。
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194254vzsd4vlszc4bty7h.png)
检查所有 osd 节点的 /dev/sdb 磁盘可用性。
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194255agfikvailfkoifkj.png)
你将看见我们之前创建 XFS 格式的 /dev/sdb。
下面,在所有 OSD 节点上用 zap 选项删除该分区表。
现在准备所有 OSD 节点,请确保结果没有报错。
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194256qk1spg191p9sgsff.png)
用下面的命令激活 OSD:
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194258wzwmrrndwpcc9wq7.png)
结果是 /dev/sdb 现在已经分为两个区:
/dev/sdb1 - Ceph Data
/dev/sdb2 - Ceph Journal
或者你直接在 OSD 节点山检查。
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194300el3cut3r4jbv77nt.png)
接下来,部署管理密钥到所有关联节点。
从 ceph-admin 节点,登录到 Ceph 监控服务器 mon1。
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194301xsywwwyksnplylts.png)
确保 Ceph 健康状态是
我们在 Ubuntu 16.04 建立一个新 Ceph 集群成功。
via: https://www.howtoforge.com/tutorial/how-to-install-a-ceph-cluster-on-ubuntu-16-04/
在这个教程中,我将指导你在 Ubuntu 16.04 服务器上安装建立一个 Ceph 集群。Ceph 集群包括这些组件:
Ceph OSD (ceph-osd) - 控制数据存储,数据复制和恢复。Ceph 集群需要至少两个 Ceph OSD 服务器。这次安装中我们将使用三个 Ubuntu 16.04 服务器。
Ceph Monitor (ceph-mon) - 监控集群状态并运行 OSD 映射 和 CRUSH 映射。这里我们使用一个服务器。
Ceph Meta Data Server (ceph-mds) - 如果你想把 Ceph 作为文件系统使用,就需要这个。
前提条件
6 个安装了 Ubuntu 16.04 的服务器节点所有节点上的 root 权限
我将使用下面这些 hostname /IP 安装:
主机名 IP 地址ceph-admin 10.0.15.10mon1 10.0.15.11osd1 10.0.15.21osd2 10.0.15.22osd3 10.0.15.23client 10.0.15.15
第 1 步 - 配置所有节点
这次安装,我将配置所有的 6 个节点来准备安装 Ceph 集群软件。所以你必须在所有节点运行下面的命令。然后确保所有节点都安装了 ssh-server。创建 Ceph 用户
在所有节点创建一个名为cephuser的新用户
创建完新用户后,我们需要给useradd -m -s /bin/bash cephuserpasswd cephuser
cephuser配置无密码的 sudo 权限。这意味着
cephuser可以不先输入密码而获取到 sudo 权限运行。
运行下面的命令来完成配置。
echo "cephuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephuserchmod 0440 /etc/sudoers.d/cephusersed -i s'/Defaults requiretty/#Defaults requiretty'/g /etc/sudoers
安装和配置 NTP
安装 NTP 来同步所有节点的日期和时间。先运行ntpdate命令通过 NTP 设置日期。我们将使用 US 池的 NTP 服务器。然后开启并使 NTP 服务在开机时启动。
sudo apt-get install -y ntp ntpdate ntp-docntpdate 0.us.pool.ntp.orghwclock --systohcsystemctl enable ntpsystemctl start ntp
安装 Open-vm-tools
如果你正在 VMware 里运行所有节点,你需要安装这个虚拟化工具。sudo apt-get install -y open-vm-tools
安装 Python 和 parted
在这个教程,我们需要 python 包来建立 ceph 集群。安装 python 和 python-pip。sudo apt-get install -y python python-pip parted
配置 Hosts 文件
用 vim 编辑器编辑所有节点的hosts文件。
粘帖如下配置:vim /etc/hosts
保存10.0.15.10 ceph-admin10.0.15.11 mon110.0.15.21 ceph-osd110.0.15.22 ceph-osd210.0.15.23 ceph-osd310.0.15.15 ceph-client
hosts文件,然后退出 vim 编辑器。
现在你可以试着在两个服务器间
ping主机名来测试网络连通性。
ping -c 5 mon1
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194249x4s9avayb14z6vy9.png)
第 2 步 - 配置 SSH 服务器
这一步,我们将配置 ceph-admin 节点。管理节点是用来配置监控节点和 osd 节点的。登录到 ceph-admin 节点然后使用cephuser用户。
管理节点用来安装配置所有集群节点,所以 ceph-admin 上的用户必须有不使用密码连接到所有节点的权限。我们需要为 'ceph-admin' 节点的ssh root@ceph-adminsu - cephuser
cephuser用户配置无密码 SSH 登录权限。
生成
cephuser的 ssh 密钥。
让密码为空。ssh-keygen
下面,为 ssh 创建一个配置文件
粘帖如下配置:vim ~/.ssh/config
保存文件并退出 vim。Host ceph-admin Hostname ceph-admin User cephuserHost mon1 Hostname mon1 User cephuserHost ceph-osd1 Hostname ceph-osd1 User cephuserHost ceph-osd2 Hostname ceph-osd2 User cephuserHost ceph-osd3 Hostname ceph-osd3 User cephuserHost ceph-client Hostname ceph-client User cephuser
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194249o57wzwsusszqe71v.png)
改变配置文件权限为 644。
现在使用chmod 644 ~/.ssh/config
ssh-copy-id命令增加密钥到所有节点。
当请求输入密码时输入你的ssh-keyscan ceph-osd1 ceph-osd2 ceph-osd3 ceph-client mon1 >> ~/.ssh/known_hostsssh-copy-id ceph-osd1ssh-copy-id ceph-osd2ssh-copy-id ceph-osd3ssh-copy-id mon1
cephuser密码。
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194250wdfenasiossofsfi.png)
现在尝试从 ceph-admin 节点登录 osd1 服务器,测试无密登录是否正常。
ssh ceph-osd1
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194250s1335gu1u57kuu43.png)
第 3 步 - 配置 Ubuntu 防火墙
出于安全原因,我们需要在服务器打开防火墙。我们更愿使用 Ufw(不复杂防火墙)来保护系统,这是 Ubuntu 默认的防火墙。在这一步,我们在所有节点开启 ufw,然后打开 ceph-admin、ceph-mon 和 ceph-osd 需要使用的端口。登录到 ceph-admin 节点,然后安装 ufw 包。
打开 80,2003 和 4505-4506 端口,然后重启防火墙。ssh root@ceph-adminsudo apt-get install -y ufw
开启 ufw 并设置开机启动。sudo ufw allow 22/tcpsudo ufw allow 80/tcpsudo ufw allow 2003/tcpsudo ufw allow 4505:4506/tcp
sudo ufw enable
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194251sc4bpzcel3tqs8vt.png)
从 ceph-admin 节点,登录到监控节点 mon1 然后安装 ufw。
打开 ceph 监控节点的端口然后开启 ufw。ssh mon1sudo apt-get install -y ufw
最后,在每个 osd 节点 ceph-osd1、ceph-osd2 和 ceph-osd3 上打开这些端口 6800-7300。sudo ufw allow 22/tcpsudo ufw allow 6789/tcpsudo ufw enable
从 ceph-admin 登录到每个 ceph-osd 节点安装 ufw。
在 osd 节点打开端口并重启防火墙。ssh ceph-osd1sudo apt-get install -y ufw
ufw 防火墙配置完成。sudo ufw allow 22/tcpsudo ufw allow 6800:7300/tcpsudo ufw enable
第 4 步 - 配置 Ceph OSD 节点
这个教程里,我们有 3 个 OSD 节点,每个节点有两块硬盘分区。/dev/sda 用于根分区
/dev/sdb 空闲分区 - 20GB
我们要使用 /dev/sdb 作为 ceph 磁盘。从 ceph-admin 节点,登录到所有 OSD 节点,然后格式化 /dev/sdb 分区为 XFS 文件系统。
使用 fdisk 命令检查分区表。ssh ceph-osd1ssh ceph-osd2ssh ceph-osd3
格式化 /dev/sdb 分区为 XFS 文件系统,使用sudo fdisk -l /dev/sdb
parted命令创建一个 GPT 分区表。
下面,使用sudo parted -s /dev/sdb mklabel gpt mkpart primary xfs 0% 100%
mkfs命令格式化分区为 XFS 格式。
现在检查分区,然后你会看见一个 XFS 文件系统的 /dev/sdb 分区。sudo mkfs.xfs -f /dev/sdb
sudo fdisk -s /dev/sdbsudo blkid -o value -s TYPE /dev/sdb
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194252vpk3z19i1px6d354.png)
第 5 步 - 创建 Ceph 集群
在这步,我们将从 ceph-admin 安装 Ceph 到所有节点。马上开始,先登录到 ceph-admin 节点。ssh root@ceph-adminsu - cephuser
在 ceph-admin 节点上安装 ceph-deploy
首先我们已经在系统上安装了 python 和 python-pip。现在我们需要从 pypi python 仓库安装 Ceph 部署工具 'ceph-deploy'。用 pip 命令在 ceph-admin 节点安装 ceph-deploy 。
注意: 确保所有节点都已经更新。sudo pip install ceph-deploy
ceph-deploy 工具已经安装完毕后,为 Ceph 集群配置创建一个新目录。
创建一个新集群
创建一个新集群目录。下一步,用mkdir clustercd cluster/
ceph-deploy命令通过定义监控节点 mon1 创建一个新集群。
命令将在集群目录生成 Ceph 集群配置文件ceph-deploy new mon1
ceph.conf。
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194253lvbhmpbbfbqdpujv.png)
用 vim 编辑
ceph.conf。
在vim ceph.conf
[global]块下,粘贴下面的配置。
保存文件并退出编辑器。# Your network addresspublic network = 10.0.15.0/24osd pool default size = 2
安装 Ceph 到所有节点
现在用一个命令从 ceph-admin 节点安装 Ceph 到所有节点。命令将自动安装 Ceph 到所有节点:mon1、osd1-3 和 ceph-admin - 安装将花一些时间。ceph-deploy install ceph-admin ceph-osd1 ceph-osd2 ceph-osd3 mon1
现在到 mon1 节点部署监控节点。
命令将创建一个监控密钥,用 ceph 命令检查密钥。ceph-deploy mon create-initial
ceph-deploy gatherkeys mon1
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194254vzsd4vlszc4bty7h.png)
增加 OSD 到集群
在所有节点上安装了 Ceph 之后,现在我们可以增加 OSD 守护进程到该集群。OSD 守护进程将在磁盘 /dev/sdb 分区上创建数据和日志 。检查所有 osd 节点的 /dev/sdb 磁盘可用性。
ceph-deploy disk list ceph-osd1 ceph-osd2 ceph-osd3
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194255agfikvailfkoifkj.png)
你将看见我们之前创建 XFS 格式的 /dev/sdb。
下面,在所有 OSD 节点上用 zap 选项删除该分区表。
这个命令将删除所有 Ceph OSD 节点的 /dev/sdb 上的数据。ceph-deploy disk zap ceph-osd1:/dev/sdb ceph-osd2:/dev/sdb ceph-osd3:/dev/sdb
现在准备所有 OSD 节点,请确保结果没有报错。
当你看到 ceph-osd1-3 结果已经准备好供 OSD 使用,就表明命令已经成功。ceph-deploy osd prepare ceph-osd1:/dev/sdb ceph-osd2:/dev/sdb ceph-osd3:/dev/sdb
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194256qk1spg191p9sgsff.png)
用下面的命令激活 OSD:
现在你可以再一次检查 OSDS 节点的 sdb 磁盘。ceph-deploy osd activate ceph-osd1:/dev/sdb ceph-osd2:/dev/sdb ceph-osd3:/dev/sdb
ceph-deploy disk list ceph-osd1 ceph-osd2 ceph-osd3
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194258wzwmrrndwpcc9wq7.png)
结果是 /dev/sdb 现在已经分为两个区:
/dev/sdb1 - Ceph Data
/dev/sdb2 - Ceph Journal
或者你直接在 OSD 节点山检查。
ssh ceph-osd1sudo fdisk -l /dev/sdb
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194300el3cut3r4jbv77nt.png)
接下来,部署管理密钥到所有关联节点。
在所有节点运行下面的命令,改变密钥文件权限。ceph-deploy admin ceph-admin mon1 ceph-osd1 ceph-osd2 ceph-osd3
Ceph 集群在 Ubuntu 16.04 已经创建完成。sudo chmod 644 /etc/ceph/ceph.client.admin.keyring
第 6 步 - 测试 Ceph
在第 4 步,我们已经安装并创建了一个新 Ceph 集群,然后添加了 OSD 节点到集群。现在我们应该测试集群确保它如期工作。从 ceph-admin 节点,登录到 Ceph 监控服务器 mon1。
运行下面命令来检查集群是否健康。ssh mon1
现在检查集群状态。sudo ceph health
你可以看到下面返回结果:sudo ceph -s
![](https://dn-linuxcn.qbox.me/data/attachment/album/201702/07/194301xsywwwyksnplylts.png)
确保 Ceph 健康状态是
OK的,有一个监控节点 mon1 IP 地址为 '10.0.15.11'。有 3 个 OSD 服务器都是 up 状态并且正在运行,可用磁盘空间为 45GB - 3x15GB 的 Ceph 数据 OSD 分区。
我们在 Ubuntu 16.04 建立一个新 Ceph 集群成功。
参考
http://docs.ceph.com/docs/jewel/via: https://www.howtoforge.com/tutorial/how-to-install-a-ceph-cluster-on-ubuntu-16-04/
相关文章推荐
- 如何在 Ubuntu 16.04 中安装 Ceph 存储集群
- ubuntu 16.04快速安装ceph集群
- ubuntu 16.04安装ceph集群(双节点)
- 如何在Linux Ubuntu 16.04下安装及打开PyCharm
- ubuntu 16.04 x64如何安装mxnet GPU
- ubuntu16.04如何安装php5?
- 【Ceph学习之一】Centos7上部署Ceph存储集群以及CephFS的安装
- ceph集群简单安装部署(Ubuntu14环境)
- Ubuntu16.04安装zookeeper集群
- 如何在预装win 10的电脑上安装Ubuntu 16.04 双系统,将Ubuntu以EFI的方式启动
- 如何在Windows 7系统下安装Ubuntu-Kylin 16.04 LTS 构成双系统
- 阿里云搭建基于MatlabMPI的集群(三):Ubuntu16.04安装MATLAB2014a
- Centos7上部署Ceph存储集群以及CephFS的安装
- Ubuntu16.04 下如何安装搜狗拼音输入法【亲测有效】
- 如何安装ubuntu16.04到u盘
- Ubuntu16.04如何安装QQ
- Ubuntu16.04中如何安装五笔输入法
- 如何在 Ubuntu 16.04 上安装和使用 Encryptpad | Linux 中国