CEPH 存储文件系统操作
1. 部署 MDS 服务
# 部署完监视器(Mon)和OSD后，需进行必须至少部署一个元数据服务器守护程序才能使用CephFSceph-deploy mds create {host-name}[:{daemon-name}] [{host-name}[:{daemon-name}] ...]ceph-deploy mds create ceph01 ceph02 ceph03
2. 创建 CEPH 文件系统
Ceph文件系统至少需要两个RADOS池，一个用于数据，一个用于元数据。配置时，可以考虑：
为元数据池使用更高的复制级别，因为这个池中的任何数据丢失都可能使整个文件系统无法访问。为元数据池使用低延迟存储(如ssd)，因为这将直接影响客户机上文件系统操作的观察延迟
创建存储池
ceph osd pool create cephfs_data 128ceph osd pool create cephfs_metadata 128
创建文件系统
# 通过 fs new 创建文件系统命令ceph fs new <fs_name> <metadata> <data>ceph fs new cephFS cephfs_metadata cephfs_data# 查看已有的文件系统[root@node197 ~]# ceph fs lsname: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]# 查看MDS服务器状态（文件系统创建完毕后， MDS 服务器就能达到 active 状态了）[root@node197 ~]# ceph mds statcephfs-1/1/1 up {0=node197=up:active(laggy or crashed)}
3. 挂载文件系统
在客户端创建挂载目录
mkdir /mnt/cephfs
客户端用内核驱动挂载文件系统
普通挂载
# 若部署ceph集群的时候，在配置文件中未开启cephx认证，则无需密钥或者密钥配置文件可以直接进行挂载mount -t ceph ip:port:/ /mnt/cephfsmount -t ceph 192.168.20.0:6789:/ /mnt/cephfs
通过secretfile进行挂载
# 若部署ceph集群的时候，配置文件中开启cephx认证，则需密钥或者密钥配置文件可以直接进行挂载# 获取ceph集群配置文件中的密钥，并存入客户端中mkdir /etc/cephecho 'AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==' > /etc/ceph/cephfskey # 挂载mount -t ceph ip:port:/ /mnt/cephfs -o name=xxx,secretfile=/etc/ceph/cephfskeymount -t ceph 192.168.20.0:6789:/ /mnt/cephfs -o name=xxx,secretfile=/etc/ceph/cephfskey
通过secret进行挂载
# 若部署ceph集群的时候，配置文件中开启cephx认证，则需密钥或者密钥配置文件可以直接进行挂载# 获取ceph集群配置文件中的密钥# 挂载mount -t ceph ip:port:/ /mnt/cephfs -o name=xxx,secret=AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==mount -t ceph 192.168.20.0:6789:/ /mnt/cephfs -o name=xxx,secret=AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==
多个mon节点的挂载
# 挂载多个mon节点，中间以逗号隔开即可mount -t ceph ip:port,ip:port:/ /mnt/cephfs -o name=xxx,secret=AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==mount -t ceph 192.168.20.0:6789,192.168.20.1:6789:/ /mnt/cephfs -o name=xxx,secret=AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==
指定挂载文件系统
# 通过fs或者mds_namespace进行指定文件系统mount -t ceph ip:port,ip:port:/ /mnt/cephfs -o name=xxx,secret=AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==,mds_namespace=xxxmount -t ceph 192.168.20.0:6789,192.168.20.1:6789:/ /mnt/cephfs -o name=xxx,secret=AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==,mds_namespace=xxx
4. 卸载文件系统
# 查看文件系统挂载[root@test-node35 ~]# df -h /mnt/lulyFilesystem Size Used Avail Use% Mounted on192.168.20.2:6789:/ 153G0 153G 0% /mnt/cephfs# 取消文件系统挂载umount /mnt/cephfs
