跳到正文

HwameiStor 对 Minio 的支持

· 11 分钟阅读
赵燕宁

本文讲述如何以 HwameiStor 为底座,搭建 MinIO 存储解决方案,实践验证了 MinIO 的各项基本功能和多租户隔离测试。

MinIO 简介

MinIO 是一款高性能、分布式、兼容 S3 的多云对象存储系统套件。MinIO 原生支持 Kubernetes,能够支持所有公有云、私有云及边缘计算环境。 MinIO 是 GNU AGPL v3 开源的软件定义产品,能够很好地运行在标准硬件如 X86 等设备上。

MinIO 架构

MinIO 的架构设计从一开始就是针对性能要求很高的私有云标准,在实现对象存储所需要的全部功能的基础上追求极致的性能。 MinIO 具备易用性、高效性及高性能,能够以更简单的方式提供具有弹性伸缩能力的云原生对象存储服务。

MinIO 在传统对象存储场景(如辅助存储、灾难恢复和归档)方面表现出色,同时在机器学习、大数据、私有云、混合云等方面的存储技术上也独树一帜,包括数据分析、高性能应用负载、原生云应用等。

MinIO 架构设计

MinIO 为云原生架构设计,可以作为轻量级容器运行并由外部编排服务如 Kubernetes 管理。 MinIO 整个服务包约为不到 100 MB 的静态二进制文件,即使在很高负载下也可以高效利用 CPU 和内存资源并可以在共享硬件上共同托管大量租户。 对应的架构图如下:

架构图

MinIO 用作云原生应用程序的主要存储,与传统对象存储相比,云原生应用程序需要更高的吞吐量和更低的延迟,而这些都是 MinIO 能够达成的性能指标,读/写速度高达 183 GB/秒和 171 GB/秒。

MinIO 极致的高性能离不开底层存储基础平台。本地存储在众多的存储协议中具有最高的读写性能无疑能为 MinIO 提供性能保障。 HwameiStor 正是满足云原生时代要求的储存系统。它具有高性能、高可用、自动化、低成本、快速部署等优点,可以替代昂贵的传统 SAN 存储。

MinIO 可以在带有本地驱动器(JBOD/JBOF)的标准服务器上运行。 集群为完全对称的体系架构,即所有服务器的功能均相同,没有名称节点或元数据服务器。

MinIO 将数据和元数据作为对象一起写入从而无需使用元数据数据库。 MinIO 以内联、严格一致的操作执行所有功能,包括擦除代码、位 rotrot 检查、加密等。

每个 MinIO 集群都是分布式 MinIO 服务器的集合,每个节点一个进程。 MinIO 作为单个进程在用户空间中运行,并使用轻量级的协同例程来实现高并发。 将驱动器分组到擦除集(默认情况下,每组 16 个驱动器),然后使用确定性哈希算法将对象放置在这些擦除集上。

MinIO 专为大规模、多数据中心云存储服务而设计。 每个租户都运行自己的 MinIO 集群,该集群与其他租户完全隔离,从而使租户能够免受升级、更新和安全事件的任何干扰。 每个租户通过联合跨地理区域的集群来独立扩展。

node-distribution-setup

以 HwameiStor 为底座搭建 MinIO 的优势

以 HwameiStor 为底座搭建 MinIO 存储方案,构建智、稳、敏全面增强本地存储,具备以下优势。

  • 自动化运维管理

    可以自动发现、识别、管理、分配磁盘。 根据亲和性,智能调度应用和数据。自动监测磁盘状态,并及时预警。

  • 高可用的数据

    使用跨节点副本同步数据, 实现高可用。发生问题时,会自动将应用调度到高可用数据节点上,保证应用的连续性。

  • 丰富的数据卷类型

    聚合 HDD、SSD、NVMe 类型的磁盘,提供非低延时,高吞吐的数据服务。

  • 灵活动态的线性扩展

    可以根据集群规模大小进行动态的扩容,灵活满足应用的数据持久化需求。

  • 丰富的应用场景,广泛适配企业需求,适配高可用架构中间件

    类似 Kafka、ElasticSearch、Redis 等这类中间件自身具备高可用架构,同时对数据的 IO 访问有很高要求。 HwameiStor 提供的基于 LVM 的单副本本地数据卷,可以很好地满足它们的要求。

  • 为应用提供高可用数据卷

    MySQL 等 OLTP 数据库要求底层存储提供高可用的数据存储,当发生问题时可快速恢复数据,同时也要求保证高性能的数据访问。 HwameiStor 提供的双副本的高可用数据卷,可以很好地满足此类需求。

  • 自动化运维传统存储软件

    MinIO、Ceph 等存储软件,需要使用 Kubernetes 节点上的磁盘,可以采用 PVC/PV 的方式, 通过 CSI 驱动自动化地使用 HwameiStor 的单副本本地卷,快速响应业务系统提出的部署、扩容、迁移等需求,实现基于 Kubernetes 的自动化运维。

测试环境

按照以下步骤依次部署 Kubernetes 集群、HwameiStor 本地存储和 MinIO。

部署 Kubernetes 集群

本次测试使用了三台虚拟机节点部署了 Kubernetes 集群:1 Master + 2 Worker 节点,kubelet 版本为 1.22.0。

k8s-cluster

部署 HwameiStor 本地存储

在 Kubernetes 上部署 HwameiStor 本地存储。

查看 HwameiStor 本地存储

两台 Worker 节点各配置了五块磁盘(SDB、SDC、SDD、SDE、SDF)用于 HwameiStor 本地磁盘管理。

lsblk

lsblk

查看 local storage node 状态。

get-lsn

创建了 storagClass。

get-sc

分布式多租户源码部署安装(minio operator)

本节说明如何部署 minio operator,如何创建租户,如何配置 HwameiStor 本地卷。

部署 minio operator

参照以下步骤部署 minio operator。

  1. 复制 minio operator 仓库到本地。

    git clone <https://github.com/minio/operator.git>

    helm-repo-list

    ls-operator

  2. 进入 helm operator 目录:/root/operator/helm/operator

    ls-pwd

  3. 部署 minio-operator 实例。

    helm install minio-operator \
    --namespace minio-operator \
    --create-namespace \
    --generate-name .
    --set persistence.storageClass=local-storage-hdd-lvm .
  4. 检查 minio-operator 资源运行情况。

    get-all

创建租户

参照以下步骤创建一个租户。

  1. 进入 /root/operator/examples/kustomization/base 目录。如下修改 tenant.yaml。

    git-diff-yaml

  2. 进入 /root/operator/helm/tenant/ 目录。如下修改 values.yaml 文件。

    git-diff-values.yaml

  3. 进入 /root/operator/examples/kustomization/tenant-lite 目录。如下修改 kustomization.yaml 文件。

    git-diff-kustomization-yaml

  4. 如下修改 tenant.yaml 文件。

    git-diff-tenant-yaml02

  5. 如下修改 tenantNamePatch.yaml 文件。

    git-diff-tenant-name-patch-yaml

  6. 创建租户:

    kubectl apply –k . 
  7. 检查租户 minio-t1 资源状态:

    kubectl-get-all-nminio-tenant

  8. 如要创建一个新的租户可以在 /root/operator/examples/kustomization 目录下建一个新的 tenant 目录(本案例为 tenant-lite-2)并对相应文件做对应修改。

    pwd-ls-ls

  9. 执行 kubectl apply –k . 创建新的租户 minio-t2

    kubectl-get-all-nminio

配置 HwameiStor 本地卷

依次运行以下命令来配置本地卷。

kubectl get statefulset.apps/minio-t1-pool-0 -nminio-tenant -oyaml

local-storage-hdd-lvm

kubectl get pvc –A

kubectl-get-pvc

kubectl get pvc export-minio6-0 -nminio-6 -oyaml

kubectl-get-pvc-export-oyaml

kubectl get pv

kubectl-get-pv

kubectl get pvc data0-minio-t1-pool-0-0 -nminio-tenant -oyaml

kubectl-get-pvc-oyaml

kubectl get lv

kubectl-get-lv

kubect get lvr

kubectl-get-lvr

HwameiStor 与 MinIo 测试验证

完成上述配置之后,执行了基本功能测试和多租户隔离测试。

基本功能测试

基本功能测试的步骤如下。

  1. 从浏览器登录 minio console:10.6.163.52:30401/login

    minio-opeartor-console-login

  2. 通过 kubectl minio proxy -n minio-operator 获取 JWT。

    minio-opeartor-console-login

  3. 浏览及管理创建的租户信息。

    tenant01

    tenant02

    tenant03

    tenant04

    tenant05

    tenant06

  4. 登录 minio-t1 租户(用户名 minio,密码 minio123)。

    login-minio

    login-minio

  5. 浏览 bucket bk-1。

    view-bucket-1

    view-bucket-1

    view-bucket-1

  6. 创建新的 bucket bk-1-1。

    create-bucket-1-1

    create-bucket-1-1

    create-bucket-1-1

  7. 创建 path path-1-2。

    create-path-1-2

    create-path-1-2

  8. 上传文件成功:

    upload-file

    upload-file

    upload-file

  9. 上传文件夹成功:

    upload-folder

    upload-folder

    upload-folder

    upload-folder

  10. 创建只读用户:

    create-user

    create-user

多租户隔离测试

执行以下步骤进行多租户隔离测试。

  1. 登录 minio-t2 租户。

    login-t2

    login-t2

  2. 此时只能看到 minio-t2 内容,minio-t1 的内容被屏蔽。

    only-t2

  3. 创建 bucket。

    create-bucket

    create-bucket

  4. 创建 path。

    create-path

    create-path

  5. 上传文件。

    upload-file

    upload-file

  6. 创建用户。

    create-user

    create-user

    create-user

    create-user

    create-user

  7. 配置用户 policy。

    user-policy

    user-policy

  8. 删除 bucket。

    delete-bucket

    delete-bucket

    delete-bucket

    delete-bucket

    delete-bucket

    delete-bucket

结论

本次测试是在 Kubernetes 1.22 平台上部署了 MinIO 分布式对象存储并对接 HwameiStor 本地存储。在此环境中完成了基本能力测试、系统安全测试及运维管理测试。

全部测试成功通过,证实了 HwameiStor 能够完美适配 MinIO 存储方案。