MinIO、Ceph、FastDFS三个存储怎么选

2年前 (2022) 程序员胖胖胖虎阿
277 0 0

什么是 MinIO ?

根据官方定义:

  1. MinIO 是在 Apache License v2.0 下发布的对象存储服务器。 它与 Amazon S3 云存储服务兼容。 它最适合存储非结构化数据,如照片,视频,日志文件,备份和容器 / VM 映像。 对象的大小可以从几 KB 到最大 5TB。

  2. MinIO 服务器足够轻,可以与应用程序堆栈捆绑在一起,类似于 NodeJS,Redis 和 MySQL。

  3. 一种高性能的分布式对象存储服务器,用于大型数据基础设施。它是机器学习和其他大数 据工作负载下 Hadoop HDFS 的理想 s3 兼容替代品。

为什么需要 MinIO?

  1. Minio 有良好的存储机制
  2. Minio 有很好纠删码的算法与擦除编码算法
  3. 拥有 RS code 编码数据恢复原理
  4. 公司做强做大时,数据的拥有重要性,对数据治理与大数据分析做准备。
  5. 搭建自己的一套文件系统服务,对文件数据进行安全保护。
  6. 拥有自己的平台,不限于其他方限制。

MinIO 和其他 OSS 存储解决方案各有什么优缺点?

这里主要针对 Ceph、Minio、FastDFS 热门的存储解决方案进行比较。

Ceph

优点

  • 成熟
  • 红帽继子,ceph 创始人已经加入红帽
  • 国内有所谓的 ceph 中国社区,私人机构,不活跃,文档有滞后,而且没有更新的迹象。
  • 从 git 上提交者来看,中国有几家公司的程序员在提交代码,星辰天合,easystack, 腾讯、阿里基于 ceph 在做云存储,但是在开源社区中不活跃,阿里一位叫 liupan 的有参与
  • 功能强大
  • 支持数千节点
  • 支持动态增加节点,自动平衡数据分布。(TODO,需要多长时间,add node 时是否可以不间断运行)
  • 可配置性强,可针对不同场景进行调优

缺点 学习成本高,安装运维复杂。

Minio

优点

  • 学习成本低,安装运维简单,开箱即用
  • 目前 minio 论坛推广给力,有问必答
  • 有 java 客户端、js 客户端
  • 数据保护:分布式 Minio 采用 纠删码来防范多个节点宕机和位衰减 bit rot。分布式 Minio 至少需要 4 个硬盘,使用分布式 Minio 自动引入了纠删码功能。
  • 一致性:Minio 在分布式和单机模式下,所有读写操作都严格遵守 read-after-write 一致性模型。

缺点

  • 社区不够成熟,业界参考资料较少
  • 不支持动态增加节点,minio 创始人的设计理念就是动态增加节点太复杂,后续会采用其它方案来支持扩容。

FastDFS

fastdfs 是阿里余庆做的一个个人项目,在一些互联网创业公司中有应用,没有官网,不活跃,6 个 contributors。

MinIO、Ceph、FastDFS三个存储怎么选

 

版权声明:程序员胖胖胖虎阿 发表于 2022年11月7日 上午11:16。
转载请注明:MinIO、Ceph、FastDFS三个存储怎么选 | 胖虎的工具箱-编程导航

相关文章

暂无评论

暂无评论...