1. IPFS原力区首页
  2. Filecoin
  3. Filecoin生态

IPFS商业探索:分布式存储头号玩家的商业殿堂,HPC

追踪分布式存储始祖及Filecoin未来商业足迹。

IPFS商业探索:分布式存储头号玩家的商业殿堂,HPC

本文由IPFS原力区原作

回顾分布式存储的赛道,其实上世纪80年代已经开始探索了,不过那时候硬盘存储技术并没有现阶段成熟(20世纪90年代硬盘存储1G左右、读取速度4.4MB/s左右),当时仅仅是读取一个硬盘估时2.5个小时左右,更难谈计算了。

 

尽管那时候技术还不是很成熟,但也已经构建了很多全球500强企业商业服务架构,这些可作为IPFS商业落地的借鉴。

 

历史总结,分布式存储赛道分为四个发展阶段:

 

  • 文件交互时期。第一阶段是20世纪80年代的AFS和NFS网络文件系统。该阶段主要是以以太网技术发展主导,研究的重点是实现网络环境下的文件共享,解决文件传输的交互问题。
  • 可拓展性解决。第二阶段是20世纪90年代的共享SAN文件系统。该时期存储系统逐步脱离计算机系统发展,随着存储网络SAN兴起,解决存储系统的可扩展性和面向SAN的共享文件系统成为该阶段的研究重点。
  • 容量与性能突破。第三阶段是21世纪初期主要应对对象并行文件系统。随着计算机技术、网络技术的高速发展,市场对存储系统扩展性提出了更高的需求,急需突破容量和性能方面的瓶颈。研究重点主要集中在对象存储技术,如何进行高效的元数据管理和提高数据访问的并发性。
  • 云文件系统崛起。第四阶段是2010年之后的云文件系统。随着云计算和大数据的规模落地,数据呈爆炸式增长,市场对数据存储和管理提出了新挑战。而该阶段的研究重点是EB级大规模存储系统、数据高可用性、高效智能存储技术、去冗余技术研究,以及新型的技术存储融合等。目前很多分布式文件系统都在朝云方向发展,诸如GPFS、ISILON、IPFS、Ceph等。

以下是关于分布式文件系统的近期发展史:

 

IPFS商业探索:分布式存储头号玩家的商业殿堂,HPC

超融合技术发展大事件,超融合技术白皮书(IPFS原力区制图),2020-10-08

 

目前有人把分布式存储技术定义成“超融合技术”,是因为该技术融合了虚拟化计算、虚拟化存储(一般为分布式存储)和虚拟化网络(软件定义网络)三者,其本质就是融合该三种技术构建颠覆性的DT基础架构。

 

IPFS商业探索:分布式存储头号玩家的商业殿堂,HPC

以IBM GPFS为例,GPFS是一个可扩展、高性能、基于共享磁盘的并行文件系统,2015年更名为IBM Spectrum Scale ,并入IBM Spectrum 产品线。IBM GPFS以软件定义存储为主要目标,在原有的基础之上拓展了许多功能,诸如云计算、大数据、云存储和对象存储,并且还在持续不断地增添新功能。

 

IPFS商业探索:分布式存储头号玩家的商业殿堂,HPC

GPFS、Lustre、BeeGfs市场、特性对比,架构师技术联盟 Hardy,2017-11

 

像GPFS、Lustre和BeeGts这些早期的分布式存储头号种子,他们都是HPC(高性能计算)领域的大玩家,尤其以全球500强高端企业服务为底层输出。

 

IPFS商业探索:分布式存储头号玩家的商业殿堂,HPC

HPC分类,架构师技术联盟 Hardy,2017-11

 

HPC Anywhere是Filecoin的切入点。随着大数据、云计算和技术发展和行业融合,综合技术和行业趋势,HPC应用的目标市场可分为HPDA高性能数据分析、HPC Anywhere和HyperScale四大类。其中在HPC Anywhere中实现了HPC和云的结合,以集群文件网关存储厂商的形式呈现,他们提供了一个高速的本地分布式Peer to Peer系统,这块对于Filecoin来说就是一个优势点,切入后能同步实现其它HPC方面的部署。

 

Filecoin可利用区块链的天然优势解决性能问题。在HPC系统中,并行文件系统对HPC性能影响最大,在某种意义上决定整个HPC存储性能,因此需要在并行文件系统之上多加一层高速大容量的缓冲。对于Filecoin来说,其具备区块链的天然优势,可以通过分片和layer2方案提升性能和降低存储成本。

不过在Filecoin矿池集群形成初期,系统中并没有经过复杂的实际应用,从节点所能挂载相对大的存储传输,再进行后续数据处理(分析、共享、可视化、备份与恢复),需要一个应对实际应用的过程以进行优化。

 

从市场角度上出发,Filecoin/IPFS能找到适合发展的市场空间,最开始可能会以HPC Anywhere云为开拓,进而拓展HPC其它板块。一旦Filecoin在HPC市场上的地位确定了,分布式存储甚至计算领域市场就可垂手可得。

/End.

IPFS商业探索:分布式存储头号玩家的商业殿堂,HPC

【IPFS原力区】

价值观:价值 共建 共享 荣耀

总部位于上海,聚集基于分布式网络&存储的众多技术大咖和爱好者,深耕基于 IPFS 的商业生态建设和社区发展。

每周二举办“分布式存储网络”主题沙龙,聚集了众多技术大咖和 IPFS 爱好者,通过持续输出全面、精细、优质的IPFS咨询和技术支持,将生态中的爱好者转化为IPFS支持者和参与者,共建IPFS生态的健康发展。

IPFS商业探索:分布式存储头号玩家的商业殿堂,HPC

原创文章,作者:Tony,如若转载,请注明出处:https://ipfser.org/2020/10/10/hpcfenbushicunchu/

提示:投资有风险,入市须谨慎。本资讯不作为投资理财建议。

发表评论

登录后才能评论

联系我们

在线咨询:点击这里给我发消息

邮件:ipfsforce@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code