分布式系统
分布式系统发展至今已有数十年,那么分布式系统到底是什么?实际上分布式系统并没有标准的定义。
分布式系统一般的呈现方式是将硬件或软件分布在不同的网络计算机,彼此间通过消息传递进行通信及协调,正如疫情期间的分布式办公,员工虽然不在公司,但是依然能够在不同的物理地域通过社交软件或办公软件与其他同事协作,共同完成任务。
分布式系统同样如此,其将业务模块分布在多个处理单元上,各个单元进行协作,共同完成任务。
当某个单元计算或存储资源有限,无法完成相关业务时,也可以灵活对其进行扩展,比如增加显卡或硬盘,通过横向扩展提高业务能力。
分布式系统在企业应用中尤为广泛,并且数据层面的分布式系统是主要的应用方式
IPFS与http:转自:IPFS vs HTTP,孰强孰弱? - 知乎
1. 什么是IPFS?
星际文件系统IPFS(InterPlanetary FileSystem)是一个面向全球的、点对点的分布式版本文件系统。
IPFS是一个互联网的底层协议,类似HTTP协议,上线时间是2015年的5月5号。它的目标是为了补充甚至是取代目前统治互联网的超文本传输协议(HTTP)。
IPFS是传输协议,不是区块链项目,没有使用任何区块链技术。但是具备区块链去中心化的精神。所 以,IPFS没有Token、没有发币、不能挖矿;Filecoin才是Token,挖的是Filecoin。
IPFS目标是打造一个更加开放、快速、安全的互联网,利用分布式哈希表解决数据的传输和定位问题, 把点对点的单点传输改变成P2P(多点对多点)的传输,其中存储数据的结构是哈希链。
2.IPFS与HTTP两者的区别?
(1)从成本角度来看,HTTP中心化服务器运行,往往维护运行所需的成本较高,只要中心化数据库受到DDOS攻击,或者是遭受到不可抗力的损害,其所有数据会全部丢失;相较于HTTP而言,IPFS能很大程度上降低服务器存储成本,同时服务器的带宽成本也得到控制。
(2)效率角度来说HTTP是依赖中心化服务网络,服务器比较容易被关闭,服务器上文件较易被删掉,而且服务器必须是24小时开机状态才可运行;而IPFS是 P2P网络拓扑,整个网域内所有计算机均可作为存储节点,就近分布式存储大大提高了网络效率。
(3)安全性:HTTP属于集中化的,所有流量直接搭载在中心化的服务器上,承载的压力极大,容易造成系统崩溃,HTTP还容易遭受DDOS攻击;IPFS的存储方式是去中心化的分片的分布式存储,黑客无法攻击,文件不易丢失,安全有保障。
(4)HTTP的客户网络访问很大部分不是本地化,存在网络延时;IPFS较大程度使得网络访问速度加快,网络访问本地化,体验感会明显提升。
所以IPFS超媒体传输协议颠覆传统超文本互联网传输协议HTTP势在必行!
HDFS与IPFS对比
a 、应用对象
HDFS主要是企业级的应用,针对企业的大文件存储,因为 HDFS 采用的是以元数据的方式进行文件管理,而元数据的相关目录和块等信息保存在 NameNode 的内存中, 文件数量的增加会占用大量的 NameNode 内存。如果存在大量的小文件,会占用大量内存空间,引起整个分布式存储性能下降,所以尽量使用 HDFS 存储大文件比较合适。而IPFS主要是针对个人用户市场,根据个人的文件进行存储,存储的节点越多,存储的文件越多,整个文件系统的稳定性也就越高
b 、读写频次
HDFS适合低写入,多次读取的业务。HDFS 的数据传输吞吐量比较高,但是数据读取延时比较差,不适合频繁的数据写入。IPFS对于文件的读取和写入具有很强的包容性和扩展性,文件的读取和写入越多,整个基于IPFS的经济生态系统也就越繁荣,在系统中的用户也就越受益。
c 、存储环境
HDFS 采用多副本数据保护机制,使用普通的 X86 服务器就可以保障数据的可靠性,不推荐在虚拟化环境中使用。IPFS使用个人的普通服务器即可作为节点,运行IPFS系统,提供去中心化的存储服务
d、存储系统
HDFS 主要针对大企业,虽是分布式存储,其主要的控制着仍是企业主体,属于一个封闭的存储系统。IPFS完全去中心化的操作,任何企业和个人都可以接入存储网络。
e、寻址方式
HDFS如果客户端需要从某个文件读取数据,首先从 NameNode 获取该文件的位置,然后从该 NameNode 获取具体的数据,IPFS则是直接从内容所在的节点获取文件,是基于内容获取的方式。
基于IPFS技术开发的应用也不断出现,IPFS直接整合至Brave浏览器中,将 Hadoop 置于IPFS之上进行p2p数据分析,PeerPad利用IPFS构建无服务器、实时的、离线协作式应用等。在陆续与微软、美国宇航局(NASA)等知名机构、企业建立合作关系后,IPFS的实际应用价值得到了进一步深化。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)