1、区块链知识-区块链存储付少庆 2018-0511分布式存储的相关概念2IPFS/Filecoin 3StorJ 4Burst、Genaro 56Sia、Maidsafe 以太坊 swarm目录CONTENTS2PPT内容提示本PPT讲解区块链存储领域的知识。主要面向所有想了解区块链领域的人员。特别是那些想了解区块链存储相关知识的人员。本PPT的主要问题是区块链存储与传统存储相比的优缺点?相关的区块链知识请参考我们的一系列培训PPT3分布式存储的相关概念14分布式存储的相关概念对存储的需求云存储是市场是庞大的。但是,目前像亚马逊和谷歌这样的巨头占据了几乎所有的市场份额。市场研究机构估计,到202
2、1年,云存储市场将增长到749.4亿美元,到2022年将达到924.9亿美元。如果分布式的存储能抢夺一小部分市场,它都将成为一个大的产业。这就是为什么分布式存储领域竞争如此激烈的原因。5分布式存储的相关概念传统上的分布式存储本质上是一个中心化的系统,是将数据分散存储在多台独立的设备上,采用可扩展的系统结构、利用多台存储服务器分担存储负荷、利用位置服务器定位存储信息。而基于 P2P 网络的分布式存储是区块链的核心技术,是将数据存储于区块上并通过开放节点的存储空间建立的一种分布式数据库,解决传统分布式存储的问题。分布式存储/Distributed Data Store/DDSP2P 存储是一种不存
3、在中心化控制机制的存储技术。P2P 存储通过开放节点的存储空间,以提高网络的运作效率,解决传统分布式存储的服务器瓶颈、带宽而带来的访问不便等问题。P2P 存储/Peer-to-Peer Storage/P2P Storage相关概念6分布式存储的相关概念分布式是描述一个计算机系统具有在多台计算机上同时运行和维护的完整副本,没有任何人或组织来控制这个系统。分布式/Distributed账本是指包括区块链的数据结构、所有的交易信息和当前状态的数字记录。账本/Ledger分布式账本是指一种在网络成员之间共享、复制和同步的数据库,分布式账本在区块链中是一个通过共识机制建立的数字记录,区块链网络中的参与
4、者可以获得一个唯一、真实账本的副本,因此难以对分布式账本进行篡改。更改记录的方式非常困难,技术非常安全。分布式账本/Distributed ledger Technology/DLT相关概念7分布式存储的相关概念节点是区块链分布式系统中的网络节点,是通过网络连接的服务器、计算机、电话等,针对不同性质的区块链,成为节点的方式也会有所不同。以比特币为例,参与交易或挖矿即构成一个节点。节点/Node全节点是是拥有完整区块链账本的节点,全节点需要占用内存同步所有的区块链数据,能够独立校验区块链上的所有交易并实时更新数据,主要负责区块链的交易的广播和验证。全节点/完整节点/Full NodeKademl
5、ia的简称,一种基于P2P理念的新型网络拓扑结构,主要的目标是做到不需要服务器和改善可量测性。KAD相关概念8分布式存储的相关概念01020405当前存储的问题数据不能永久保存存储服务器的价格昂贵服务器的中心化存储的信息不加密9分布式存储的相关概念分布式存储真正发挥了共享经济的优势。我们可以将硬盘的空余空间充分的利用起来,并且获得收益。免去了建设中心化存储的成本。数据被切割成小块后,需要经过加密后才会分散到众多节点上。即避免了中心化存储偷窥文件的事件,同时即便解锁某一块数据,也只是部分数据,并非全部。并且不会担心中心化服务器因为故障造成的数据泄露等风险。文件在下载的过程中,碎片回进行重组,多条
6、链并行的速度回远大于中心化存储。通过智能合约,程序可以自己判定使用情况,使用奖励等。01降低成本02安全性增强03速度更快04智能合约与传统云存储相比,有何优势?10分布式存储的相关概念首先,存储的池化可以在更广阔的空间,以更丰富的形态来实现。其次,区块链的Token激励机制,可以驱动大家将企业级存储、服务器、PC、移动存储等的剩余存储空间贡献出来。每个节点实际存放的数据只是数据的一些切片,而且这些切片还以加密的方式保存起来。数据能够更安全地保护起来,即使提供存储节点的用户有机会查看这些切片,看到的也是没有实际意义的数据段。区块链的DAO(Distributed Anonymous Organ
7、ization分布式自治组织)这种分布式商业模式,有机会借助全球的资源和人才,类似众人拾柴火焰高一样,加速产品和商业模式地发展。u 区块链的诞生,为软件定义存储的发展开辟了新的道路。11IPFS/Filecoin 212IPFS/Filecoin 是一个面向全球的、点对点的分布式版本文件系统,它的发明者胡安贝尼特(Juan Benet)是一位墨西哥移民,毕业于斯坦福大学的计算机科学专业。他之前创立的一家公司在 2013 年被雅虎收购,随后他在今年的 Y Combinator 项目中成立了 Protocol Labs,这家公司现在的工作是推进IPFS 项目,它的目标是取代我们在过去 20 年已经
8、习以为常的互联网协议-HTTP。IPFS(Inter Planetary File System)原理用基于内容的地址替代基于域名的地址,也就是用户寻找的不是某个地址而是储存在某个地方的内容,不需要验证发送者的身份,而只需要验证内容的哈希,通过这样可以让网页的速度更快、更安全、更健壮、更持久。更快安全健壮持久13IPFS在其他项目上面的应用l akasha:基于以太坊和IPFS的社交网络l Alexandria:去中心化的内容发布平台l Arbore:朋友之间的文件共享系统-相信很快就可以抛弃某度的云盘了l dtube:利用IPFS作为存储的视频分享网站l git-ipfs-rehost:可以
9、把github上的项目存储到IPFS上l Interplanetary Wiki:建立在IPFS上的wiki(土耳其封锁了wiki,借助于IPFS,现在已经恢复了访问)l ipfs-search:基于IFPS的搜索引擎l ipfs-share:基于IFPS的文件分享l ipfs.pics:基于IFPS的图片分享网站l Orbit:基于IFPS的分布式聊天工具l Partyshare:一个简单的文件共享系统l computes.io:基于IPFS的分布式计算机(这个牛,把世界上的计算资源收集起来,构建一个巨大的分布式计算机)l OpenBazaar:openbazaar是一个去中心化的淘宝,口号
10、是“买卖自由/Buy and Sell Freely”,问题是一旦用户停止运行软件,商店就下线了,借助于IPFS,openbazaar2.0 打造一个离线商店。l Ubuntu:著名的linux发行版本Ubuntu正在计算把发行版本转移到IPFS上来,目前正在讨论方案。l 火狐浏览器:支持ipfs在内的分布式协议IPFS/Filecoin 14IPFS是一个网络协议,而Filecoin则是一个基于IPFS的去中心化存储项目。简单而言,IPFS与Filecoin之间的关系,类似于区块链与比特币的关系。Filecoin原理我们可以把Filecoin项目理解为是运行在IPFS网络里的一个奖励机制。I
11、PFS是一个点对点的网络,我们都知道P2P网络参与者越多下载速度就越快。所以,IPFS需要更多的节点参与进来。但是,如果没有一套好的激励机制,大家就没有意愿贡献出自己的硬盘和带宽资源了,这时候,Filecoin作为激励制度的重要性就被体现出来了。奖励机制IPFS/Filecoin 15IPFS/Filecoin 私募情况公募情况Filecoin的ICO情况n 时间:2017.7.212017.7.24n 成本:0.75美元/FILn 分发期和折扣:1年-3年,折扣额0-30%n 参与人数:150人左右n 私募金额:大约5200万美元n 时间:2017.8.7-9.7n 成本区间:1-5美元n
12、分发期和折扣:半年-3年 折扣额0-20%n 公募金额:2.05亿美元n 参与人数:2100+。16IPFS/Filecoin 总量:2,000,000,000(二十亿个)70%15%10%5%n 70%:Filecoin 矿工(挖矿奖励)n 15%:Protocol Labs(分发自创世区块,6年线性兑现期)n 10%:投资者(分发自创世区块,6个月3年线性兑现期)n 5%:Filecoin 基金会(分发自创世区块,6年线性兑现期)17IPFS/Filecoin 证明概念数据持有性证明可检索证明存储证明复制证明工作量证明空间证明时空证明复制证明?Filecoin涉及到的证明概念18IPFS/
13、Filecoin Filecoin涉及到的证明概念用户发送数据给矿工进行存储,矿工证明数据已经被自己存储,用户可以重复检查矿工是否还在存储自己的数据。数据持有性证明(Provable Data Possession,PDP)和PDP过程比较类似,证明矿工存储的数据是可以用来查询的。可检索证明(Proof-of-Retrievability,PoRet)利用存储空间进行的证明。工作量证明的一种,Filecoin上一篇论文使用了这个名字,新的论文则升级为PoRep。存储证明(Proof-of-Storage,PoS)复制证明(Proof-of-Replication,PoRep)新的 PoS(Pr
14、oof-of-Storage),PoRep可以保证每份数据的存储都是独立的,可以防止女巫攻击,外源攻击和生成攻击。19IPFS/Filecoin Filecoin涉及到的证明概念证明者向检验者证明自己花费了一定的资源,PoW被用在加密货币,拜占庭共识和其他各种区块链系统。BTC使用的就是这种类型的证明,依赖巨量的哈希计算和能源消耗来建立共识和保证btc网络的安全性。工作量证明(Proof-of-Work,PoW)Filecoin提出的概念,存储量的证明,PoSpace是PoW的一种,不同的是PoW使用的计算资源,而PoSpace使用的是存储资源。空间证明(Proof-of-Space,PoSp
15、ace)时空证明,矿工证明自己花费了spacetime资源,即:一定时间内的存储空间的使用,PoSt是基于PoReps实现的。时空证明(Proof-of-Spacetime,PoSt)复制证明(Proof-of-Replication,PoRep)PoRep 是PoS的进化版:用来证明 数据(data)已经被矿工存储。20IPFS/Filecoin Filecoin进展官方确认了还没有时间表的。一般区块链项目正式上线之前都会有内测,官方时间表都没确定的情况下,很大可能是内测尚未开始,或内测问题很多,解决周期难以估计。承诺最迟2022年7月上线IPFS协议工作室,没有公布挖矿的程序、参数,也没有
16、给出具体挖矿的时间,只是承诺最迟2022年7月上线。21StorJ 322StorJ简介基于区块链的端对端分布式云存储平台它是一种分散的端对端加密云存储,它使用块链技术和加密技术来保护在线文件。你无需信任一家公司,或者易受攻击的服务器,或掌握您信息的其他人。简而言之,Storj就是一个基于区块链的端对端分布式云存储平台,用户通过私钥来管理数据。比传统的云存储平台更快、更便宜、更可靠。Storj是一个不会停机的云存储平台。Storj的平台通过加密和一系列分散的应用程序,允许用户以安全和分散的方式存储数据。它使用块交易功能,如交易分类帐,公共/私人密钥加密和加密散列函数以实现安全性。此外,与传统的
17、云存储服务相比,它将更便宜(10倍到100倍),更快,更安全。23StorJ20142014年年4 4月月20152015年年20172017年年2012018 8年年在2014年4月,Shawn Wilkinson在亚特兰大创办了Storj的项目。2014年6月11日第一次在Facebook发文介绍storj。2015年,STORJ公司发了5亿个加密货币(STORJCOIN X),通过出售其代币Storj coin X 拿到了46万美元,成立了Storj Labs Inc,Storj成为致力于通过一个开放的用户区块链网络来为其客户提供数据托管服务的公司。2017年2月14日,总部位于亚特兰大
18、的Storj实验室宣布已获得了300万美元种子轮融资,参与者包括来自风险投资公司谷歌风投、美国高通风投以及Techstars的个人投资者。2017年6月,storj将旧的token(SJCX)改为新token(storj),5亿STORJ令牌创建1:1取代5亿SJCX。2017.8.11上线bittrex。2017年10月,有超过5个pb(5,000 tb)数据储存在Storj网络上。2017.11月上线币安。2017.11月分布式资本创始人沈波加入了storj的顾问委员会。2017.12医疗数据分享app doc.ai 选择Storj作为去中心化云存储提供商。2018.Storj(STORJ
19、)将集成 SONM(SNM)的生态系统。届时,Storj用户将可以使用SNM的计算机算力来运行应用工具,进行数据处理。2018.1月storj被知名FTP软件filezilla纳为一个组件,目前已经发展成具有20000名使用者和18000名供租资源者的使用规模。2018.1月上线火币。2018.1.20.Storj 网络的内容存储量已经达到30PBs。当前,Storj已经与Cox通信公司签署了一项协议,提供点对点文件存储的支持。融资资金将进一步帮助Storj继续建立市场,来为更多像Cox通信这样的合作伙伴提供技术。24StorJ开始爱西欧token(storj)2017年年5月月19日日种子轮
20、获得300万美元投资,投资人包括Google Ventures 和 Qualcomm Ventures 两家风投和知名创业孵化器Techstarts。2017年年年代币SJCX 公开ICO,众筹获得46万美元。2015年年开源、去中心化存储平台Storj,赢得德克萨斯州比特币会议的黑客马拉松奖,获得了BitAngles基金25万美元投资。2014年年4月月l 融资活动和代币情况25StorJl 2017年5月19开始ICO token(storj)官方网站https:/storj.io/白皮书https:/storj.io/storj.pdf代币符号STORJICO日期2017.5.19-20
21、17.5.25ICO筹集资金3000万美元代币总量5亿个目前币价(2017.4.7)$0.76市值排名(2017.4.7)9526StorJ02030405060701ICO量:6000万筹集金额:3000万美金开始时间:持续时间:30天,于6月19日北京时间23点时间结束,或者在达到众筹上限时束。众筹目的:为加快生态发展和协议开发募集资金;把代币SJCX从比特币向以太坊区块链迁移;让Storj实验室公司的代币持有量符合市场预期售卖方式:价格固定为每个STORJ代币0.5美元,以比特币或以太币等价的美元来计算支付。代币迁移:现存的合约币代币SJCX可以1:1兑换为以太坊ERC20代币(名为“S
22、TORJ”)。迁移将于7月19日上午11:00开始于10月19日上午11:00结束。Storj打算按照行业标准保留20%到25%的代币,以实现团队的战略目的(包括支付给farmer来完成测试和发展、为社区支持和活动提供资金以及其它费用)。在众筹、销毁、迁移之后,剩下的代币将由Storj持有,不被用作战略储备的代币将会被锁进时间锁,最短锁定六个月时间,在此期间,Storj将制定一个更透明的储备管理架构,其中包括程序化分配和成立中立基金,以帮助管理并支持Storj生态的持续发展。迁移细节:新代币使用以太坊ERC20合约来创建。这个合约将被独立第三方审计,审计持续数周,这个合约的完整代码和网页app
23、将在自由软件许可下发布。THE TITLEl 2017年5月19开始ICO token(storj)27StorJShawn Wilkinson 公司创始人任Chief Strategy Officer。2014年毕业于Morehouse College 计算机学院,并于毕业当年创办了Storj Labs Inc.,曾先后任公司CEO、CTO。John Quinn 公司创始人任Chief Revenue Officer,具有 5年直接投资经验和10年的投资银行经验。Philip Hutchins任公司CTO、首席DevOps架构师。Matthew May公司CFO 曾是Acuity Finan
24、cial Experts公司创始人兼首席运营官。团队信息-核心团队Storj Labs 公司成立于 2014 年,总部位于美国亚特兰大市,目前团队拥有31名成员。2018年3月,云存储创企Storj创始人Shawn Wilkinson称,原开源软件公司Docker的首席执行官Ben Golub将加入Storj Labs,成为执行主席和临时首席执行官。Golub领导着Docker,从2013年的14名员工,经历了数轮融资,最终成长为估值超过10亿美元的公司。说到为什么加入storj,Golub在接受采访时表示:“我喜欢新的企业,但我更加期待一个非常出色的团队,能够解决对这个行业至关重要的问题。”
25、28StorJAnand Babu Periasamy是Minio Inc公司创始人,Minio公司是Minio云存储堆栈的主要开发者。Warren Weber前美联储经济学家Bo Shen 区块链风险投资家团队信息 顾问团队Storj团队和顾问团队靠谱,团队具有较好的技术实力和技术工作经历。29StorJSTORJ没有内置的合约机制Storj虽然是使用块链技术和加密技术来保护在线文件,但是它没有内置的只能合约。这种分片并分散的存储方式,在重组后,可以更快地获得、下载文件(因为你不是从一个存储点下载整个文件),但是没有人可以获取整个文件,这确保了文件的隐私保密。通过引入token激励机制,用户
26、可以将自己的存储空间进行出租,同时获得一定的代币作为报酬。但是因为没有内置的合约机制,租用者可以持续不断的给主机付款,但是如果用户消失或者不在线,主机可能得不到报酬;且交易只发生在需求双方,和其他节点没有关系;30StorJIPFS相对Storj来说范围更广IPFS与Storj对比 n Storj关注的是文件的存储。通过区块链技术,是文件的存储更加安全同时保障用户的隐私。n 但是IPFS是想取代HTTP成为文件传输的底层协议,通过协议来接解决内容存储方面的问题,更关注的文件的共享。云存储只是IPFS其中的一个方面。n IPFS能为区块链网络提供更加更快的速度,更安全的数据服务,并且能优化重复文
27、件存储,减少数据冗余冗余,比SC和Storj更节省资源。从应用的宽度和深度来讲,IPFS 的优势远大于Storj31Sia、Maidsafe 432Sia官方网站https:/sia.tech无ICO代币总量314亿枚区块量浏览器http:/explore.sia.tech/钱包地址https:/sia.tech/apps/目前币价(2017.4.7)$0.01市值排名(2017.4.7)35Sia33Sia基本介绍Sia是Storj最大的竞争对手与Storj相比,Sia拥有自己的区块链。该专有区块链支持Sia用于管理和发送文件的智能合约。一旦发送,Sia也执行类似的存储证明来审计该节点的文件
28、维护。Sia不支持像Storj这样支持法币付款。相反,上传者和节点的支付和获得报酬是用Siacoin。Sia也需要矿工来支持其区块链,而这些矿工也在Siacoin中受到奖励。Siacoin有多个采矿池,第一个也是最大的是SiaMining。Sia是Storj最大的竞争对手,其产品已投放市场。它的工作方式与Storj相似。具体来说,Sia可以将文件分割为30个片段,并具有足够的冗余度,以便只用其中的10个片段就可以成功重建文件。该协议也以类似Storj的方式加密文件。34Sia使用情况在2017年,Sia从75台主机和500TB存储增加到1,000台主机和3.3PB可用存储。这是一个快速增长的速
29、度。但是,与Storj的20,000台主机相比,它仍然很小。Storj的使用率也超过3.5 PB-超过Sia的整个网络规模。Storj的使用率也超过3.5 PB,意味着超过了Sia的整个网络规模。使用情况2018.635SiaSia使用的GPU挖矿,如果要参与就需要买显卡了。Sia挖矿需要加入矿池,挖矿设置也比较复杂。挖矿软件下载地址:https:/siawiki.tech/mining/software。Sia的挖矿和共享硬盘是分开的(这一点跟Storj不一样),如果参与Sia的硬盘共享,只需要下载钱包,在里面简设置一下就可以了。参与Sia的硬盘共享条件抵押 Siacoin的,最少抵押是20
30、00SC,官方的建议是:每T的抵押成本为2万-5万SC。(IPFS也需要抵押)共享空间至少达到20G静态IP或者使用动态DNS(网上有提供免费动态DNS服务比如:https:/)开放端口 9981和9982Sia的合约执行期长达13周,也就是3个月才能收到共享硬盘的收益Sia合约要求7x24小时时间 97%在线,低于这个时间可能会导致合约失败,那么可能你的抵押SC会被扣掉挖矿相关36Sia截至今天(2018.4.7),Sia存储市场已经拥有超过4.7PB的存储容量,897个活跃的节点,已经被使用的容量达219TB。Sia的市值大约在4亿美金左右。1项目已经累积一定用户量,市值跻身前五十8591
31、个提交,386个Fork,34个发布,46个贡献者。2Sia代码更新和维护活跃Sia优势37Maidsafe到目前为止,MaidSafe是该领域规模较小的竞争对手。【官网 https:/ of Resouce),资源包括,CPU,存储,带宽,在线时长。Maidsafe39Maidsafe问题u从巴比特 http:/ 得知,这个项目起步于2006年。u从官方论坛得知:2014年众筹的时候项目把币全部卖出去了。也就是说以后挖矿的时候,只能从交易中获取币,并不能像想起他挖矿一样进行挖币(官方称为Farmer),区块链的用途实际上是一个交易市场,用户提供资源,矿工获取支付。40Burst、Genaro
32、 541Burst容量证明(Proof-of-capacity):在帮助公司挖矿的时候,矿工利用的是未使用的硬盘驱动器空间,而不是处理器和显卡。矿工可以提前生成的大量数据,被称为“plot”,然后保存到硬盘。块存储的数量实际上是采矿速度。对于每一块,矿工浏览储存的plot和计算时间,直到如果另一块尚未发现,并且它有足够能力挖取一个块。plot只需要生成一次,对电脑处理器单元(cpu)或显卡(gpu)使burst系统硬件和能源更加友好。基本介绍按官方的说法是挖矿很简单,只需要下载AIO client就可以了,想了解挖矿的可以看这里:https:/www.burst-coin.org/mining
33、-the-easy-way-with-the-aio-client挖矿相关42GenaroGenaro由新加坡非盈利基金会 Genaro Ltd开发运营,Genaro生态系统的目标是打造区块链3.0,作为下一代区块链平台,帮助区块链应用落地。号称第一个具有图灵完备公有链的分布式存储区网络,相当于在以太坊上面添加了一个分布式存储。Genaro网络=公有链+去中心化存储图灵完备:可以实现图灵机,解决所有可计算问题。去中心化的存储网络共识机制:SPoR(Sentinel Proof of Retrievability)公有链共识机制:权益证明 proof of stake(跟以太坊一样)基本介绍打造
34、区块链3.043代币符号GNXICO日期2017.11.1711.30ICO成本1ETH=30003800GNX,当时大约折价:0.10.7美元官网https:/work白皮书https:/work/en/documentation/whitepaper目前币价(2017.4.7)¥0.37市值排名(2017.4.7)104GenaroGenaro44以太坊 swarm 645swarmswarm是一个分布式存储平台以及内容分发服务,是一个以太坊Web3栈的一个本土服务层。swarm的最主要目标是为以太坊公共记录,尤其是Dapp代码与数据以及区块数据提供一个足够去中心化以及足够重复的存储。从经济学角度来讲,它将会激励一部分参与者集中他们的存储以及带宽资源来为其他网络成员提供以上的服务。基本介绍Swarm的功能与IPFS/Filecoin非常相似,但与Ethereum本地集成。Swarm团队已经概述了两种协议之间的一些差异。Filecoin/IPFS项目将在Swarm之前推出。Swarm的优势在于它与以太坊的的结合,这将吸引大量忠实追随者。Swarm提供了与Ethereum的计算层和Whisper安全消息层集成的存储层。分布式存储平台以及内容分发服务46Q&A谢谢大家的参与!爱网爱链订阅号喜马拉雅听书地址47