2020年6月9日,IPFS/Filecoin官方发布一篇博客,介绍了Filecoin协议特有的功能——大规模数据的离线数据传输。
Filecoin旨在存储世界上最有价值的信息。每天全球产生的数据量约为2.5亿个字节。尽管其中许多数据不需要永久存储,但也有一些数据包含了在科学、数学、艺术、历史和人文科学领域创造的最重要的信息。
Filecoin是一个基于
区块链的市场,用于买卖分散式存储。区块链机制提供了安全的存储保证,而
加密货币机制则创建了一个动态的市场。
有时在处理大量数据时,通过互联网传输这些文件以进行存储可能会变得昂贵和耗时。对于PB级数据集和更大的数据集,使用物理设备进行数据传输通常是最明智的解决方案。Filecoin协议和项目提供了工具和结构来支持所谓的脱机数据传输。
在决定是选择在线还是离线传输数据时,需要考虑两个因素:费用和时间。
在费用方面,考虑到像网络这样的存储方案,从一个地方到另一个地方传输数据的成本很快会变得非常昂贵。将一个庞大的信息档案馆(如博物馆或图书馆)的数据上传、存储和保护到分散的Web(dweb)上,可以通过在互联网上流式传输数据或使用物理设备进行传输来实现。
使用互联网流式传输数据,传输成本会迅速增加。在当今的云服务中,传输PB级数据需要通过多个区域发送数据,这将导致互连费用和区域带宽费用。仅仅是带宽传输2.5PB的数据,就需要花费约140,000美元,如果涉及跨区域移动数据,则成本会更高。
这些费用可能会给档案馆、博物馆和其他非营利组织增加负担。现代艺术收藏的博物馆中的数据量超过了90万亿字节,预计到2025年,这个数据量将增长到1.2PB级。英文维基百科包含超过600万页的文章和超过36十亿字。CERN的开放数据门户网站中包含超过1PB的数据。伦敦自然历史博物馆的数据门户网站包含近400万个历史标本。国家档案馆的电子记录部门拥有500TB的数据。这些都是非常有价值的数据。
另外,还要考虑到硬盘驱动器本身的成本。一个服务器级的8TB硬盘驱动器价格约为200美元。例如,要传输2.5PB的数据,您将需要约315个硬盘驱动器,总计约为63,000美元。尽管可能需要支付一些额外的运输、进口费用和货币兑换成本,但与通过互联网传输数据相比,脱机数据传输的成本要低得多!
在时间方面,假设国家档案馆希望将其电子记录传输到另一台服务器。以100Mbps的速度传输500TB的数据需要一年多的时间。而使用硬盘驱动器传输相同的数据,只需要下载和发送的时间,大约一周之内就可以完成!显然,在某些情况下,物理传输数据的成本效益更高且速度更快。
Filecoin的离线数据传输功能使得拥有非常大数据集的用户可以离线传输数据(例如,通过将硬盘从客户端运送到存储矿工的方式),并按预期的顺序进行交易。通过一个标志来实现,该标志告诉客户端不要通过网络传输数据。相反,客户端传递一个CID(描述数据的唯一标识符),矿工必须匹配该CID才能完成交易。这种方式为客户端节点提供了如何设置交易的灵活性,例如将矿工在硬盘上的特定位置传递给矿工,供其生成分段CID的数据。
为了支持离线数据传输,Filecoin项目启动了FilecoinDiscover,该项目旨在激励早期矿工购买和存储装有有价值开源数据的硬盘,并通过获得其他Filecoin代币并让其他人可以使用它的方法,以扩大我们的知识库并形成新的想法。矿工可以选择使用硬盘驱动器,并在FilecoinDiscover商店中签署有保证的合同,该商店是一个PB级重要公共数据的目录,目前正不断增长!矿工将支付一定的费用以存储这些数据,作为交换,他们将获得Filecoin代币。
FilecoinDiscover项目开放的前24小时内,收到了600多个硬盘驱动器的订单,这表明该项目引起了很大的兴趣。
对于类似于FilecoinDiscover的项目,成功实施的关键在于降低硬件成本。在4月份,Filecoin提出了一个有关存储设备(类似于AWSSnowball)的RFP,旨在实现更快的脱机数据传输。
热点:BTC FIL未来 ipfs