一些技术专业人员对团队用于数据传输的“老派”方法的实际迹象表示怀疑，即通过联邦快递运送。

代替数据电缆而转向航空货运的原因很简单。使用互联网连接从夏威夷，智利沙漠和南极洲等地将5 PB的数据发送到麻省理工学院的编译中心需要花费数年的时间。但是，运送镜像硬盘驱动器仅需几个小时。

使用飞机进行与开创性科学项目有关的数据传输令人惊讶地象征着世界正在进入的新时代。我们不断增强的监视和跟踪周围所有事物的能力很快将使我们用于存储和发送所有数据的资源不堪重负。迫切需要创新的替代方案。

我们大多数人都阅读了统计数据：到2025年，全球数据量预计将达到175 ZB。传感器在飞速发展，并且随着我们的文档，视频，文本和其他输出，设备将比人类产生更多的信息。我们如何处理即将来临的数据爆炸尚不清楚。就像黑洞照片一样，我们可以看到轮廓，但是细节仍然无法聚焦。

数据传输问题

一万亿演出和计数将为技术圈提出两个重大挑战。首先，不可能在当前或下一代网络上有效地传输如此大量的信息。

这不仅仅是项目遇到的问题，即从A到B获得5 PB的数据。交通行业正在处理每辆自动驾驶汽车每天可能产生的5 TB数据。不仅如此，生物技术正面临着一个基因组分析可以产生500 TB的挑战，制造商准备从几乎所有可以想象的消费产品中收集无数的状态更新-更不用说他们自己的设施和装配线了。

在某些情况下，缓慢而稳定的数据传输就足够了。但是自动驾驶汽车必须立即知道是否要刹车，并且必须立即处理在偏远工厂发生火灾的报告。这将技术带到了边缘。

解决数据量大量增加的可能解决方案之一是使计算和存储更接近数据创建点。边缘和雾计算有望帮助实现增强现实之类的应用程序所需的低延迟，并在将原始数据发送到集中式数据中心和云之前将其编译为更有用和更紧凑的形式。

这些技术将在一定程度上共同限制我们网络的压力，但这将使用与几年前以云计算为主的预测大不相同的架构来完成。

存储扩展的数据世界

创建更多数据的第二个关键问题是存储。对于一张图像，Event Horizon Telescope产生了相当于5,000年的MP3，相当于装载了半吨硬盘。2025年将存在的全球数据将需要容纳125亿今天的硬盘。由于本地和云存储主要由旋转和闪存种类的硬盘驱动器提供支持，因此该技术的未来是主要考虑因素。

这就是坏消息。基于驱动器的存储已达到超顺磁极限，这在数字存储领域相当于摩尔定律。正如制造商将更多的晶体管塞入集成电路中一样，处理器速度大约每两年翻一番，存储功能也越来越强大。由于原始设备制造商（OEM）缩小了磁粉涂层磁盘，因此每年的增长率约为40％。就像在Intel芯片中制造小晶体管以及将它们紧密封装在一起的方式存在物理限制一样，磁性颗粒的最小实际尺寸也已达到极限，而硬盘驱动器已经达到了这种尺寸。

为什么没有引起足够的关注？到目前为止，制造商已经做出了更多反应，以增加在相同占地面积上的生产能力，但是通过这些方式提供的收益正在放缓。有工作中的技术可以提供帮助，包括热辅助和微波辅助磁记录，但是它们仍然存在问题且成本很高。

这些工程现实使专家们朝着各个方向寻求如何最好地封装人类即将产生的创纪录数量的数据。有磁带备份的拥护者，尽管它有延迟，但仍可提供能源效率并仍未满足超顺磁极限。在更远的地方，研究人员正在探索如何将信息存储为DNA。在这种情况下，所有全局数据都可以放入衣帽间，但是聚合物编码需要重新水化并送入定序器以进行读取的事实意味着即时访问将不是一个功能。

解决存储难题将有一个很好的答案，但是更好的IT设备不会改变这样一个事实，即大量数据存储会带来成本，安全性和合规性问题以及实用性挑战。企业将需要解决此问题。

数据管理的重要性

在未来的几年中，组织将不可避免地在数据爆炸中投入硬件。这通常意味着使现有存储系统的可用时间远远超出其预期，因为将归档转换到较新的存储阵列的可用预算将受到同时增加传入数据容量的需求所限制。这将影响采购决策，设备生命周期管理以及硬件维护，支持和升级选择。

最终，数据泛滥不仅仅是硬件问题。就像家庭住宅杂乱无章一样，最好，最具成本效益的解决方案是不买大房子。科技行业将需要努力来进行整理。如果公司希望他们的头脑超越物联网数据洪流，那么选择保留什么数据和丢弃什么数据将变得越来越重要。

因此，对于组织而言，至关重要的是，要开发强大，有效的数据管理策略，以将保留的信息量限制为对其运营而言最有价值和最具影响力的信息。从最初的创建到最终的销毁，数据生命周期路线图的设计都必须提上日程。出于安全，隐私和合规性的原因，最终销毁必须是永久性且不可逆的，就像信息陷入了一个巨大的黑洞一样。