大数据时代如何有效管理冷数据

我想昨天分享的IT168企业级别

在大数据时代,人们的生活和工作都在数字化,新数据一直在产生。数据正以几何倍数爆炸。对于现代企业来说,如何存储,管理和使用这些数据是一个难题。

Forrester报告显示,组织中多达73%的数据经常未被使用,但很少的数据被丢弃。由于以下原因,这些组织仍保留旧数据,但很少或从未访问过数据:

新型分析,例如长期趋势分析,可能使这些几乎被遗忘的数据成为必需。

诉讼的可能性,可以追溯到几年前的旧文档和电子邮件。

数据可以称为“冷数据”。顾名思义,冷数据是不经常访问但不能删除的信息,例如用户在社交媒体上存储的大量信息,企业备份数据,业务和运营信息。信息,例如日志数据,账单和统计信息。

这方面的组织所面临的挑战是如何有效地管理此类数据的存储,即使大多数情况下组织看不到这些数据也是如此。

问题之一是IT社区将存储视为商品。存储价格便宜,因此没有人会在需要时考虑订购更多磁盘。

但是存储真的便宜吗?

带宽和基础架构成本不断增长,这些成本通常需要支持更多存储(甚至更便宜的存储)和具有大数据的更大文件。更多的存储空间需要更多的资金来支持处理,网络和人员等支持资源。与存储相关的成本增加的另一个原因是,当保留多个版本的大文件时,灾难恢复和备份过程变得很复杂。

结果是您需要为很少使用或根本不使用的数据提供额外的存储,特别是在大数据需求超出存储空间大小的情况下。这增加了整体IT支出。

该公司可以使用以下四种方法来有效管理其冷库数据。

1。使用便宜但可靠的冷藏库

慢速硬盘驱动器和磁带是很少使用或归档的数据的最常见存储介质。定期测试磁盘和磁带以确保它们正常工作很重要。另外,为避免将旧的驱动器和磁带降级到存档和数据备份功能,这些资源仍具有生命周期,并且如果它们太旧,则很有可能发生故障。

2。考虑基于云的冷存储

如果您不想在现场或物理外部设施中存储大数据,则可以选择使用云。基于云的冷存储有很多选项,您可能会找到最合适的选项来存储所有冷数据。

3。年度冷数据评估

即使您已经有一种存储冷数据的方式,也并不意味着您应该存储所有数据。如果您还没有,则可以与管理层和法律部门进行协商,以确定应该保留哪些数据,丢弃哪些数据,并每年进行一次评估。

4。使用数据/存储自动化

大多数存储提供商都提供通过人工智能实现的分层数据存储。人工智能采用您定义的规则来存储数据,并自动将其应用于确定数据的存储位置。

数据存储的主要层是内存存储或固态驱动器,您可以在其中访问数据存储。很少访问的数据可以存储在便宜的硬盘存储的辅助数据层上。

很少使用的数据或冷数据将分配给较慢的磁盘驱动器或磁带,这是您最便宜的存储介质。通过利用这种自动化,您可以确保始终将大量的热数据存储给用户,同时仍以最低的成本存储冷数据。

结论

大多数大数据存储管理策略的重点是允许用户实时获取数据,但这也增加了存储和处理的预算。公司可以通过管理很少使用的数据来帮助抵消这些大笔费用,以便以最低的成本进行存储。对于这些数据,冷藏是一种安全,可靠且经济的解决方案。

收款报告投诉

在大数据时代,人们的生活和工作都在数字化,新数据一直在产生。数据正以几何倍数爆炸。对于现代企业来说,如何存储,管理和使用这些数据是一个难题。

Forrester报告显示,组织中多达73%的数据经常未被使用,但很少的数据被丢弃。由于以下原因,这些组织仍保留旧数据,但很少或从未访问过数据:

新型分析,例如长期趋势分析,可能使这些几乎被遗忘的数据成为必需。

诉讼的可能性,可以追溯到几年前的旧文档和电子邮件。

数据可以称为“冷数据”。顾名思义,冷数据是不经常访问但不能删除的信息,例如用户在社交媒体上存储的大量信息,企业备份数据,业务和运营信息。信息,例如日志数据,账单和统计信息。

这方面的组织所面临的挑战是如何有效地管理此类数据的存储,即使大多数情况下组织看不到这些数据也是如此。

问题之一是IT社区将存储视为商品。存储价格便宜,因此没有人会在需要时考虑订购更多磁盘。

但是存储真的便宜吗?

带宽和基础架构成本不断增长,这些成本通常需要支持更多存储(甚至更便宜的存储)和具有大数据的更大文件。更多的存储空间需要更多的资金来支持处理,网络和人员等支持资源。与存储相关的成本增加的另一个原因是,当保留多个版本的大文件时,灾难恢复和备份过程变得很复杂。

结果是您需要为很少使用或根本不使用的数据提供额外的存储,特别是在大数据需求超出存储空间大小的情况下。这增加了整体IT支出。

该公司可以使用以下四种方法来有效管理其冷库数据。

1。使用便宜但可靠的冷藏库

慢速硬盘驱动器和磁带是很少使用或归档的数据的最常见存储介质。定期测试磁盘和磁带以确保它们正常工作很重要。另外,为避免将旧的驱动器和磁带降级到存档和数据备份功能,这些资源仍具有生命周期,并且如果它们太旧,则很有可能发生故障。

2。考虑基于云的冷存储

如果您不想在现场或物理外部设施中存储大数据,则可以选择使用云。基于云的冷存储有很多选项,您可能会找到最合适的选项来存储所有冷数据。

3。年度冷数据评估

即使您已经有一种存储冷数据的方式,也并不意味着您应该存储所有数据。如果您还没有,则可以与管理层和法律部门进行协商,以确定应该保留哪些数据,丢弃哪些数据,并每年进行一次评估。

4。使用数据/存储自动化

大多数存储提供商都提供通过人工智能实现的分层数据存储。人工智能采用您定义的规则来存储数据,并自动将其应用于确定数据的存储位置。

数据存储的主要层是内存存储或固态驱动器,您可以在其中访问数据存储。很少访问的数据可以存储在便宜的硬盘存储的辅助数据层上。

很少使用的数据或冷数据将分配给较慢的磁盘驱动器或磁带,这是您最便宜的存储介质。通过利用这种自动化,您可以确保始终将大量的热数据存储给用户,同时仍以最低的成本存储冷数据。

结论

大多数大数据存储管理策略的重点是允许用户实时获取数据,但这也增加了存储和处理的预算。公司可以通过管理很少使用的数据来帮助抵消这些大笔费用,以便以最低的成本进行存储。对于这些数据,冷藏是一种安全,可靠且经济的解决方案。

http://m.demoscien.com.cn