数据归档

最后更新于:2019-05-13 16:46:43

数据归档,也叫冷数据转储,是指把一些过老的,访问次数很低的数据迁移归档(转储)到廉价的存储系统里,如 Amazon S3。

神策分析在 1.14 版本开始提供数据归档功能,为客户减少使用成本。

1. 什么时候需要数据归档

当满足如下条件时,可进行数据归档:

  • 当用户使用了较长时间的神策服务,集群中存储的数据越来越多,需要定期扩大集群的存储大小
  • 当用户使用了较长时间的神策服务,对于过老的数据,访问次数较低

2. 数据归档预期效果

进行数据归档之后,会有如下的预期效果:

  • 大量旧数据会存储在更低廉的存储系统,降低使用成本
  • 转储之后不影响旧数据的查询,但查询速度会比存储在原集群中会慢一些
  • 已进行数据归档的日期不可再进行导入

3. 前期了解

目前,数据归档提供三种不同存储协议:

协议 说明 使用场景
hdfs:// hadoop 集群文件系统 若有廉价的 hdfs 存储环境,可使用此协议进行数据归档
s3a:// Amazon S3 云存储 若通过直接创建 Amazon S3 bucket 的形式建立归档文件服务器
file:// 公有云全托管式 POSIX 分布式文件系统,如 JuiceFS 可以基于任意公有云(包含 AWS) 建立归档文件服务

参考文档:

4. 开启功能

开启数据归档功能,请联系神策技术支持,神策技术团队会给出最合理的归档方案,并开启归档服务。