云存储解决方案

来源: 广东坤通科技有限公司  日期:2020-01-13  点击:8724  属于:解决方案
  1. 方案概述
   对象存储服务(Object Storage ServiceOSS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。OSS系统和单个桶都没有总数据容量和对象/文件数量的限制,为用户提供了超大存储容量的能力,适合存放任意类型的文件,适合普通用户、网站、企业和开发者使用。OSS是一项面向Internet访问的服务,提供了基于HTTP/HTTPS协议的Web服务接口,用户可以随时随地连接到Internet的电脑上,通过OSS管理控制台或各种OSS工具访问和管理存储在OSS中的数据。此外,OSS支持SDKOSS API接口,可使用户方便管理自己存储在OSS上的数据,以及开发多种类型的上层业务应用。
通过多个区域部署了OSS基础设施,具备高度的可扩展性和可靠性,用户可根据自身需要指定区域使用OSS,由此获得更快的访问速度和实惠的服务价格。
  1. 总体方案架构
   对象存储服务OSS的基本组成是存储对象的容器和OSS中数据存储的基本单位。
OSS中存储对象的容器,每个存储容器实例都有自己的存储类别、访问权限、所属区域等属性,用户在互联网上通过存储对象容器的访问域名来定位存储基本单位。
   对象是OSS中数据存储的基本单位,一个对象实际是一个文件的数据与其相关属性信息的集合体,包括KeyMetadataData三部分:
Key键值,即对象的名称,为经过UTF-8编码的长度大于0且不超过1024的字符序列。一个桶里的每个对象必须拥有唯一的对象键值。
Metadata元数据,即对象的描述信息,包括系统元数据和用户元数据,这些元数据以键值对(Key-Value)的形式被上传到OSS中。
  • 系统元数据由OSS自动产生,在处理对象数据时使用,包括DateContent-lengthLast-modifyContent-MD5等。
  • 用户元数据由用户在上传对象时指定,是用户自定义的对象描述信息。
Data:数据,即文件的数据内容。
   坤通云存储针对OSS提供的REST API进行了二次开发,提供了控制台、SDK和各类工具,方便在不同的场景下轻松访问OSS以及容器对象。当然也可以利用OSS提供的SDKOSS API,根据业务的实际情况自行开发,以满足不同场景的海量数据存储诉求。

1. 云存储架构设计

  1. 存储类别及访问
    1. 存储类别概述
          OSS提供了三种存储类别:标准存储、低频访问存储、归档存储,从而满足客户业务对存储性能、成本的不同诉求
1、标准存储访问时延低和吞吐量高,因而适用于有大量热点文件(平均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景,例如
大数据、移动应用、热点视频、社交图片等场景。

2、低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景,例如:文件同步/共享、企业备份等场景。与标准存储相比,低频访问存储有相同的数据持久性、吞吐量以及访问时延,且成本较低,但是可用性略低于标准存储。

3、归档存储适用于很少访问(平均一年访问一次)数据的业务场景,例如:数据归档、长期备份等场景。归档存储安全、持久且成本极低,可以用来替代磁带库。为了保持成本低廉,数据取回时间可能长达数分钟到数小时不等。

         OSS分别提供容器级和对象级的存储类别。上传对象时,对象的存储类别默认继承容器的存储类别。当然客户也可以重新指定对象的存储类别。
修改存储类别,已有对象的存储类别不会修改,新上传对象时的默认对象存储类别随之修改
对比项目 标准存储 低频访问存储 归档存储
特点 高性能、高可靠、高可用的对象存储服务 高可靠、较低成本的实时访问存储服务 归档数据的长期存储,存储单价更优惠
应用场景 云应用、数据分享、内容分享、热点对象 网盘应用、企业备份、活跃归档、监控数据 档案数据、医疗影像、视频素材、带库替代
设计持久性 99.999999999% 99.999999999% 99.999999999%
设计持久性(多AZ 99.9999999999% 99.9999999999% -
设计可用性 99.99% 99.99% 99.99%
设计可用性(多AZ 99.995% 99.995% -
最低存储时间 30 90
数据取回 免费 按实际取回数据量收费,单位GB 分加急和标准两种取回方式,
按实际取回数据量收费,单位GB
 
图片处理 支持 支持 不支持
                             1. 存储类别对比
 
    1. 访问对象存储服务方式
   对象存储服务提供了多种资源管理工具,可以选择以下表中的任意一种方式访问并管理对象存储服务上的资源。
工具 描述 使用方法
管理控制台 管理控制台是网页形式的。通过管理控制台,客户可以使用直观的界面进行相应的操作。 控制台指南
OSS Browser OSS Browser是一款运行在WindowsMAC系统上的对象存储服务客户端,可以非常方便的让客户在个人电脑上进行对象存储的操作 OSS Browser工具指南
OSSFTP OSSFTP工具利用pyftpdlib库的FTP server能力和对象存储云端存储能力,提供具有FTP接入的云上存储使用能力。在企业实际业务中,无需单独搭建FTP服务器和存储池,实现业务和运维的轻量化,极大降低了原有的FTP访问方式的技术成本 OSSFTP工具指南
OSSutil OSSutil是一款用于访问管理OSS的命令行工具,客户可以使用该工具对OSS进行常用的配置管理操作。对于熟悉命令行程序的用户,OSSutil是执行批量处理、自动化任务的不错选择 OSSutil工具指南
OSSfs OSSfsOSS提供的一款基于FUSE的文件系统工具,主要用于将并行文件系统挂载至Linux系统,让用户能够在本地像操作文件系统一样直接使用OSS海量的存储空间 OSSfs工具指南
SDK SDK是对OSS服务提供的REST API进行的封装,以简化用户的开发工作。用户直接调用SDK提供的接口函数即可实现使用OSS业务能力的目的 SDK参考
API OSS提供REST形式的访问接口,使用户能够非常容易地从Web应用中访问OSS。用户可以通过本文档提供的简单的REST接口,在任何时间、任何地点、任何互联网设备上进行上传和下载数据 API参考
2. OSS资源管理工具
  1. 存储功能特点
4.1 多种存储类型
  支持数据冷热分层,提供更具性价比的存储方式
  • 数据冷热分层维度
   提供标准型、低频型、归档型三种存储类型,满足不同场景的数据存储
  • 数据冗余维度
   提供同城区域冗余ZRS、本地冗余LRS类型;ZRS,将数据冗余存放在多个可用区,具备机房级容灾能力;LRS,将数据冗余存放在同一可用区的多个设备,抵御硬盘/存储服务器级故障
4.2 数据保护与安全
        支持多冗余的可靠架构、完整性校验、权限控制、加密、日志审计、数据合规等,提供更可靠、更安全、更合规的对象存储
  • 数据可靠
        多重冗余分布式架构,有效应对各类硬件故障,消除单点隐患,提供最大129的数据持久性设计
  • 完整性校验
        存储和读取数据时,对网络流量计算CRC64校验和,检测数据包是否损坏,确保数据完整性
  • 完善的权限控制
        提供RAMACLBucketPolicyURL签名等多种访问控制机制,支持BucketObjectAPI级细粒度授权
  • 网络访问安全防护
        支持防盗链,支持通过BucketPolicy设置IP黑白名单或限制只能Https访问
  • 数据加密
        提供服务端加密、客户端加密的多种数据加密选项
  • 日志审计
        支持将OSS访问记录,按小时导出成日志文件,用于分析与审计;支持实时日志查询,结合日志服务,分钟级日志推送,秒级查询与可视化分析
  • 数据合规
        OSS支持WORM策略(一次写入,多次读取), 保护周期内,任何人都不能对文件进行修改和删除,满足行业合规要求。同时,坤通云通过国内外多项认证,率先将众多的合规控制点,融入云平台内控管理和产品设计中
4.3 企业级数据管理
  支持生命周期、回源、更丰富的数据上传与下载方式、事件通知、回调等,提供更简单易用、更便于管理的对象存储
  • 生命周期
       可定义数据的生命周期,将符合规则的对象转换存储类型或过期清除
  • 镜像回源
  支持配置用户源站,当访问数据不在OSS时,OSS会从源站拉取并写入OSS
  • 文件上传
        支持PutObjectPostObjectMultipartUploadAppendObject方式。其中,Append上传的文件,支持在文件末尾追加内容
  • 文件下载
        支持简单下载、断点续传下载,其中断点续传下载,可设置从Object指定的位置开始下载
  • 云监控
        对接云监控,支持OSS基础服务指标、性能指标和计量指标的监控
  • 事件通知
        支持事件通知,OSSObject相关操作可触发事件通知,用户可设置触发器,以执行各种操作
  • 实时日志
        支持导出访问日志到用户Bucket,也可结合日志服务,对OSS访问记录实时查询、可视化分析,满足企业运维审计、业务分析等需求
4.4 数据处理能力
  支持图片、文档、视频、CSV等数据的常用处理和分析能力,提供更智能的对象存储
  • 图片处理
       支持jpgpngbmpgifwebptiff等格式的转换,以及缩略图、剪裁、水印、缩放等多种操作
  • 视频截帧
       支持截取出视频中的指定位置生成图片,完成视频截帧
  • 文档预览
        支持对pptxlsdocpdf 等格式文档进行在线预览
  • 标签识别
        支持图片场景标签识别,如交通工具、电子产品、常用物品、饮食等,支持分层标签
  • 人脸识别
        支持图片中多张人脸的位置与属性检测,如性别、年龄、情绪、头部姿势、眼睛状态、模糊度等
  • OSS Select
  支持通过SQL选取CSVJSON文件内容,而无需下载整个文件再分析,可为大数据应用提速

4.5 数据生态丰富
  支持对接开源生态、坤通云丰富的计算产品、数据管理产品,帮助客户释放数据更大的业务价值
  • 开源生态
  中国首家被Hadoop官方社区支持的云存储,可对接丰富的开源生态。用户可通过LogstashFlume将日志投递到OSS,可在HadoopSparkHiveImpalaFlinkPresto中访问OSS,通过计算存储分离架构,将温数据、冷数据存储在OSS
  • 计算产品对接
        OSS无缝对接坤通云日志服务、EMRDataLakeAnalytics、函数计算、批量计算、MaxCompute,满足用户日志投递、离线处理、交互式查询、Severless触发计算、批量计算等场景需求
  • 数据管理生态
  支持通过坤通云DBS,将各类数据库备份到OSS;通过数据集成,将数据导入到OSS;通过坤通云混合云存储阵列结合云上OSS,可实现本地和云端存储空间的无缝结合
4.6 大规模数据迁移
  支持PB级的在线、离线迁移方案,完成中国互联网首个单客户百PB级数据的迁移上云案例,提供更安全、更快速海量数据迁移上云方案
  • 离线数据迁移
  闪电立方可将用户线下数据,安全、高效的迁移到OSS,提供端到端的加密机制,支持TBPB级数据迁移上云
  • 在线数据迁移
  用户可使用坤通云在线数据迁移服务、OSSImport工具,将第三方云存储、自建线下存储等各类数据,在线迁移到OSS,支持TBPB级数据迁移到OSS
  • HDFS数据迁移
  通过HadoopOSS的支持,用户可以在自建的Hadoop集群或通过坤通云EMR,将HDFS中大规模的数据迁移到OSS
 
  1. 存储产品优势
5.1 数据稳定可靠
          OSS支撑坤通手机云相册,数亿用户访问,稳定可靠。通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案,保障数据持久性高达99.9999999999%,业务连续性高达99.995%,远高于传统架构。

可靠性架构
5.2 多重防护管理
         OSS通过可信云认证,让数据安全放心。支持多版本控制、服务端加密、防盗链、VPC网络隔离、IP黑白名单、访问日志审计以及细粒度的权限控制,保障数据安全可信。

3多重防护管理
5.3 只能调度并发
        OSS通过智能调度和响应,优化数据访问路径,并结合事件通知、传输加速、大数据垂直优化等,为各场景下用户的千亿对象提供千万级并发、超高带宽、稳定低时延的数据访问体验。

千万并发的数据访问
5.4 简单易用易管理
         OSS支持标准REST API、多版本SDK和数据迁移工具,让业务快速上云。无需事先规划存储容量,存储资源可线性无限扩展,不用担心存储资源扩容、缩容问题。同时提供全新的POSIX语言系统,应用接入更简便。

简单易用管理
5.5 资源弹性扩容
   持按量付费模式,按实际使用量付费,无需提前一次性投入。同时,自动弹性扩展,不限用户存储的容量和文件数目,满足EB级海量存储需求

5.6 数据分层
   提供标准、低频、归档多种类型,通过生命周期自动化实现数据类型转换与过期管理,覆盖从热到冷多种存储场景。

数据分析
  在信息时代,企业数据直线增长,自建存储服务器存在的诸多劣势已无法满足企业日益强烈的存储需求。以下列表详细展示了OSS与自建存   储服务器的优劣势对比:
对比项 OSS 自建存储服务器
数据存储量 提供海量的存储服务,在全球部署着N个数据中心,所有业务、存储节点采用分布式集群方式部署,各节点、集群都可以独立扩容,用户永远不必担心存储容量不够 数据存储量受限于搭建存储服务器时使用的硬件设备,存储量不够时需要重新购买存储硬盘,进行人工扩容
安全性 支持HTTPS/SSL安全协议,支持数据加密上传。同时OSS通过访问密钥(AK/SK)对访问用户的身份进行鉴权,结合IAM策略、桶策略、ACL、防盗链等多种方式和技术确保数据传输与访问的安全 需自行承担网络信息安全、技术漏洞、误操作等各方面的数据安全风险
可靠性 通过五级可靠性架构,保障数据持久性高达99.999999999%,业务连续性高达99.99%,远高于传统架构 一般的企业自建存储服务器不会投入巨额的成本来同时保证介质、服务器、机柜、数据中心、区域级别的可靠性,一旦出现故障或灾难,很容易导致数据出现不可逆的丢失,给企业造成严重损失
成本 即开即用,免去了自建存储服务器前期的资金、时间以及人力成本的投入,后期设备的维护交由OSS处理。
按使用量付费,用多少算多少。阶梯价格,用的越多越实惠
前期安装难、设备成本高、初始投资大、自建周期长、后期运维成本高,无法匹配快速变更的企业业务,安全保障的费用还需额外考虑
3 OSS与自建存储服务器对比
 
  1. 应用场景
6.1 静态网站托管
         OSS提供低成本、高可用、可根据流量需求自动扩展的网站托管解决方案,结合内容分发网络CDN和弹性云服务器ECS快速构建动静态分离的网站/应用系统。
终端用户浏览器和APP上的动态数据直接与搭建在坤通云上的业务系统进行交互,动态数据请求发往业务系统处理后直接返回给用户。静态数据保存在OSS中,业务系统通过内网对静态数据进行处理,终端用户通过就近的高速节点,直接向OSS请求和读取静态数据。

静态网站托管
6.2 在线视频点播
        OSS提供高并发、高可靠、低时延、低成本的海量存储系统,结合媒体处理MPC、内容审核Moderation和内容分发网络CDN可快速搭建极速、安全、高可用的视频在线点播平台。
         OSS作为视频点播的源站,一般的互联网用户或专业的创作主体将各类视频文件上传至OSS后,通过Moderation对视频内容进行审核,并通过MPC对视频源文件进行转码,最终通过CDN回源加速之后便可以在各类终端上进行点播。

在线视频点播
6.2 基因测序
         OSS提供高并发、高可靠、低时延、低成本的海量存储系统,结合坤通云计算服务可快速搭建高扩展性、低成本、高可用的基因测序平台。
客户数据中心测序仪上的数据通过云专线自动快速上传到云上,通过由ECSCCEMRS等服务搭建的计算集群进行分析计算,分析计算产生的数据和计算结果存储到OSS中,其中上传到云的基因数据自动转为低成本的归档对象保存在OSS提供的归档存储中,计算得出的测序结果通过公网在线分发到医院和科研机构。

基因测试
6.4 智能视频监控
         OSS为视频监控解决方案提供高性能、高可靠、低时延、低成本的海量存储空间,同时提供标准存储、低频访问存储和归档存储分类存储数据,降低存储成本,满足个人/企业等各类视频监控场景需求,提供设备管理、视频监控以及视频处理等多种能力的端到端解决方案。
摄像头拍摄的监控视频通过公网或专线传输至坤通云,在弹性云服务器ECS和弹性负载均衡ELB组成的视频监控处理平台将视频流切片后存入OSS,后续再从OSS下载历史视频对象传输到观看视频的终端设备。

10 只能视频监控
6.5 备份归档
         OSS提供高并发、高可靠、低时延、低成本的海量存储系统,满足各种企业应用、数据库和非结构化数据的备份归档需求。
企业数据中心的各类数据通过使用同步客户端、主流备份软件、云存储网关或数据快递服务DES,备份至坤通云对象存储服务OSSOSS提供生命周期功能实现存储类别自动转换,以降低存储成本。在需要时,可将OSS中的数据恢复到云上的灾备主机或测试主机。

11 备份归档
6.6 云端数据处理
   上传文件到OSS后,可以配合媒体处理服务和图片处理服务进行云端的数据处理

12 云端数据处理
6.7 大数据分析
        OSS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景,向用户提供低成本、高性能、不断业务、无需扩容的解决方案
 
  • 海量数据存储分析的典型场景:PB级的数据存储,批量数据分析,毫秒级的数据详单查询等
  • 历史数据明细查询的典型场景:流水审计,设备历史能耗分析,轨迹回放,车辆驾驶行为分析,精细化监控等
  • 海量行为日志分析的典型场景:学习习惯分析,运营日志分析,系统操作日志分析查询等
  • 公共事务分析统计的典型场景:犯罪追踪,关联案件查询,交通拥堵分析,景点热度统计等
用户通过DES等迁移服务将海量数据迁移至OSS,再基于坤通云提供的MapReduce等大数据服务或开源的HadoopSpark等运算框架,对存储在OSS上的海量数据进行大数据分析,最终将分析的结果呈现在ECS中的各类程序或应用上。

13 大数据分析
 
  1. 行业实战领域
7.1 网站动静分离
   提供更低成本、易扩展的存储服务
   用户可以像文件夹一样管理客户网站上的图片,脚本,视频等静态资源,通过BGP网络或者CDN加速的方式,提供用户就近访问,有效降低云服务器负载,提升用户体验。

能够提供:
  • 高性能
不必担心业务数据量增高导致的服务器负载问题。
  • 低成本
  • 资源弹性伸缩,按需付费

14 网站动静分离
7.2 多媒体数据存储
适用于图片、音视频、日志等海量文件的存储
   支持各种终端设备,Web网站程序和移动应用直接向OSS写入或读取数据,支持流式写入和文件写入两种方式。强大的技术保障为客户提供119的数据写入可靠性保障,与CDN和视频转码无缝结合。

能够提供:
  • 灵活接入
    标准RESTful API接口、丰富的SDK包客户端工具及控制台
  • 安全可靠
    多层安全机制有效保证数据可靠性
  • 低成本
    资源弹性伸缩,灵活计费方式

15 多媒体数据存储
7.3 多存储类型
存储分层,成本直降
  全面覆盖从有热点存在、频繁访问的各类音视频、图片数据,到低频访问的各类备份数据,再到长期归档的数据。 配合Lifecycle机制,按照配置的时间周期,将数据转储到更低单价的存储类型上,优化存储成本。

能够提供:
  • 标准存储Standard
    高性能、高可靠、高可用的对象存储服务
  • 低频访问类型Infrequent Access
    较低存储成本和实时访问特性的对象存储服务
  • 归档类型Archive
    归档数据的长期存储,存储单价最低

16 多存储类型
7.4 跨区域容灾
OSS提供跨区域复制功能
  用户存储数据可以通过的跨区域复制功能实时同步到指定区域,实现数据异地容灾,从容应对极端灾难保证业务流畅,为重要数据加上多重保险
能够解决的问题:
  • 异地容灾
    通过跨区域复制功能可在另一数据中心维护副本,实现异地容灾
  • 数据合规
    在远距离的OSS数据中心之间复制数据以满足数据合规性要求

17 跨区域容灾
坤通科技

坤通科技

广东坤通科技有限公司

地址: 广州市天河区高唐路263号805、806 电话:020-85162923

邮件:service@kunton.com 联系人:宋小姐