CDMI™与图书馆服务桑良之

--上海第6届国际图书馆论坛

Abstract

September15, 2011, Advanced Storage and Information Industry Association(SNIA) released a file, The CDMI™, Cloud Data Management Interface, Version1.0,1.This paper，discusses the cloud storage and service in the library. We should more and more using the CDMI™ in those area of international management, object storage, and metadata. My paper is discussing the library’s cloud storage, object storage, and the library’s cloud service for now and future.

1． 图书馆界云存储、云服务技术的应用

1．1 WorldCat® Local OCLC的WorldCat® Local是云服务应用的典型范例。WorldCat® Local 通过一个界面可让用户快速连接到检索到的文章，可以在Google 和 Yahoo、社交网络服务和其他热门网站利用图书馆。 基于 WorldCat 知识库及清单，显示各级分馆馆藏。通过社交网络工具，用户可以创建和共享列表、撰写评论、评价资料等。通过托管跟踪/度量工具获得详细的使用情况统计信息。WorldCat.org URL，将集团/联盟目录搜索，添加本地服务（如 OpenURL 解析器或虚拟咨询服务），获得资源。图书馆联盟与 Google Books、HathiTrust、JSTOR 和 OAIste 等组织合作，每次l 搜索都能获得丰富的资源。它搜索简单。点击一次，户即可查看电子文本，预约，或提出共享请求。集中检索，所需时间少，不需要单独的数据加载。OCLC云服务提供NetLibrary、ebrary、Overdrive 、 MyiLibrary的电子资源、Google Books 和 HathiTrust的数字图书， Springer、Wiley、Elsevier、Taylor & Francis、牛津大学出版社的出版物。用户可以连接以下网址的资源：ONTENTdm GPO.gov HathiTrust Digital Library ERIC Library of Congress以 .gov 和 .edu 为域名的网站的 PDF 文件 。开放访问，评价，供应商记录，知识库数据，机构资料库记录，硕博士论文，录音记录，可视资料，档案资料，连续出版物，会议记录，乐谱，地图（包括地图集及地名词典）。

1．2 ＣＡＬＩＳ数字图书馆云服务

中国高等院校文献保障体系（CALIS）开展的云服务 CALIS数字图书馆公共服务平台提供的服务，包括统一认证服务、计费服务、联合资源检索服务、知识服务、数据服务、数字对象存储和下载服务、元数据联合编目服务、文献联合订购服务、全局资源调度服务等。 CALIS数字图书馆SaaS服务平台服务，包括馆际互借SaaS服务、参考咨询SaaS服务、特色库加工SaaS服务、教参管理SaaS服务、学位论文SaaS服务等。各图书馆馆可以按需申请租用部分或全部服务。CALIS本地服务，包括统一服务注册和管理、统一监控、日志管理、本地统一认证／授权、单点登录。它可以提供状态管理、负载管理等。CALIS本地应用系统(Nebula Applica-tion Server)提供图书馆业务功能，包括门户系统(Portal)、馆际互借、文献传递、参考咨询、特色库加工、资源收获、资源发布、资源仓储服务、统一检索、资源调度等。它支持标准化的统一认证、监控、日志等接口，与CALIS本地基础平台无缝连接，成为本地数字图书馆的组成部分。云联邦服务平台(Nebula Federation Platform，NFP)实现跨云服务，将私有云和公有云形成混合云，将各种图书馆服务平台、CALIS公共服务平台及第三方公共服务集成，以统一接口形成高度集成的数字图书馆系统，为用户服务。

CALIS提供统一的API托管服务中心，形成虚拟化的OpenAPI池，实现各数字图书馆的无缝集成，使它的内容实现整合和服务协同。

CALIS各个中心构建高校数字图书馆公共云。混合云在CALIS国家级云中心，CALIS将各个公有云以托管方式汇集起来，以统一、透明的方式对外服务。

1.3 美国国会图书馆的DuraCloud

美国国会图书馆的DuraSpace 项目于2009 年7月启动。DuraCloud 项目，为用户提供不需要本地基础设施的数据的存储和访问服务。该项目保存的数字内容包括地理空间数据、音频、视频、图像和文本。DuraCloud 项目以云服务为用户提供存储与访问服务，在多家云存储服务提供商间的内容复制与监控服务，使重要的科技与文化资源遗产能够实现有效共享。DuraCloud的关键技术是可实现有效存储与访问。

2． 云存储、云服务呼唤标准化

2009年4月，140多家公司成立了SNIA云存储技术工作组，该工作组在2009年夏天提出了云数据管理接口(CDMI)标准。

数据管理接口标准帮助云用户、服务提供商、开发者和IT硬件/软件厂商简化云存储，定义的应用程序，在云中创建、搜索、更新和删除数据组件的接口功能。客户端可以发现云存储服务，利用云数据管理接口标准管理封装器和数据。通过云数据管理标准接口在封装器和它们的数据组件上配置元数据。

云数据管理接口标准用于行政管理及其应用程序，管理封装器、账号、安全访问和监视/账单信息，可以用于协议访问的存储，客户可以看到底层存储和数据服务，理解云服务。

云数据管理标准受益者有四个。一是云存储用户，通过简单而通用的接口，可以了解云存储服务的安全性、移动性、性能等指标，找到合适的云存储服务提供商提供服务。二是云存储服务提供商，标准接口展示了云存储服务能力，为云存储服务提供商的独特功能进行了有效的宣传，帮助用户发现他们的服务。三是云存储服务开发商，标准接口显示了应用程序开发者的价值，标准接口对于云计算、和云存储的作用。四是云存储服务经纪人，云服务用户将重要数据托管给云存储服务提供商，可以分散用户和提供商之间的风险。

2010年4月发布了CDMI（Cloud Data Management Interface）接口标准1.0版。CDMI提出了通用云计算管理基础架构，将信息管理的重点转移到数据管理上。它协助用户将元数据（Metadata）标记在数据上，使数据服务商可以针对不同的服务提供特定的数据。云计算基础架构支持OCCI及CDMI两种标准接口。为了协同运作，CDMI内含可导出OCCI接口的信息，OCCI提供导出CDMI容器相对应的信息。 OCCI及CDMI是云计算及云存储达成协同运作的标准。该标准通过OGF与SNIA的策略联盟，跨SDO云标准协同小组协调达成一致。

3. CDMI™的主要内容

云数据管理接口（CDMI™）1.0.1版（INFORMATION TECHNOLOGY –CLOUD DATA MANAGEMENT INTERFACE ，CDMI™）。 CDMI™ 是云计算接口规范化的国际标准，它适用于云存储、检索云存储文件与管理存储的数据.。这份文件的主要内容包括: 文件的接口与排版，云存储管理模式国际标准，云数据管理接口 (CDMI) 对象数据类型，对象数据资源管理标准，容器对象资源管理标准，域对象资源管理标准，列对象资源管理标准，能力对象资源管理标准，云计算环境下虚拟机应用开发协议，在云数据管理接口中使用snapshots检索资源，应用于接口的元数据标准，描述系统管理功能的持续有效的管理原则，JSON 对象细化结构的描述，子对象数据自动化界定的标准，CDMI 的功能性目标，数据安全，数据管理及连续性，CDMI人员将数据内容匹配标准的元数据，全文检索的元数据，适于转换CDMI 信息的HTTP通讯协议。

云存储标准帮助用户解决数据可访问性、安全性、移动性和成本问题，确定数据所有权、归档、发现和搜索的问题。保证数据存储评估、审计服务水平一致性。云数据管理接口标准帮助云用户、服务提供商、开发者和IT硬件/软件厂商简化云存储操作。定义了云创建、搜索、更新和删除数据的功能接口，利用云数据管理接口标准管理封装数据。云数据管理标准提出，云计算基础架构管理可同时支持OCCI及CDMI两种标准接口，达成协同运作，CDMI内含可导出OCCI接口所获得的信息，OCCI提供被导出CDMI容器相对应的储存。

4． 云存储与云服务

“云”是形象化的网络结构的抽象概念。云状的网络连接没有确定性，通过增加资源池扩展云的基础。云存储就是虚拟存储，为数据服务的存储（Data storage as a Service，DaaS).

“域”指一定范围的云存储。它是用户授权共享的数据库，每个域有它的用户、组织、安全政策，:每个 CDMI 对象属于单个域，云存储利用互联网系统接口， 逻辑单位号码，多用途互联网邮件扩展， 网络文档系统，对象ID，对象识别符 (OID)，全球统一的识别对象权值，开放云计算接口，形成服务平台，根据用户多少，确定个人云与公共云基础上的服务。云存储为服务进行数据存储，向用户提供事实与应用。在一定的增量条件下传递数据。DaaS 支持合法的用户，它遵守标准协议，阻挡或进行网络文档存储。存储是按照要求传递的。用户的付费多少，看其实际应用状况而定。存储逻辑单位数量(LUN), 或虚拟权值，即局部颗粒。文档系统由颗粒单位组成，廉价提供实际存储空间。管理存储数据依靠标准的数据存储接口，通过API, 或公共接口, 进行数据服务。

DaaS 是简单的空间存储表单，用它进行数据库检索，表单空间存储提供的数据存储接口，有一定的数据抓取能力，存储表单可以分解作多个数据库节点，它在垂直抓取每一个数据对象, 回溯的、更新的、被删除的对象。

云存储数据提供的服务集中于人们对于最佳质量数据的搜索上，质量不高的数据服务检索频率低，甚至被忽略。云存储强调提供优质服务。云存储用户可以通过接口设置回溯表, 展示某些数据元素的服务个性。

SNIA存储工业资源域模式(SIRDM) 使扩大云存储的方法简单化。在SIRDM 云存储接口模式中，应用不同类型的元数据，可以创新接口，提供简便的数据管理服务。

为适应数据服务的要求，配置云存储接口的元数据，以及描述存储系统或数据系统的元数据，满足数据应用与处理的要求。

用户元数据以云的状态保存，展示系列化元数据的权值，有利于用户发现对象数据，每一个域或用户都可以决定他应用的元数据模式。云提供方或它的基础存储功能产生存储系统元数据，它还转译存储系统的元数据.。数据系统元数据控制数据服务管理。如果数据提供器支持分层粒度数据，那么它就.支持较多的数据系统元数据。 SIRDM定义的信息服务，必须理解数据的源流，信息服务决定数据，它自动给数据套装数据系统元数据。使用元数据扩展数据容器的数据元素，新存入容器的数据承袭容器数据系统的元数据。创新一个数据元素，数据系统元数据将它覆盖，或作个性化处理.。

CDMI 可以用于管理容器、域名，数据安全、获取，监督、记账，开发存储与数据服务，方便用户服务。 CDMI 定义了管理数据以及存储回溯数据，CDMI 容器提供描述数据系统元数据的文摘，及管理搜索协议。在检索控制目录中构成用户信誉图，它可以用于相关云。CDMI 应用了许多元数据，包括 HTTP元数据，数据系统元数据，用户元数据，以及存储系统元数据。CDMI 数据系统元数据，用户元数据，以及存储系统元数据，由名称权值对来定义；销售商数据系统元数据与存储系统元数据，由销售商的域名来界定。数据系统元数据适用于CDMI 用户，是一种对象元数据，它适合于云存储系统抽象的数据服务要求。用户元数据是抽象的JSON 字符串，适用于 CDMI 用户，它是对象元数据。它使用用户元数据名称的域名，自我管理。存储系统元数据是根据存储服务而更新的元数据，它为 CDMI 用户提供有用的信息。

每一个CDMI系统的对象数据存储，有全球统一的对象识别符号 (ID) ， CDMI对象ID 反映了它生成与统一的要求，CDMI提供的识别符号是唯一的。云存储系统允许对象数据的获取，根据对象的ID存储对象到存储器URI。

CDMI™ 使用自动化的检索控制目录 (ACL) ，ACL 是有序的ACEs目录，ACE授予某些检索格式。

OCCI（开放云计算接口）和CDMI借鉴HTTP协议，新公司为客户提供服务，不下线的开发与扩充资源服务，迁移服务与重新部署，利用CDMI与OCCI接口，提供OVF（开放虚拟化格式）服务描述，进行渐增式扩充服务。

5.　对象存储

对象存储使用唯一标识符访问数据。数据的访问基于名称和特有的ID，存储系统读取元数据和对象ID，它具有可扩展性、位置独立性和通过HTTP可访问性。微软Azure和Nirvanix云存储都是基于对象存储的存储云。对象存储包括归档和高达PB级规模的文件存储。Storage存储的数据是贴上标签的元数据，在System中封装了元数据的属性。CDMI基于对象的新型存储标准，可以将不活跃的数据块自动的迁移到非活跃区中，为云用户端提供了灵活的横向数据检索方式，数据检索方式以元数据进行检索。　CDMI对象型存储标准，可以使操作简单化、共享有效化。CDMI标准云存储容器，使用类似数据卷和文件的系统，基于对象的容器。客户端数据管理系统管理数据中心数据，自动跨阵列存储器将跨数据中心的负载均衡，它具有高性能灾难恢复和业务连续备份能力，可以处理关键业务，将数据中心异构存储资源虚拟化，删除重复数据，当一个数据中心服务器的存储空间、电力、冷却能力超限时，卸载一部分的负载到另一个CSP。

云存储技术建立在宽带网络的基础上，包括WEB2.0技术、集群技术、网格技术和分布式文件系统、CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术、存储虚拟化技术、存储网络化管理技术。云存储常见的应用是备份、归档、分布和协同。大的数据存储库采用对象存储技术，系统中存储的数据对象使用与它相关的元数据检索。数据对象包含标识符及与对象相关的元数据，不是“以位置为中心” 的存储和检索方法，而是“以元数据为中心”的数据存储和检索方法。对象存储支持大数据存储库，具有全球性。现在戴尔公司推出基于对象的存储系统，该对象存储系统采用元数据识别文件，将数据内容保存到一个全局命名空间，可以进行“无限扩展”到2PB。首款DX对象存储方案主要针对医疗、文件和电子邮件归档、电子发现和内容管理。

国内云存储网盘主要是115网盘、Dbank模式，及云存储域用户应用的酷盘、金山快盘等。国外的云存储服务商主要有苹果、亚马逊、微软、Google和Dropbox。国内提供云存储服务的主要有世纪互联、中国移动、139邮箱、中国电信等。

上海交通大学个人云存储今年3月1日试运营，它可以让多个用户异地同步运行与备份，使笔记本、手机、台式电脑的数据保持一致，时刻备份用户的重要数据，随时随地共享文件、ipod个人网络相册、音乐专辑在线播放、影视剧在线收看。 高校的师生可以使用个人云存储服务，共享及协同编辑，跨越不同的设备，随时异地获取云存储数据，共享实验图片、数据，获取文件链接，直接发送邮件，一键使各个社交媒体分享文件，通过整合跨平台服务，实现用户、内容与设备间的连接。这有利于图书馆的实时异地参考咨询、全球联合编目，全球数字文献的存储与共享。动态数据的云服务，有利于管理、分享、组织、转换、分析、挖掘、过滤和搜索各种数据。云服务可以使图书馆检索统一调度管理的海量数字资源。支持师生跨学科、跨组织、跨地域的协同编辑与研究，形成远程控制、计算模拟、即时通信、多媒体交互的网络虚拟科研团队。在数字资源存储上形成图书馆联盟云，避免数据重复存储, 降低资金投入, 图书馆可以租赁空间, 托管数据。云存储与云服务开拓了图书馆美好的前景。

原文连接：http://blog.sina.com.cn/s/blog_6492290f010174es.html