時間：2023-08-03 16:10:11
序論：在您撰寫云計算的基礎架構時，參考他人的優(yōu)秀作品可以開闊視野，小編為您整理的7篇范文，希望這些建議能夠激發(fā)您的創(chuàng)作熱情，引導您走向新的創(chuàng)作高度。
中圖分類號：TP393.08 文獻標識碼：A 文章編號：1007-9416（2013）06-0241-02
云計算技術被認為是繼個人電腦 、互聯(lián)網(wǎng)之后的“第三次互聯(lián)網(wǎng)革命”，誕生伊始就得到廣泛關注和重視。下面我們從云計算的概念、類型和基礎架構三個方面來進行探討。
1 云計算的概念
云計算是利用本地或遠程服務器（集群）的分布式計算機為互聯(lián)網(wǎng)用戶提供服務（包括計算、存儲、軟硬件等服務），它是對分布式處理、并行處理和網(wǎng)格計算及分布式數(shù)據(jù)庫的改進處理、融合和發(fā)展。
通俗的講，云計算是一種全新的網(wǎng)絡服務方式，將傳統(tǒng)的以桌面為核心的任務處理轉變?yōu)橐跃W(wǎng)絡為核心的任務處理，利用互聯(lián)網(wǎng)實現(xiàn)自己想要完成的一切任務處理，使網(wǎng)絡成為傳遞服務、計算力和信息的綜合媒介，真正實現(xiàn)按需計算，多人協(xié)作。通過云計算的大規(guī)模應用，未來計算資源或許像電和水那樣可隨時獲取，并按使用量進行計費。
2 云計算的類型
從部署方式來說，云計算可以分為私有云、公有云和混合云。公有云是互聯(lián)網(wǎng)上所有用戶都可以使用。私有云則是一種專有的云環(huán)境，是針對一個組織單獨構建的互聯(lián)網(wǎng)服務，該組織擁有基礎設施，可以在此基礎設施上部署應用程序，并對數(shù)據(jù)、安全性和服務質(zhì)量提供有效控制?；旌显?，也可稱為虛擬私有云，它提供的服務運行在一個公共的云基礎設施之上，但通過虛擬專用網(wǎng)（VPN）限制對它的訪問。
IaaS，指的是將硬件設備等基礎資源封裝成服務供用戶使用，在此環(huán)境中，硬件及網(wǎng)絡資源可以被劃分成一個個的邏輯計算單元，IaaS管理工具可以保證多個邏輯單元協(xié)同工作起來。
PaaS，是對資源的抽象層次更進一層，它提供用戶應用程序的運行環(huán)境。
SaaS，是將某些特定應用軟件功能封裝成服務。
3 云計算的基礎架構
云計算充分利用網(wǎng)絡和計算機技術實現(xiàn)資源的共享和服務，解決云進化、云控制、云推理和軟計算等復雜問題，其基礎構架可以用云計算體系結構、服務層次則和技術層次來描述。
3.1 云計算體系結構
云計算平臺是一個強大的“云”網(wǎng)絡，連接了大量并發(fā)的網(wǎng)絡計算和服務，可利用虛擬化技術擴展每一個服務器的能力，將各自的資源通過云計算平臺結合起來，提供超級計算和儲存能力。云計算體系結構如圖：（見圖1）
云用戶端：提供云用戶請求服務的交互界面，也是用戶使用云的入口，用戶通過WEB瀏覽器可以注冊、登錄及定制服務、配置和管理用戶。
服務目錄：云用戶在取得相應權限（付費或其他限制）后可以選擇或定制的服務列表，也可以對已有服務進行退訂的操作，在云用戶端界面生成相應的圖標或列表的形式展示相關的服務。
管理系統(tǒng)和部署工具：提供管理和服務，能管理云用戶，能對用戶授權、認證、登錄進行管理，并可以管理可用計算機資源和服務，接收用戶發(fā)送的請求，根據(jù)用戶請求并轉發(fā)到相應的應用程序，調(diào)度資源智能地部署資源和應用，動態(tài)的部署、配置和回收資源。
資源監(jiān)控：監(jiān)控和計量云系統(tǒng)資源的使用情況，以便做出迅速反應，完成節(jié)點同步配置、負載均衡配置和資源監(jiān)控，確保資源能順利分配給合適用戶。
服務器集群：虛擬的或物理的服務器，由管理系統(tǒng)管理，負責高并量的用戶請求處理、大計算量處理、用戶WEB應用服務，云數(shù)據(jù)存儲時采用相應數(shù)據(jù)切割算法，采用并行方式上傳和下載大容量數(shù)據(jù)。
用戶可通過云用戶端從列表中選擇所需的服務，其請求通過管理系統(tǒng)調(diào)度相應的資源，并通過部署工具分發(fā)請求、配置WE應用。
3.2 云計算服務層次
云計算的服務層次是根據(jù)服務類型即服務集合來劃分，體系結構中的層次是可以分割的，即某一層次可以單獨完成一項用戶的請求而不需要其他層次為其提供必要的服務和支持。
3.3 云計算技術層次
服務接口：統(tǒng)一規(guī)定了在云計算時代使用計算機的各種規(guī)范、云計算服務的各種標準等，用戶端與云端交互操作入口，可以完成用戶或服務注冊，對服務的定制和使用。
服務管理中間件：在云計算技術中，中間件位于服務和服務器集群之間，提供管理和服務即云計算體系結構中的管理系統(tǒng)。對標識、認證、授權、目錄、安全性等服務進行標準化和操作，為應用提供統(tǒng)一的標準化程序接口和協(xié)議，隱藏底層硬件、操作系統(tǒng)和網(wǎng)絡的異構性，統(tǒng)一管理網(wǎng)絡資源。
虛擬化資源：指一些可以實現(xiàn)一定操作，具有一定功能，但其本身是虛擬而不是真實的資源，如計算池、存儲池和網(wǎng)絡池、數(shù)據(jù)庫資源等，通過軟件技術來實現(xiàn)相關的虛擬化功能，包括虛擬環(huán)境、虛擬系統(tǒng)、虛擬平臺。
物理資源：主要指能支持計算機正常運行的一些硬件設備及技術，可以通過現(xiàn)有網(wǎng)絡技術和并行技術、分布式技術將分散的計算機組成一個能提供超強功能的集群用于計算和存儲等云計算操作。
4 結語
云計算作為下一代IT的發(fā)展趨勢，在我國得到了充分的推動和蓬勃的發(fā)展，但我們必須看到，由于國內(nèi)在云計算領域?qū)诵募夹g的掌握不足，目前國內(nèi)所建設的云計算中心，更多的投入是在硬件建設的部分，缺乏在基礎軟件設施層面對云計算模式的支持。同時信息系統(tǒng)和網(wǎng)絡設備使用的關鍵芯片、核心軟件和部件絕大部分依賴進口，存在著安全隱患。總之，雖然云計算的發(fā)展還存在著諸多的問題，但作為一種新型的互聯(lián)網(wǎng)服務和計算模型。它展示了越來越強大的生命力，涉及了各行各業(yè)方方面面的人們，并將最終徹底影響和改變改我們的生活。
參考文獻
關鍵詞：政府 云計算 虛擬化 架構
自2007年云計算概念提出以來，云計算產(chǎn)業(yè)鏈在中國發(fā)展至今已初具規(guī)模，特別是企業(yè)私有云市場，雖然還沒有出現(xiàn)一個在云計算市場擁有絕對優(yōu)勢的拳頭產(chǎn)品，但百家爭鳴，百花齊放的局面正預示著云計算的建設正脅潮涌之勢而來。在繼一些大型IT企業(yè)之后，越來越多的政府開始走向云，并且有更多的應用在向云靠攏。截止到2012年，已經(jīng)有北京、上海、成都、杭州、青島和西安等城市在政府應用云平臺方面進行了積極的探索，總結出了一些成功的經(jīng)驗。在大家熱烈討論云計算技術能帶來什么豐碩成果的同時，就政府云計算基礎架構的建設方式在業(yè)界也未形成一個相對一致的說法。但眾所周知，一個高效穩(wěn)定的基礎架構平臺對于其上的應用和業(yè)務運營是至關重要的，而搭建這樣一個基礎架構的成本也是必須考慮在內(nèi)的。
首先我們先來談談使用最普遍的x86架構，廉價、開放、標準化、簡單易用，x86所具備的這些優(yōu)點使其成為了眾多云計算用戶的最佳構架選擇。目前，決大多數(shù)的大規(guī)模云的構建也都是基于x86架構的，例如亞馬遜、微軟、Google、百度、阿里巴巴等。但是，使用最多就是最好的嗎？也不盡然，x86在人才資源、總體成本上是有優(yōu)勢，但一旦大規(guī)模部署后，由于單臺服務器的性能問題，只能依靠大規(guī)模來實現(xiàn)計算能力和存儲擴展，這樣相應的就會帶來一些管理和穩(wěn)定性方面的問題。由于x86架構服務器系統(tǒng)的穩(wěn)定性不如小型機系統(tǒng)，因此還需要有完善的備份和容錯方案。這些都是x86在云計算架構中不可避免的問題，而這些問題的解決方式只能依靠第三方來進行。作為x86架構的忠實擁躉，VMware或許是能解決這些問題的最好方式。畢竟在x86平臺虛擬化市場上，VMware的占有率超過了85%，而作為VMware虛擬化和云計算的核心系統(tǒng)平臺，vSphere已經(jīng)成為虛擬化平臺的一個事實上的標準。2012年7月13日，VMware正式云基礎架構套件，這標志著VMware從虛擬化向云計算的全面轉型，其中的VMware vShield安全解決方案對云計算環(huán)境提供了全面的保護方案，但能否實現(xiàn)預期的效果，還有待市場的檢驗?？傊瑇86平臺對于缺少更多技術支持的部門而言是不錯的選擇，首先平臺搭建相對快捷簡單、易于維護，其次又可以保持構架的靈活性和可擴展性。
相對分布式的x86架構而言，以IBM的Power架構為首的集中式構架方式在關鍵性核心業(yè)務上有著更大的可靠性及穩(wěn)定性優(yōu)勢。很多人認為，政府部門沒有那么多像很多大型企業(yè)那樣的對計算性能和技術支持要求較高的業(yè)務，Power架構的優(yōu)勢有時候得不到體現(xiàn)。其實不然，隨著政務信息化的推進，這幾年很多大規(guī)模的政府部門應用系統(tǒng)陸續(xù)上線，這些業(yè)務應用系統(tǒng)涉及的人員范圍、地域范圍都很大，影響面也很廣，而且業(yè)務也相對單一，對于這類重點業(yè)務，Power架構將是不錯的選擇，它能更好的滿足業(yè)務的RAS（可靠性、可用性、穩(wěn)定性）要求。Power架構所提供的虛擬化環(huán)境所使用的是IBM自己的PowerVM虛擬化軟件，這在系統(tǒng)穩(wěn)定性方面就有先天的優(yōu)勢，其先進的自動化管理功能，可以使資源池達到良好的利用，最終形成自適應、自服務的云計算基礎架構。除了這些關鍵性業(yè)務，對數(shù)據(jù)庫領域而言Power架構也具有更大的I/O吞吐量和穩(wěn)定優(yōu)勢，尤其是基于關系型數(shù)據(jù)庫的關鍵應用。如果我們在x86架構的橫向擴展出現(xiàn)瓶頸時，再考慮向Power上進行遷移，遷移所付出代價恐怕不止是新建一套Power虛擬機那么簡單了。當然，Power架構對云計算人才的要求是很高的，但是相對于那種大規(guī)模的x86云平臺，維護它所需要的人力資源卻少很多。就好比用一個在AIx系統(tǒng)及虛擬化方面技術很強的人維護1臺Power計算機和用10個技術一般的人維護10臺x86服務器一樣，到底那種方式更節(jié)約成本，更能很好的實現(xiàn)管理就只能靠自己判斷了。
我們都知道，云計算的最終目的是整合IT資源及應用，使其發(fā)揮更大的效能。在政府部門也一樣，龐大的IT資源不僅耗資耗能巨大，對其很好的管理也是一個麻煩的問題。就筆者所在的單位而言，光服務器設備就有80多臺，加上為之服務的網(wǎng)絡及存儲設備就足足填滿了一個200平方的機房。 在進行虛擬化改造建設之前，我們就單位信息化應用的現(xiàn)狀分析，發(fā)現(xiàn)服務器架構存著機器部分老化，故障率偏高；系統(tǒng)可用性、兼容性差；系統(tǒng)結構復雜；運行成本高；電力資源緊張；維護工作量大等等問題。
為了解決以上問題，我們決定使用虛擬化技術打造單位的云平臺?？紤]到單位這種已經(jīng)存在大量業(yè)務應用的情況，我們在建設云計算平臺過程中采取了循序漸進，避開關鍵業(yè)務，在不斷探索過程中逐步推進的方式。根據(jù)如今政府的情況，一般都是自購服務器、各自有自己的信息中心負責運維。很多部門為了保證業(yè)務的正常運行，都花費很大的資金在容災備份之上，這當中存在著諸多的浪費，很多高端的服務器及存儲設備其實只用到了很少一部分的硬件系統(tǒng)資源，為了提高服務器的利用率，利用這部分高端硬件搭建云計算環(huán)境是對資源充分利用的一個好辦法。比如我們先可以利用原有的IT資源，搭建相對簡單的x86的云架構，在這個過程中會遇到一些無法繞過的問題，比如數(shù)據(jù)遷移、數(shù)據(jù)的隔離和控制等等，通過一些具體實踐，我們可以同時積累部分云計算的人才和經(jīng)驗，為今后全面推行云計算打下基礎。在關鍵性業(yè)務上， 我們可以直接部署IBM Power架構，其實Power并不像很多人想象的那么高深，IBM為了幫助用戶快速構架基于Power的云平臺，推出了從應用出發(fā)的解決方案以提升用戶在應用部署、日常維護方面的易操作性。不過，不能否認的是，相比x86，Power平臺在后期維護、管理上還是要更難一些，需要更加專業(yè)的管理人員。我們的數(shù)據(jù)庫系統(tǒng)就是利用兩臺IBM小機進行Power架構的部署，實施期間，AIX系統(tǒng)及Power虛擬化軟件確實讓人頭疼不已，但一旦部署成功，其I/O大吞吐量，高穩(wěn)定性的特點也確實為用戶帶來了全新的體驗。
對于云計算基礎架構，套用一句老話：沒有最好，只有最合適。這點在政府機構也同樣適用。不管是x86還是Power架構，其實通用才是云平臺最核心的要求，只有滿足了能夠?qū)④浖渴鹪诓煌挠布拖到y(tǒng)上的要求，這才是真正意義上的云計算平臺。
參考文獻：
（中國民用航空華東地區(qū)空中交通管理局 上海 200335）
摘 要 鑒于傳統(tǒng)構架的協(xié)同決策（CDM）系統(tǒng)不能適應民航事業(yè)快速發(fā)展，提出建立基于云計算平臺的CDM系統(tǒng)。
首先概述了云計算的基本概念和主要特征，并總結了云計算的關鍵技術和基本架構。之后，研究了對云計算拓撲設計算法，在樹形拓撲結構的基礎上對三種算法進行了比較和選擇，確定方案為merge-MST。最后，完成云計算平臺的初步總體設計，并搭建仿真測試平臺，測試結果證明所設計的云計算CDM系統(tǒng)具有較好的性能。
關鍵詞 民航，協(xié)同決策系統(tǒng)，云計算
中圖分類號：TP392 文獻標識碼：A
doi:10.3969/j.issn.1674-7933.2015.04.004
*基金項目：上海市2013 年“ 科技創(chuàng)新行動計劃”信息技術領域項目（13511504700） 。
作者簡介：葉云斐，1984 年生，本科，助理工程師，主要從事及研究領域：航空計算機信息管理，Email ：leaves616@126.com ；
陳曉建，研究生，高級工程師；
陳偉青，本科，工程師；
谷葉，研究生，助理工程師。
0 引言
近年來我國民航事業(yè)快速發(fā)展，航班延誤現(xiàn)象愈發(fā)嚴重。中國民用航空局的《2013年民航行業(yè)發(fā)展統(tǒng)計公報》顯示： 2013年不正常航班占比27.66%，旅客投訴率較2012年增長13.66%。華東區(qū)域經(jīng)濟發(fā)展迅速，人口密度大，以全國1/9的空域面積承載著1/3的航班流量，問題尤為顯著。以發(fā)展的眼光看問題，有必要依靠各方可靠、全面、實時的信息，采用高效合理的航班排序、放飛算法，充分利用空域時隙資源，協(xié)同決策（CDM）的概念應運而生。
民航華東空管局CDM系統(tǒng)于2012年12月上線運行，系統(tǒng)基礎數(shù)據(jù)多，計算量大，對軟硬件資源要求高。以上海虹橋、浦東兩個機場為例，每天就有5 000多架航班起落，涉及空域航路點300~400個，各航路點又分3~4個高度層；在此基礎上，CDM系統(tǒng)必須結合實時的流量控制、氣象預報等信息反復計算調(diào)整，且任何時刻的航班重新規(guī)劃都會影響到一整條航路上與之相關的所有航班，使計算量成倍增加。隨著航空流量的逐年增加，CDM系統(tǒng)計算量也以指數(shù)方式快速增長。
現(xiàn)有系統(tǒng)采用傳統(tǒng)架構設計，不能滿足前瞻性設計要求。理想的CDM系統(tǒng)架構應具有虛擬化、易擴展、按需部署、高靈活性、高可靠性、高性價比的特點。本文提出一種基于云計算的CDM系統(tǒng)構架，利用自動拓撲設計算法（merge-MST）設計網(wǎng)絡拓撲，采用Hadoop開源管理軟件實現(xiàn)任務調(diào)度，最后通過仿真手段驗證了該方案的可行性和適用性。
1 現(xiàn)有民航CDM系統(tǒng)的不足
協(xié)同決策是一種技術手段，更是一種基于資源共性和信息交互的多主體（空管、機場、航空公司等）聯(lián)合協(xié)作運行模式。華東空管局CDM系統(tǒng)從各個參與單位引接實時航班數(shù)據(jù)，建立塔臺電子進程單系統(tǒng)、A-CDM系統(tǒng)、飛行計劃處理系統(tǒng)等，并形成三大客戶端——流量管理客戶端、塔臺客戶端和公司機場客戶端，系統(tǒng)構成如圖1所示。
`該系統(tǒng)基于傳統(tǒng)的關系型數(shù)據(jù)庫，以塔臺電子進程單為例，架構示意圖如圖2所示。盡管其成熟度高、可靠性好，但隨著數(shù)據(jù)量逐漸增大，數(shù)據(jù)范圍逐漸拓寬，其存儲和查詢效率已不能滿足需求。
2 云計算平臺及其架構設計
2.1 定義和特點
云計算是一種新的計算模式，由分布式計算、并行計算和網(wǎng)格計算的發(fā)展而來。其后臺大量采用虛擬機，并通過互聯(lián)網(wǎng)形成資源池。這些虛擬資源可以根據(jù)不同的負載動態(tài)重新配置，快速并以最小的管理代價提供服務[1]。從用戶角度看，云計算具有可靠的存儲技術和嚴格的權限策略，可為客戶提供安全可靠的數(shù)據(jù)存儲中心；對用戶端的設備要求低，支持手機、平板電腦等無線通信設備；可實現(xiàn)不同設備間的數(shù)據(jù)、應用共享。
從硬件的角度看，云計算高度靈活，可按需投入或釋放硬件資源，從而提高整體利用率。2.2 類型
云計算按其服務層次分為三類[2]，如圖3所示：
1)基礎設施即服務（IaaS，infrastructure as a service）
在虛擬化技術的支持下，利用廉價計算機實現(xiàn)大規(guī)模集群運算能力，同時按需配置，為用戶提供個性化的基礎設施服務。此類型的典型代表有亞馬遜云計算AWS（Amazon Web Services）、IBM藍云等。
2) 平臺即服務（PaaS，platform as a service）
提供的服務是開發(fā)環(huán)境，允許用戶使用中間商提供的設備開發(fā)自己的程序。此類型的典型代表有GoogleApp Engine（GAE）等。
3) 軟件即服務（SaaS，software as a service）
通過Internet直接提供運行在云計算設備上的應用程序。用戶無需考慮基礎設施及軟件授權等內(nèi)容。此類型的典型代表有Salesforce公司的CRM服務、ZohoOffi ce、Webex等。
2.3 關鍵技術
云計算作為一種集群計算和服務模式，運用了多種計算機技術，以編程模型、數(shù)據(jù)存儲管理、虛擬化最為關鍵。
1) 編程模型
Google提出的Map-Reduce[3]是一種流行的云計算編程模式，Map（映射）程序?qū)?shù)據(jù)分割成不相關的數(shù)據(jù)塊，Reduce（化簡）程序則將將數(shù)據(jù)處理的中間結果進行歸并，如圖4所示。Map-Reduce可將海量異構數(shù)據(jù)的分析處理工作分解成任意粒度的子任務，并允許在多個計算節(jié)點之間進行靈活的數(shù)據(jù)調(diào)度，此外，程序員無需關心數(shù)據(jù)塊的分配和調(diào)度，該部分工作由平臺自動完成。
2) 數(shù)據(jù)存儲管理
云計算采用分布式的方法存儲和管理數(shù)據(jù)，并利用冗余存儲保證數(shù)據(jù)的可靠性，常用技術有Google的GFS及Hadoop團隊的HDFS[4]，其中后者是前者的開源實現(xiàn)。
GFS系統(tǒng)架構如圖5所示，整個系統(tǒng)節(jié)點分三類：Client（客戶端）是GFS提供給應用程序的訪問接口、Master（主服務器）是管理節(jié)點， Chunk Server（數(shù)據(jù)塊服務器）則負責具體工作。Chunk Server可有多個，每個Chunk對應一個索引號（Index）。作為對比，HDFS體系結構如圖6所示。
云計算的數(shù)據(jù)管理需滿足大規(guī)模海量數(shù)據(jù)的計算和分析，大多采用列存儲的數(shù)據(jù)管理模式?，F(xiàn)有技術中最主流的是Google的BigTable，Google對BigTable給出了如下定義：BigTable是一種為了管理結構化數(shù)據(jù)而設計的分布式存儲系統(tǒng)，這些數(shù)據(jù)可以擴展到非常大的規(guī)模。此外，Hadoop團隊也開發(fā)了類似BigTable的開源產(chǎn)品HBase和Hive。
3) 虛擬化技術
虛擬化技術是云計算區(qū)別于一般并行計算的根本性特點，其實質(zhì)是實現(xiàn)軟件應用與底層硬件相隔離，把物理資源變成邏輯可管理資源。目前云計算中虛擬化技術主要包括將單個資源劃分成多個虛擬資源的裂分模式，也包括將多個資源整合成一個虛擬資源的聚合模式。根據(jù)對象又可分為存儲虛擬化、計算虛擬化、應用級虛擬化等等。
將虛擬化的技術應用到云計算平臺，使得云計算具有靈活的進程遷移方式，更有效的使用主機資源，在部署上也更加靈活。
2.4 架構設計
云計算體系結構的特點包括：設備眾多、規(guī)模大、采用虛擬機技術、任意地點、多種設備匯集，并可以定制服務質(zhì)量等等。文獻[5]提出了一種面向市場應用的云計算體系結構，如圖7所示：
1) 用戶：用戶可以在任意地點提交服務請求；
2) SLA資源分配器：充當云后端和用戶之間的接口，包括服務請求檢測和接納控制模塊、計價模塊、會計模塊、VM監(jiān)視器模塊、分發(fā)器模塊和服務請求監(jiān)視器模塊；
3) 虛擬機（VMs）：為實現(xiàn)在一臺物理機上的多個服務提供最大彈性的資源分配；
4) 物理設備：包括服務器、存儲設備及路由器等。
基于云計算平臺的華東CDM系統(tǒng)還處于初步研究階段，采用本架構進行初步設計及仿真驗證。
3 云計算網(wǎng)絡拓撲設計
云計算系統(tǒng)后端的網(wǎng)絡由大量服務器組成，分布廣泛，復雜度高。要保證數(shù)據(jù)的暢通傳輸，需要設計一個合理高效的網(wǎng)絡拓撲結構。
首先，為保證管理擴展和維護的方便，將云計算系統(tǒng)分成多個子網(wǎng)，各子網(wǎng)采用樹形拓撲結構，如圖8所示。在此基礎上，把每個子網(wǎng)看成一個節(jié)點，各個節(jié)點具備流量、交換能力、地理位置等屬性，將云計算網(wǎng)絡拓撲抽象成圖論數(shù)學模型。如何連接各個節(jié)點，才能即滿足冗余度要求，又盡可能降低網(wǎng)絡架設花銷已被證明為NP-hard[6][7]，故只能求解近似最優(yōu)解。此類問題的解法有兩種，一種是在限定網(wǎng)絡花銷的情況下最大化網(wǎng)絡的抗毀能力[8]，另一種是在保證網(wǎng)絡一定抗毀能力的條件下盡可能減小花銷[7]，本文按照后者進行設計。
在圖論領域，該問題可簡化為求解特定連通度k時最小生成子圖的問題，本文主要考慮基于圖論的k-FOREST算法[9]、merge-MST算法[10]和啟發(fā)式算法TEA[7]。通過理論推導，三種算法的時間復雜度如表1所示，其中TMST=O(m?logm)或O(n2),m代表圖邊數(shù)，n代表點數(shù)。
本文
參考文獻[11]的仿真手段對三種算法進行比較，考慮7、10、15、25個節(jié)點的場景，得到平均邊數(shù)和平均花銷的比較示意圖如圖9、10所示。
通過比較可看出，在節(jié)點數(shù)目較少時TEA算法表現(xiàn)最佳，但隨著節(jié)點數(shù)目增多性能迅速下降；在節(jié)點數(shù)多于20個時，則是merge-MST算法更優(yōu)。
考慮到CDM系統(tǒng)規(guī)模龐大，僅華東區(qū)域就需要計算機點80~100個，故選取merge-MST進行網(wǎng)絡架構的設計。
4 總方案設計
基于云計算架構的CDM系統(tǒng)，依托中心節(jié)點、區(qū)域節(jié)點和業(yè)務集中節(jié)點，整合分布的物理資源，形成統(tǒng)一的可調(diào)配的邏輯資源?？偡桨附Y構如圖11所示。包括基礎設施、虛擬資源層、信息共享云平臺層，應用層以及貫穿始終的安全層和管理層。
1) 基礎設施層：既包括支持民航CDM系統(tǒng)運行所必需的基礎設施，也包括行業(yè)內(nèi)可整合入CDM系統(tǒng)的其他設施。
2) 虛擬資源層：采用云計算技術，整合分布的硬件資源，形成資源池，靈活調(diào)配提供服務。
3) 云平臺層：涵蓋管理底層資源、支撐上層應用的各個軟件和模塊，包括平臺管理、負載均衡、中間件、業(yè)務流程管理軟件等等。
4) 應用層：將CDM系統(tǒng)功能進行最后一步封裝后提供給用戶。
5) 安全層：負責整個CDM系統(tǒng)的安全。
6) 管理層：管理整個CDM系統(tǒng)運行配置，包括資源管理、網(wǎng)絡監(jiān)控、部署管理、內(nèi)容管理以及用戶管理等，監(jiān)控硬件、軟件等多個層次，提高整體運行效率。
5 系統(tǒng)測試與應用
為驗證所設計方案的可行性，并測試方案性能，本文搭建了測試環(huán)境，針對CDM系統(tǒng)多項業(yè)務進行了測試。
CDM系統(tǒng)主要業(yè)務涵蓋協(xié)同決策系統(tǒng)、流量管理系統(tǒng)、統(tǒng)一飛行計劃處理系統(tǒng)和塔臺電子進程單系統(tǒng)。其中協(xié)同決策系統(tǒng)為頂層系統(tǒng)；流量管理系統(tǒng)幫助最大限度利用空中交通服務的容量；統(tǒng)一飛行計劃處理系統(tǒng)負責接收、處理和飛行計劃；塔臺電子進程單系統(tǒng)則協(xié)助塔臺管制員管制飛機的起降。
5.1 硬件環(huán)境
云計算集群設有3個master節(jié)點，18個slave節(jié)點，各節(jié)點均是基于X86架構的PC機。PC機配置如表2所示。
所有測試主機均連接在千兆網(wǎng)絡中，網(wǎng)絡環(huán)境中不存在其他設備，干擾因素可忽略不計。
5.2 軟件環(huán)境
測試采用Hadoop團隊開發(fā)的開源軟件，版本如表3所示。
5.3 測試結果
通過編寫程序，在測試環(huán)境中進行電報處理、雷達軌跡處理、氣象與情報處理、橋位信息處理、航班信息、數(shù)據(jù)查詢以及協(xié)同航班處理等壓力測試，平均日最大處理條目數(shù)量如表4所示。
測試結果表明：云計算平臺計算能力強，能夠彌補現(xiàn)有民航CDM系統(tǒng)的不足，可滿足華東地區(qū)CDM系統(tǒng)前瞻性設計要求。
6 結束語
本文針對華東地區(qū)巨大的航班吞吐量，提出了一套基于云計算平臺的CDM系統(tǒng)設計方案。通過測試驗證，該系統(tǒng)架構具備良好的計算能力和業(yè)務處理能力，使用靈活，更滿足系統(tǒng)安全可靠、成本低、易拓展的需求。
基于云計算的華東空管CDM系統(tǒng)是現(xiàn)有CDM系統(tǒng)的發(fā)展方向，將在2015年開始詳細設計。
參考文獻
Vaquero L, Rodero-Marino L.Caceres J. et al. A break in theclouds: towards a cloud defi nition[J]. SIGCOMM ComputerCommunication Review. 2009,3(1): 50-55.
UC Berkeley 可靠自適應分布式系統(tǒng)實驗室, 姚宏宇譯. 云端之上——Berkeley對云計算的看法. 2009.
J. Dean, S. Ghemawat, MapReduce: Simplified DataProcessing on Large Cluster[C], OSDI’04, Sixth Symposiumon Operating System Design and Implementation, SanFrancisco, CA, December, 2004.
Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung.The Google File System[C]. Proceedings of 19th ACMSymposium on Operating Systems Principles. 2003, 37(5):20~43.
R. Buyya, C.S. Yeo, S. Venugopal, Market-OrientedCloud Computing: Vision, Hype, and Reality for DeliveringIT Services as Computing Utilities [C], The 10th IEEEInternational Conference on High Performance Computingand Communications.
S. Pierre, G. Legault, A Genetic Algorithm for DesigningDistribute Computer Network Topologies[J], IEEE Trans.Man, Systems, and Cybernetics, 28(2), 1998: 249-258.
E. Szlachcic, Fault Tolerant Topological Design for ComputerNetworks[C], Proceedings of the international Conferenceon Dependability of Computer Systems, DepCos-RELCOMEX’06.
F.M. Shao, X. Shen, and P.H. Ho. Reliability Optimization ofDistributed Access Networks with Constrained Total Cost[J],IEEE Trans. Reliability, 2005,54:412-430.
H. Nagamochi, T. Ibaraki, A linear-time algorithm for fi ndinga sparse k-connected spanning subgraph of a k-connectedgraph [J], Algorithmica 7, 1992, (7): 583-596.
【關鍵詞】云計算；電力數(shù)據(jù)中心；基礎架構；關鍵技術
信息集成作為消除電力企業(yè)信息的孤島，它使信息可以實現(xiàn)共享，并且可以為其提供進行決策支持的關鍵技術，而數(shù)據(jù)中心是實現(xiàn)信息集成的重要前提，在其中具有非常重要的學術價值以及應用價值。數(shù)據(jù)中心也是在近期內(nèi)一直被廣泛關注和研究的重點，也是電力企業(yè)在對研制智能電網(wǎng)以及規(guī)劃智能電網(wǎng)的過程中面臨的重要的問題。為了順利的實現(xiàn)信息共享和系統(tǒng)集成應用，電力企業(yè)在現(xiàn)階段正大力的構建智能電網(wǎng)系統(tǒng)中心和電力調(diào)度系統(tǒng)中心完全統(tǒng)一的數(shù)據(jù)平臺，企業(yè)信息平臺以及配電網(wǎng)系統(tǒng)的信息集成平臺等。
1 現(xiàn)存的電力數(shù)據(jù)中心
現(xiàn)存的電力數(shù)據(jù)中心具有的功能主要包含獲取數(shù)據(jù)、管理數(shù)據(jù)、存儲數(shù)據(jù)以及訪問數(shù)據(jù)等。數(shù)據(jù)獲取層可以對營銷管理、協(xié)同辦公、安全生產(chǎn)、物資管理、人力資源、項目管理以及綜合管理等業(yè)務數(shù)據(jù)進行提取和轉換，使其可以被轉換成為規(guī)范的、科學的基礎數(shù)據(jù)，并把這些數(shù)據(jù)合理有效的加載到數(shù)據(jù)庫。對數(shù)據(jù)進行儲存的管理層需要ETL數(shù)據(jù)庫，從而逐漸的形成具有多維度分析的核心數(shù)據(jù)，并把這些數(shù)據(jù)合理有效的儲存在數(shù)據(jù)庫，從而順利的實現(xiàn)對數(shù)據(jù)編碼和元數(shù)據(jù)的管理。數(shù)據(jù)訪問層的主要職責是在展示界面的過程中為其提供統(tǒng)一的、有效的數(shù)據(jù)，進而讓統(tǒng)計查詢、分析聯(lián)機決策輔助以及挖掘數(shù)據(jù)等功能得以順利的實現(xiàn)。
各個電力公司以及直屬單位的數(shù)據(jù)都需要按照國家電網(wǎng)公司所規(guī)定的特殊設計，在完全滿足基礎功能與關鍵指標的前提下，按照自身的生產(chǎn)安全和設備管理等一些特殊的業(yè)務特征以及需求進行建設。由于各省的電力系統(tǒng)間一直具有著很大的差異，在對數(shù)據(jù)中心進行建設時，電力系統(tǒng)的一些特殊軟件（網(wǎng)絡、環(huán)境調(diào)節(jié)、存儲、電力、服務器以及監(jiān)控等）之間不可避免的具有很大的差別。除此之外，在對軟件設施、硬件設施以及數(shù)據(jù)安全等進行系統(tǒng)的維護和管理的過程中還必須要選用不同的管理技術，隨著管理工具的不斷增加以及管理設計存在缺陷，所以就導致了缺乏管理經(jīng)驗和管理過程復雜等問題的出現(xiàn)，這樣就導致在對數(shù)據(jù)中心進行維護和管理時成本較高。
2 基于云計算的電力數(shù)據(jù)中心
2.1 電力系統(tǒng)云計算數(shù)據(jù)中心的基礎架構
選用云計算的技術對現(xiàn)存的電力數(shù)據(jù)中心進行改善，構建出逐漸向智能電網(wǎng)發(fā)展的新型的電力數(shù)據(jù)中心。在基礎的設施層，利用虛擬機監(jiān)視器和虛擬化平臺對一些相關的硬件設備（存儲設備、網(wǎng)絡設備和服務器）實行虛擬化，對相關的電力公司和直屬企業(yè)間存在著差異的設施給予屏蔽，把虛擬機當成單位對其進行全面的、科學的自動化管理，主要包括了抽象資源、管理安全、管理負載、部署資源以及監(jiān)控資源等，它既能讓資源利用率有所提升，還能夠使相關的管理維護人員對服務器等系統(tǒng)和硬件設施等管理工作得以徹底的擺脫，一定要認真的對系統(tǒng)業(yè)務以及虛擬機進行維護，從而讓數(shù)據(jù)中心的管理工作以及維護工作得到簡化。
2.2 實時遷移
在電力數(shù)據(jù)中心，服務器是非常關鍵的硬件設施，它的資源利用效率對電力數(shù)據(jù)中心具有的性能有著直接的影響。通過對其進行調(diào)查研究可知，目前企業(yè)數(shù)據(jù)中心的大量x86服務器僅運行一個應用，而CPU的利用率則為百分之五到百分之二十之間。通過可靠性以及性能以及對其進行考慮，現(xiàn)存的數(shù)據(jù)中心業(yè)務系統(tǒng)大多數(shù)都是運行在不同的服務器上的，例如，項目管理系統(tǒng)以及綜合管理系統(tǒng)都運行在自己獨立的服務器上，但是服務器自身具備著資源利用效率很低的弊端。在新型的電力數(shù)據(jù)中心，對服務器進行虛擬化，使單一的服務器通過進行虛擬化，被分為很多虛擬機，從而使服務器資源利用的效率得到提高。
在使服務器的利用效率得到提高的同時，應該把性能開銷以及可靠性的問題解決。對可靠性進行解決的有效手段為采取隔離的手段，在服務器上具有若干個虛擬機實例的基礎上，必須確保每個虛擬機之間是完全被隔離的，換句話說，就是如果其中的某個虛擬機遭受崩潰，不會影響到其他的虛擬機，使之可以從故障中及時有效的得到恢復，從而使服務器資源利用的效率得到提高。
3 云計算電力數(shù)據(jù)中心的遷移策略
對電力數(shù)據(jù)中心進行設計和建設的過程是非常重要的系統(tǒng)工程。目前的數(shù)據(jù)中心都是利用國家電網(wǎng)公司的規(guī)定進行統(tǒng)一的設計建設的，但是因為每個地方的系統(tǒng)業(yè)務應用、信息化水平以及成熟程度之間的差異，讓電力數(shù)據(jù)中心在建設的過程中自身具備著獨特的特征，虛擬化技術也慢慢的被引入到一些電力數(shù)據(jù)中心，初步具有了云計算的能力，但是大多數(shù)的電力企業(yè)依舊停留在以往傳統(tǒng)的數(shù)據(jù)中心水平，遠遠不能達到智能電網(wǎng)中全新的數(shù)據(jù)中心對大量的數(shù)據(jù)儲存、高可靠性、可伸縮性、高效計算以及高可用性的需求。
提出了現(xiàn)存電力數(shù)據(jù)云計算中心通過分階段對其進行遷移的策略，以此對其得以平穩(wěn)過渡進行保障。第一，對所有的電力公司以及公司總部的數(shù)據(jù)中心進行系統(tǒng)的升級，使其能夠慢慢的升級到云節(jié)點。虛擬化電力數(shù)據(jù)中心的基礎設施，使服務器的可拓展性、可用性以及彈性得到提升，對其進行系統(tǒng)的升級以及改造，讓它可以成為建立在云計算基礎上的數(shù)據(jù)中心，也就是人們所說的云節(jié)點。第二，對系統(tǒng)中的所有云節(jié)點進行連接，使其形成電力公司的私有云。全部的電力數(shù)據(jù)中心在構建成可用性高以及可拓展的云節(jié)點以后，需要把全部的云節(jié)點進行有效的連接，從而形成具有多中心性能的私有云。
4 結語
本文通過研究和分析虛擬化服務器、實時遷移以及Hadoop等關鍵的技術，提出了電力企業(yè)云計算數(shù)據(jù)的整體架構，設計出了構建在Hadoop基礎之上的電力數(shù)據(jù)云計算中心平臺，使之可以與新一代數(shù)據(jù)中心在發(fā)展過程中的趨勢相適應，并完全滿足智能電網(wǎng)的要求。云計算作為一種新型的技術，其虛擬化、資源管理、體系結構以及數(shù)據(jù)存儲等問題還需要進一步的對其進行研究。
參考文獻：
[1]潘毅,周京陽,李強,米為民,樊濤.基于公共信息模型的電力系統(tǒng)模型的拆分與合并[J].電力系統(tǒng)自動化,2003(15).
[2]王志南,吳文傳,張伯明,何云良,孫宏斌,汪皓,徐文.基于IEC 61970的CIS服務與SVG的研究和實踐[J].電力系統(tǒng)自動化,2005(22).
[3]孫澤鋒.云計算在電網(wǎng)企業(yè)的應用與信息安全[A].中國通信學會信息通信網(wǎng)絡技術委員會2011年年會論文集（上冊）[C].2011.
關鍵詞： 云計算； 橋梁安全與健康監(jiān)測； 數(shù)據(jù)中心； 數(shù)據(jù)管理技術
中圖分類號：TP391 文獻標志碼：A 文章編號：1006-8228（2013）12-18-04
Basic architecture and data management technology of bridge safety and health
monitoring data center based on cloud computing
Tu Huimin1，2， Wu Jufeng1，2
（1. Wuhan Bridge Science Research Institute（BSRI） Ltd.MBEC， Wuhan， Hubei 430034， China；
2. Key laboratory of bridge structure and health of Hubei province）
Abstract： With the development of bridge safety&health monitoring data center （BSHM-DC） technology， the monitoring data is increased rapidly in exponential speed， which requires the data storage and management technology of data center to be more intelligent and efficient. In this paper， the data management technology and developing trend of BSMS-DC is put forward firstly. After illustrating the basic architecture of BSHM-DC on the basis of cloud computing， the selections of key devices and related software are discussed. Lastly， its application expectation of BSHM-DC is prospected.
Key words： cloud computing； bridge safety &health monitoring （BSHM）； data center（DC）； data management technology
0 引言
橋梁安全與健康監(jiān)測系統(tǒng)是通過在橋梁的關鍵部位布置高可靠性和耐久性的各類傳感器，對結構內(nèi)力、變形、動力特性、環(huán)境狀況進行實時監(jiān)測，獲取橋梁在營運期內(nèi)受各種荷載作用下的結構響應，通過理論計算和規(guī)范值與實測值的對比、分析，實現(xiàn)結構異常響應報警、結構營運安全性評估、結構損傷識別等。由于該系統(tǒng)7*24小時不間斷檢測，所采集的數(shù)據(jù)量飛速增長。在面對多座橋梁監(jiān)測系統(tǒng)集成管理的情況下通常采用直聯(lián)式數(shù)據(jù)存儲方式，其數(shù)據(jù)的存儲能力、數(shù)據(jù)管理難度、數(shù)據(jù)安全，以及存儲資源的利用等，都難以滿足系統(tǒng)設計需求。
云計算可以滿足新一代數(shù)據(jù)中心對網(wǎng)絡、存儲和計算的業(yè)務需求，并能提供豐富的應用服務，是新一代數(shù)據(jù)中心的核心要素[1-2]。本文通過引入云計算的基礎架構，建立了基于云計算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心，將分散在全國各地的監(jiān)測系統(tǒng)數(shù)據(jù)進行集中可靠的存儲與管理，并通過云計算數(shù)據(jù)中心向用戶提供高效、安全的服務。
1 橋梁安全與健康監(jiān)測數(shù)據(jù)中心建設的現(xiàn)狀
隨著在役橋梁安全與健康監(jiān)測建設的發(fā)展，橋梁安全與健康監(jiān)測系統(tǒng)中海量數(shù)據(jù)的存儲與有效利用日顯重要，并成為在役系統(tǒng)普遍關注的一個重點。一個中等橋梁安全與健康監(jiān)測系統(tǒng)數(shù)據(jù)日增長量在3GB/天左右，一年有1.1TB增量的數(shù)據(jù)，數(shù)據(jù)的維護管理主要依賴系統(tǒng)管理員定期執(zhí)行，數(shù)據(jù)管理的實施方式難以統(tǒng)一。隨著數(shù)據(jù)量的增加，數(shù)據(jù)管理工作量、管理難度及管理成本成倍增加，數(shù)據(jù)也得不到有效利用。
橋梁安全與健康監(jiān)測數(shù)據(jù)中心引入云計算，可將業(yè)務數(shù)據(jù)和應用在公有云和私有云之間同步，當數(shù)據(jù)中心構建的私有云出現(xiàn)故障，應用可以無縫遷移到公有云中。通過云計算將分散在全國各地的業(yè)務系統(tǒng)數(shù)據(jù)通過INTERNET進行集中存儲與管理，可向橋梁技術研究者提供數(shù)據(jù)共享服務分析橋梁健康監(jiān)測海量數(shù)據(jù)；橋梁管理單位即使不具備橋梁專業(yè)技術知識也可以在任何地方、任何時間監(jiān)測到橋梁的實際運營狀況，獲得橋梁健康監(jiān)測報告及橋梁營運安全性評估等服務并實時反饋專家意見，大大提高了橋梁管養(yǎng)效率。
基于云計算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心建設分兩部分，一部分是集成中心，另一部分是分散在全國各地的分中心。集成中心的數(shù)據(jù)增長量在10GB/天，分中心的數(shù)據(jù)增長量在3GB/天左右，增長量會隨著業(yè)務量的增加而增加。集成中心利用云計算技術對服務器、存儲、網(wǎng)絡等IT資源進行虛擬化，將所有的IT資源放在一個資源池中并進行動態(tài)資源管理，對IT資源進行監(jiān)管和云管理。當資源池中分配給某個橋梁安全與健康監(jiān)測系統(tǒng)的資源出現(xiàn)故障或者該系統(tǒng)獲得的資源不夠用的時候，云管理平臺會自動分配給它新的資源，從而保證系統(tǒng)7*24小時不間斷運行。
分中心的數(shù)據(jù)通過公共Internet網(wǎng)絡與集成中心組成云網(wǎng)絡，數(shù)據(jù)進行同步，在集成中心對數(shù)據(jù)進行異地容災備份。集成中心有兩份數(shù)據(jù)，一份數(shù)據(jù)面向橋梁安全與健康監(jiān)測系統(tǒng)（數(shù)據(jù)庫A），一份數(shù)據(jù)是完全備份數(shù)據(jù)（數(shù)據(jù)庫B）。我們主要考慮如何優(yōu)化實時數(shù)據(jù)讀取和歷史數(shù)據(jù)查詢。數(shù)據(jù)庫B中保留所有數(shù)據(jù)，數(shù)據(jù)庫A只保留最近1周的數(shù)據(jù)；業(yè)務系統(tǒng)實時讀取的是數(shù)據(jù)庫A中的數(shù)據(jù)，而查詢一周之前的數(shù)據(jù)就讀取數(shù)據(jù)庫B中的數(shù)據(jù)。
圖1 分中心數(shù)據(jù)庫結構與操作
2 關鍵技術
云計算（Clouding Computing）由Google、Amazon等公司于2006年首先提出，它是一種利用互聯(lián)網(wǎng)實現(xiàn)隨時隨地、按需、便捷地訪問共享資源池（如計算設施、存儲設備、應用程序等）的計算模式[3]。我國政府高度重視對云計算的發(fā)展，把其列為重點發(fā)展的戰(zhàn)略性新興產(chǎn)業(yè)[4-5]，云計算技術的應用已成為國內(nèi)外的熱點研究問題[6-8]。
基于云計算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心的建設所需專業(yè)涉及面較廣，如橋梁專業(yè)、網(wǎng)絡通信專業(yè)、計算機專業(yè)等。本節(jié)著重討論其在計算機領域內(nèi)實現(xiàn)云計算數(shù)據(jù)中心的關鍵技術。
2.1 虛擬化技術
虛擬化技術能讓所有計算元件在虛擬的基礎上運行，是實現(xiàn)云計算數(shù)據(jù)中心不可缺少的功能。通過把有限的固定的資源根據(jù)不同需求進行重新規(guī)劃以達到最大利用率的思路，在IT領域就叫虛擬化技術[9-10]（Virtual Technology）。這種解決方案能在很大程度上優(yōu)化資源、節(jié)約成本。虛擬化技術包括計算虛擬化技術、網(wǎng)絡虛擬化技術、存儲虛擬化技術。系統(tǒng)虛擬化前后的特點如表1所述。
表1 虛擬化前后特點比較
[虛擬化前＼&虛擬化后＼&每臺主機一個操作系統(tǒng)＼&每臺主機上運行多個虛擬機，每個虛擬機一個操作系統(tǒng)
＼&每臺主機上運行多個程序，可能造成沖突
＼&多個程序可分別在運行在多個虛擬機上，應用程序相對獨立的運行空間，避免沖突
＼&每臺主機配一個存儲，存儲資源得不到有效利用，且一旦存儲出現(xiàn)單點故障，數(shù)據(jù)可能丟失
＼&多個虛擬機共享存儲，當一臺主機出現(xiàn)故障時，會自動分配其他主機上的硬件資源給故障主機的應用程序＼&硬件成本高，且配置和管理困難＼&虛擬機獨立于硬件運行，可動態(tài)資源分配，新程序的部署工作只需要幾分鐘，有效節(jié)約硬件和維護成本
＼&]
目前虛擬化技術的產(chǎn)品主要有EMC的 VMware虛擬化產(chǎn)品，Microsoft的Virtual Server， Sun的Virtual Box，以及Ctrix公司的Xen Server和Xen，占市場份額最大的是EMC的 VMware虛擬化產(chǎn)品。
2.2 數(shù)據(jù)存儲技術
基于云計算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心需要滿足大數(shù)據(jù)管理的需求，為大量橋梁管理者提供服務并且為橋梁研究者提供大數(shù)據(jù)分析功能。數(shù)據(jù)安全可靠存儲是實現(xiàn)大數(shù)據(jù)管理分析的基礎。
數(shù)據(jù)存儲系統(tǒng)從物理結構來看，底層主要是磁盤，通過光纖、串口線等與磁盤后的板卡和控制器相連。目前最常用的存儲方式有DAS（直接連接存儲）、SAN（存儲區(qū)域網(wǎng)絡）和NAS（網(wǎng)絡附加存儲）。直連存儲（DAS）是直接通過SCSI線纜或者光纖直接連接到服務器上。存儲區(qū)域網(wǎng)絡（SAN）是通過網(wǎng)絡方式連接存儲設備和應用服務器，目前常用的SAN結構根據(jù)連接介質(zhì)不同而分為FC SAN和IP SAN。網(wǎng)絡附加存儲（NAS）是將網(wǎng)絡存儲設備直接放在網(wǎng)絡上提供文件共享服務。這三種技術優(yōu)缺點如表2所示。
表2 DAS、SAN、NAS數(shù)據(jù)存儲系統(tǒng)技術優(yōu)缺點
[特征＼&DAS＼&SAN＼&NAS＼&安裝難易度＼&較難＼&較難＼&很容易＼&集中管理＼&難＼&專用軟件＼&基于網(wǎng)絡＼&擴展性＼&低＼&高＼&中＼&數(shù)據(jù)共享＼&難＼&通過軟件實現(xiàn)＼&內(nèi)部實現(xiàn)＼&處理能力＼&強＼&強＼&視網(wǎng)絡情況而定＼&備份＼&傳統(tǒng)方式＼&服務器不參與＼&多種方案＼&容災＼&基于服務器＼&端對端及多點容災＼&端對端方案＼&安全＼&中＼&高＼&低＼&]
目前主要存儲廠商的FC SAN存儲可以實現(xiàn)8Gbit/S的傳輸速率，但費用較高，所以中大型數(shù)據(jù)中心建設中還是處于領先地位。但是隨著IP SAN技術的發(fā)展，較高的性價比使FC SAN存儲逐漸擴大了在市場的份額。
2.3 動態(tài)資源管理
云計算的資源包括存儲資源、計算資源、網(wǎng)絡資源、基礎設施資源以及其他資源[2]。當應用云計算時，面對大量設備和相關技術，如何有效整合各種資源并實施動態(tài)資源管理是實現(xiàn)云計算的關鍵。云計算動態(tài)資源管理系統(tǒng)的基本功能，是接受資源請求，合理地調(diào)度相應的資源并且把特定的資源分配給資源請求者，使請求資源的業(yè)務得以運行。它能跨資源池智能動態(tài)調(diào)整計算資源，使IT與業(yè)務優(yōu)先級對應，動態(tài)提高系統(tǒng)的管理效率。
云計算的動態(tài)資源管理必須處理好存儲架構問題，解決資源部署、監(jiān)控和調(diào)度策略等問題。在VMware虛擬化產(chǎn)品中，DRS（vsphere Distributed Resources Scheduler）可以根據(jù)每一個虛機的實際運行情況，適時地對內(nèi)存、CPU、網(wǎng)絡的消耗進行動態(tài)調(diào)整，將其平均分配到DRS集群的每一臺主機上面。動態(tài)分配依靠VMotion實現(xiàn)，所以，VMotion是DRS的先決條件。
3 云計算數(shù)據(jù)中心實現(xiàn)
基于云計算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心實現(xiàn)了數(shù)據(jù)中心服務器、網(wǎng)絡、存儲虛擬化及負載均衡，其基礎架構拓撲圖如圖2所示。
整個方案通過兩路6核服務器配合后端IP SAN存儲技術，并采用云計算虛擬化技術來實現(xiàn)橋梁安全與健康實時監(jiān)測。在云計算操作系統(tǒng)軟件的支持下，將3臺兩路6核服務器組建HA集群，并配合DRS及VMotion等高級功能，實現(xiàn)業(yè)務的連續(xù)性，減少計劃內(nèi)宕機時間，有效地提高資源利用率。
3.1 計算系統(tǒng)設備及軟件實現(xiàn)
計算系統(tǒng)設備主要是指服務器，服務器的選擇上主要考慮的是服務器的性能，滿足五年內(nèi)橋梁安全與健康監(jiān)測業(yè)務的需要，主要計算能力由3臺兩路6核服務器擔任。
而計算系統(tǒng)虛擬化的實現(xiàn)主要是利用軟件將服務器虛擬化。目前主流的、最具代表性的虛擬化軟件是VMware的Vsphere軟件。
本方案采用3臺企業(yè)級兩路服務器（HP Enterprise Server）作為核心數(shù)據(jù)庫平臺。該服務器能滿足數(shù)據(jù)庫應用的高可用性、可恢復性，并具有錯誤檢測及消除單點故障的功能。采用數(shù)據(jù)庫雙機方案也增強了應用的可擴展性，滿足業(yè)務不斷增長的需要。由于該型服務器采用全新的因特爾快速互聯(lián)通道互聯(lián)架構配合因特爾志強E5系列處理器及SAS 6Gbps高性能磁盤控制器，使系統(tǒng)聯(lián)機處理性能提升2.5倍以上，數(shù)據(jù)庫性能提升3倍以上，更加適用于基礎架構、數(shù)據(jù)庫核心應用。
3.2 存儲設備及數(shù)據(jù)管理軟件
在保障客戶應用的前提下，存儲將成為一個必須受到關注的核心環(huán)節(jié)，因此雙控制器、多處理器和高可靠光纖8Gb存儲成為首選，這能有效保障業(yè)務的物理穩(wěn)定特性。出于數(shù)據(jù)安全備份的考慮，配置大存儲容量6TB存儲空間服務器作為虛擬機的備份服務器，可以保證在光纖存儲故障時或維護時的業(yè)務連續(xù)性，并對客戶的應用數(shù)據(jù)也做到了統(tǒng)一備份。為了保障業(yè)務運行的高性能、可持續(xù)性和可擴展性，我們選擇了IP-SAN的存儲模式，通過串口線連接磁盤與控制器。云計算計算節(jié)點服務器通過交換機連接存儲設備，實現(xiàn)數(shù)據(jù)鏈路的高品質(zhì)性能保障。
在數(shù)據(jù)的統(tǒng)一備份處理上，基于虛擬機文件駐留在共享SAN存儲上，可以使用存儲區(qū)的映像來備份虛擬機文件，這樣做不會在運行虛擬機的云計算計算節(jié)點主機上引起任何額外的負載。統(tǒng)一備份功能可以滿足縮短虛擬機的備份時間，移除客戶應用服務器上的備份工作負載，以及從中央服務器中執(zhí)行備份的工作。其工作流程是從運作中的主機上剝離磁盤，將磁盤鏈接到專用的統(tǒng)一備份服務器上，然后備份磁盤中適當?shù)奈募?，此時原始主機仍能看到該磁盤并能正常工作。通過有效利用虛擬機存儲區(qū)的映象文件，高效地保障客戶數(shù)據(jù)安全。
3.3 網(wǎng)絡設備
云計算數(shù)據(jù)中心網(wǎng)絡需實現(xiàn)雙鏈路可靠冗余連接、負載均衡，充分考慮網(wǎng)絡的可管理性。本方案采用兩臺DLINK交換機實現(xiàn)設備冗余，同時通過實現(xiàn)網(wǎng)絡虛擬化來保證網(wǎng)絡策略安全，使之不受虛擬機位置遷移的影響。
3.4 云平臺管理
云管理平臺是負責整個數(shù)據(jù)中心的資源池管理、是實現(xiàn)IAAS的關鍵環(huán)節(jié)。本方案采用VMware公司的Vcenter軟件，與其他的管理軟件相比，該軟件的使用為IT管理者大大降低了云計算虛擬環(huán)境管理的難度。
該云平臺是目前最強大的虛擬環(huán)境管理平臺，它能提高在虛擬基礎架構每個級別上的集中控制和可見性，無論是幾十臺還是幾千臺虛擬機，都能集中、簡單地管理。它可以通過使用向?qū)Щ蛘吣０?，在幾分鐘?nèi)創(chuàng)建新的虛擬機或主機，最大限度地減少錯誤和停機；它還可以借用DRS（vsphere Distributed Resources Scheduler） 持續(xù)監(jiān)控各個資源池的使用情況。此外，借助vCenter API和.NET可實現(xiàn)vCenter Server和其他工具的集成，并且支持在vSphere Client中嵌入自定義插件，為管理IT環(huán)境提供選擇自由。
4 結束語
目前，基于云計算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心建設還處在初級階段，隨著橋梁安全監(jiān)測技術和云計算技術的發(fā)展，云計算數(shù)據(jù)中心會逐漸形成系統(tǒng)化、網(wǎng)絡化的全國性的橋梁安全與健康監(jiān)測平臺。該平臺能面向所有橋梁行業(yè)的客戶，提供存儲空間及橋梁安全與健康監(jiān)測服務；同時還能根據(jù)存儲的大量橋梁相關數(shù)據(jù)，進行數(shù)據(jù)挖掘及數(shù)據(jù)分析，在橋梁學術研究方面具有重要意義。
基于云計算的數(shù)據(jù)中心建設是一個復雜的系統(tǒng)工程，本文著重從橋梁安全監(jiān)測數(shù)據(jù)中心的關鍵技術方面闡述了系統(tǒng)基礎架構，以及關鍵設備和軟件的選型，希望能為其他行業(yè)數(shù)據(jù)中心的建設提供一些參考。
參考文獻：
[1] 林小村.數(shù)據(jù)中心建設與運行管理[M].科學出版社，2010.
[2] 劉鵬.云計算[M].電子工業(yè)出版社，2011.
[3] MELL P， GRANCE T. The NIST Definition of Cloud Computing[R].
National Institute of Standards and Technology， SP800-145， Gaithersburg：U.S Dept. of Commerce，2011.
[4] 國家科學技術部.中國云科技發(fā)展"十二五"專項規(guī)劃[EB/01].
/tztg/201209/W020120918516104069531.doc，2012
[5] 工業(yè)和信息化部電信研究院.云計算白皮書（2012）[M].工業(yè)和信息化
部電信研究院，2012.
[6] 田冠華，孟丹，詹劍鋒.云計算環(huán)境下基于失效規(guī)則的資源動態(tài)提供
策略[J].計算機學報，2010.33（10）：1859-1872
[7] 朱仕村，張宇峰，張立濤，朱曉文，胡云輝.面向長大橋梁結構健康監(jiān)測
物聯(lián)網(wǎng)的云計算[J].現(xiàn)代交通技術，2011.8（1）：24-27
[8] 孟凡立，徐明，張慰.基于云計算的高校數(shù)據(jù)中心設計與實現(xiàn)[J].現(xiàn)代
教育技術，2012.22（3）：99-103
[9] 楊望仙，朱定局，謝毅，范朝冬.虛擬化技術在云計算中的研究進展[J].
先進技術研究通報，2010.4（8）：5-10
關鍵詞：銀行業(yè)務 ；批處理流程；Hadoop MapReduce ；云計算
中圖分類號：TP302文獻標識碼：A文章編號文章編號：16727800（2013）0010000104
作者簡介：趙曦（1971-），男，博士，上海金融學院信息管理學院副教授，研究方向為互聯(lián)網(wǎng)金融應用。
0引言
隨著大型商業(yè)銀行業(yè)務規(guī)模的擴大和信息技術的發(fā)展， 數(shù)據(jù)中心已經(jīng)成為大型商業(yè)銀行業(yè)務系統(tǒng)與數(shù)據(jù)資源進行集中業(yè)務處理的樞紐，匯集了規(guī)?；腎T計算、存儲和網(wǎng)絡資源。
銀行主要承擔本外幣儲蓄、信用卡、對公存貸款業(yè)務，銀行匯票及聯(lián)行業(yè)務，國際結算和外匯買賣，代收代付等業(yè)務 [1]。銀行業(yè)以網(wǎng)絡和信息技術作為其業(yè)務處理的核心支撐，形成了前端業(yè)務信息采集、中端數(shù)據(jù)交換和數(shù)據(jù)中心處理“分布采集、集中處理”模式。隨著業(yè)務量的增加和金融新產(chǎn)品的涌現(xiàn)，業(yè)務管理和信息處理“大集中”后對流程處理效率、系統(tǒng)擴展性和數(shù)據(jù)存儲可靠性提出了更高的要求。金融行業(yè)特別是銀行業(yè)在處理在線聯(lián)機業(yè)務（online transaction）的同時，還需要處理大量的離線批處理業(yè)務（batch processing），如影像文件處理、票據(jù)結算、外匯清算、薪資、各類報表，批處理業(yè)務具有數(shù)據(jù)量大、占用計算資源多、限時處理完成的特點，銀行信息中心通常要配備足夠的資源在特定時間段（夜間、周末、月末）進行批量業(yè)務數(shù)據(jù)處理。如何提高批處理業(yè)務能力、合理配置計算資源是銀行信息中心不斷要面對的挑戰(zhàn)。
以計算資源和服務虛擬化為核心的云計算架構和技術得到了廣泛的認同，正在成為IT產(chǎn)業(yè)和信息化應用系統(tǒng)架構的發(fā)展趨勢，實踐表明，基于云計算架構的系統(tǒng)在資源利用、服務效率、運行成本及能源消耗方面具有明顯的優(yōu)勢。
本文提出了一種應對批量業(yè)務流程處理的優(yōu)化方法，基本原理是將業(yè)務流程的任務節(jié)點進行分解和分類，形成流程隊列和若干可以進行并行處理分類任務隊列，使用Hadoop MapReduce并行計算框架進行并行處理，MapReduce提供的資源調(diào)度和容錯機制能夠有效提高業(yè)務處理系統(tǒng)的可擴展性和穩(wěn)定性。模擬實驗表明，流程任務分解優(yōu)化方法比通常的以流程為處理單元的方式具有一定的優(yōu)勢，可以在云計算環(huán)境下分組處理具有共同特征的計算和操作任務，實現(xiàn)優(yōu)化資源調(diào)配，提高批量業(yè)務處理的效率。
1批處理業(yè)務流程優(yōu)化
批量業(yè)務處理是指一組遵循同一處理流程的重復操作，而涉及的業(yè)務流程是一組將輸入轉化為輸出的相互關聯(lián)或相互作用的活動，活動之間不僅有嚴格的先后順序限定，而且活動的內(nèi)容、方式、責任等也都必須有明確的安排和界定，以使不同活動在不同角色之間進行交接成為可能，批量處理業(yè)務流程活動之間的轉移不需要人工干預。處理流程中的活動根據(jù)數(shù)據(jù)處理的要求和特點進行設計，如先進行數(shù)據(jù)核對，然后進行計算，最后進行賬戶操作，每個活動會產(chǎn)生臨時數(shù)據(jù)。為了提高處理能力和資源使用效率，流程活動設計盡可能遵循以下幾個原則：
①獨立于其它流程和活動，可進行重復操作；②使用較少類別的計算資源，CPU、網(wǎng)絡、存儲；③能夠進行并行處理。
圖1示意了批量流程處理的原理，銀行信息中心在每個批處理周期安排若干批處理的規(guī)劃，配置計算資源，啟動和監(jiān)控批處理過程。每個批處理中包括對應同一處理流程的批量處理任務。
銀行信息中心根據(jù)資源配置情況，安排批處理規(guī)劃中的批處理執(zhí)行，可以做到并行處理，以滿足處理時限的要求，每個批處理分配固定的或虛擬化的資源（服務器、CPU、存儲、外設），當現(xiàn)有資源不能滿足批處理要求時，則需要不斷增加資源。這種以批處理流程為單位來決定資源配置的模式（圖2）不一定能夠確保資源的高效使用，如：需要大量CPU計算的流程同時配置I/O性能較高的資源，造成I/O資源的浪費。經(jīng)過分析，可以通過優(yōu)化批處理業(yè)務流程和操作來進行改進（圖3），以進一步提高資源的使用效率。
以優(yōu)化流程任務作為并行計算單元，形成批量處理任務隊列，根據(jù)任務操作的類型來分配最適合的資源，理論上提高了資源配置的精細程度，有助于提高資源使用效率。
2基于MapReduce的批處理優(yōu)化計算
為了驗證提出的以流程任務為基礎配置資源的批處理運算架構（圖3），我們搭建了Hadoop/MapReduce并行計算實驗環(huán)境，通過模擬批處理業(yè)務，對兩種資源配置模式進行比較。
Hadoop[6]云計算平臺的核心由HDFS分布存儲和映射機制及MapReduce并行計算架構組成，具有開放性、穩(wěn)定性和擴展性方面的優(yōu)勢，成為了云計算研究和應用的重要平臺之一，其架構與提出的批處理流程優(yōu)化模型吻合程度高。
MapReduce[8]通過兩個函數(shù)Map和Reduce提供并行計算框架， 將計算任務（Job）分解為可以進行獨立和并行計算操作集合（Tasks），提交給Map函數(shù)處理，而Reduce函數(shù)收集、整理、排序Map函數(shù)的計算結果。其基本功能是按一定的映射規(guī)則將輸入的 （k1，v1）鍵值對轉換成另一個或一批list（k2，v2）對輸出，而Reduce將一個或多個Map輸出的list（k2，v2）轉換為新的鍵值對list（k3，v3），作為任務計算的輸出[2]。
一種基于C++的腳本語言和解釋器封裝了實現(xiàn)上述功能的基本功能函數(shù)，用來描述任務的執(zhí)行操作。根據(jù)上述模擬批次規(guī)劃和流程節(jié)點類型，得出計算隊列表。
硬件計算架構使用5臺Ubantu Linux服務器提供Hadoop MapReduce并行計算平臺，1個NameNode和4個DataNode，網(wǎng)絡環(huán)境為100M局域網(wǎng)，通過SSH實現(xiàn)服務器之間的連接、控制和HDFS數(shù)據(jù)復制，流程和任務隊列管理程序運行在NameNode上，Map和Reduce實現(xiàn)分布在DateNode上。圖7所示為流程優(yōu)化模擬架構。
平臺模擬了以業(yè)務流程為處理單元和任務分解優(yōu)化兩種計算架構，使用同樣的模擬流程和數(shù)據(jù)，同時檢測了當一個DateNote服務器宕機時的任務容錯機制和性能，表4匯總模擬運行的比較數(shù)據(jù)。
圖7Haddop MapReduce流程優(yōu)化模擬系統(tǒng)架構
流程最短處理時間指流程任務按照關鍵邏輯路徑執(zhí)行需要的累計時間，當一個任務處理完成后才能激活后續(xù)節(jié)點任務。以流程為單位的隊列處理模式在4個DataNode平均分配流程，每個DataNode處理的流程數(shù)量幾乎均等，資源的使用率也相同。任務優(yōu)化分解方法形成了7個任務隊列，DateNode資源分配按照優(yōu)先資源對照表3進行。
流程平均處理時間指進入流程隊列到所有任務處理完畢的時間，包括等待和任務處理時間，資源使用差異指CPU和I/O在高度使用和過度空閑的比例關系。
根據(jù)實驗平臺記錄的運行數(shù)據(jù)，在同樣的批處理流程和硬件架構條件下，使用業(yè)務流程分解優(yōu)化的并行計算能夠處理更多的事務（320min對比430min），資源的使用效率得到提高（54%對比31%），即使考慮到流程分解和多個任務隊列管理的額外開銷，運行結果還是表明了所提出方法的優(yōu)勢，為進一步深入研究和完善提供了基礎。
3結語
銀行批處理“大集中”后，其數(shù)量和規(guī)模不斷擴大，銀行信息中心不斷面臨IT資源優(yōu)化和靈活配置的挑戰(zhàn)，一方面要提升IT架構的資源數(shù)量和技術水平，另一方面要優(yōu)化批處理的模式來更有效地利用IT資源（計算、存儲、網(wǎng)絡、I/O）。
云計算技術的研究和應用成為了IT產(chǎn)業(yè)發(fā)展的一個重要方向，基于云計算架構的系統(tǒng)在資源利用、服務效率、運行成本及能源消耗方面具有明顯的優(yōu)勢。云計算架構的出現(xiàn)也引發(fā)了在信息系統(tǒng)設計、功能開發(fā)和維護服務的巨大變化。作為以信息化技術作為重要支撐的銀行業(yè)，正在逐步嘗試和分享云計算帶來的各種優(yōu)勢。本文在此背景下，提出了一種針對銀行批處理業(yè)務的優(yōu)化流程分解方法。
業(yè)務流程分解優(yōu)化方法通過對流程任務分組，可以為實時處理大批量流程的應用領域（銀行、證券、保險、電子商務）提高處理效率，MapReduce原理為流程節(jié)點處理提供了并行計算框架，其調(diào)度和容錯機制可以實現(xiàn)系統(tǒng)計算資源的高擴展性和穩(wěn)定性。模擬實驗表明，本文介紹的基于并行計算的優(yōu)化流程分解方法比以整個批量處理流程為處理單元的方法在效率、架構和靈活性方面具有一定的優(yōu)勢。下一個階段，擬將該方法進一步完善，在銀行等典型批處理業(yè)務應用領域進行深化和拓展。
參考文獻：
[1]李得仁.銀行批量業(yè)務后臺集中處理模式的實現(xiàn)[J].中國金融電腦 ，2012（11）.
[2]李成華.MapReduce：新型的分布式并行計算編程模型[J].計算機工程與科學， 2011（3）.
[3]楊志豪.一種適應數(shù)據(jù)與計算密集型任務的私有云系統(tǒng)實現(xiàn)研究[J].計算機應用研究 ， 2011（2）.
[4]易小華.面向MapReduce的數(shù)據(jù)處理流程開發(fā)方法[J].計算機科學與探索，2011（2）.
[5]DEAN J， GHEMAWAT S. MapReduce： simplified data processing on large clusters[J].Communications of the ACM，2008， 51（1）： 107113.
[6]Welcome to Hadoop MapReduce[EB/OL].http：///mapreduce/.
【關鍵詞】云計算；云基礎架構；虛擬化技術；分布式存儲系統(tǒng)；并行編程模型
1.引言
自新千年IT業(yè)引入云計算概念以來，通過廣大的市場需求及雄厚的技術支持，大規(guī)模云計算系統(tǒng)已成為當今IT業(yè)發(fā)展的主流。實現(xiàn)云計算的基礎是實現(xiàn)云計算系統(tǒng)基礎架構。一個云計算系統(tǒng)的優(yōu)秀與否，關鍵在于其基礎架構是否能夠穩(wěn)定、高效地完成各項任務。本文試圖結合相關資料，對云基礎架構及其效能進行分析、定義及具體闡述，為下一步研究提供有力參考。
2.云計算簡介
云計算的迅猛發(fā)展與廣大的市場需求和強大的技術支撐密切相關。首先，隨著IT業(yè)的迅猛發(fā)展，各IT運營商都形成了各自龐大的服務器集群。如何實現(xiàn)現(xiàn)有集群的重新整合以降低運維成本，提高效率成為運營商考慮的首要問題；另外，IT市場的迅猛發(fā)展也要求各運營商提供更加穩(wěn)定、快捷的服務。其次，分布式系統(tǒng)、虛擬化技術的不斷發(fā)展完善，使得服務集群性能的快速提升成為可能。所以，在上述兩方面原因的相互作用下，云計算得到了前所未有的發(fā)展。
目前，不同公司對云計算有著不同的理解和實現(xiàn)方式。通過對現(xiàn)有云計算系統(tǒng)的分析及對相關資料的研究[1—5]，本文認為云計算是以商業(yè)需要為出發(fā)點，將數(shù)量龐大的服務器集群整合成為分布式的資源池，通過虛擬化技術、Web2.0技術將資源池強大的計算能力、存儲能力和構建在其基礎之上的各類應用以按需計費的形式從不同的層次（Infrastructure、Platform、Application）租賃給用戶的一種新型網(wǎng)絡運營模式。
由上述定義可得到云計算體系結構如圖1。
由圖可知，云計算基礎架構位于云計算系統(tǒng)的底層，它為云計算系統(tǒng)的出色運營提供了有力的支持。
3.云計算基礎架構
3.1 云計算基礎架構的定義
目前，業(yè)界及學術界對云計算基礎架構還沒有一個統(tǒng)一的定義利標準。各IT運營商均根據(jù)自身的實際情況，以各自的理解定義和實現(xiàn)云計算基礎架構的部署。理工大學教授劉鵬在其著作《云計算》中提出：云基礎架構及管理層由數(shù)據(jù)中心與云基礎架構、安全產(chǎn)品、基礎架構和運營管理三大部分組成[3]。作為虛擬化技術的龍頭，Vmware公司在談到其云基礎架構層產(chǎn)品時說道：云計算基礎架構是指通過虛擬化技術將傳統(tǒng)數(shù)據(jù)中心轉變?yōu)樵苹A架構并在其之上創(chuàng)建云，將IT基礎架構作為服務交付給客戶使用[6]。Lenk等人在其文章談及云計算基礎設施層時也指出：云基礎架構可劃分為基礎設施服務和資源集兩大部分，其中資源集可分為虛擬資源集和物力資源集；而基礎設施服務又分為高級基礎設施服務、基本基礎設施服務、計算服務、存儲服務和網(wǎng)絡服務[7]。
通過對現(xiàn)有云基礎架構以及對相關文獻資料的研究，本文認為云計算基礎架構是指由硬件資源（PC服務器、磁盤陣列、路由器、交換機及相關配套設備）組成，通過虛擬化技術、分布式并行技術整合形成的用以直接對外提供存儲、計算服務或作為基礎設施為上層云計算應用提供存儲、計算能力支撐的一種高效、可靠并且具有良好擴展性的底層分布式系統(tǒng)。
3.2 云計算基礎架構的分類
通過分析研究現(xiàn)有云計算系統(tǒng)及相關[8—12]，本文認為云基礎架構按照服務的對象可分為基礎型云基礎架構和外向型云基礎架構：基礎型云基礎架構指主要向運系統(tǒng)上層提供計算、存儲資源服務的云基礎架構，基礎型云基礎架構的代表系統(tǒng)有：TFS、GFS、Cassandra、KIDC；外向型云基礎架構指直接向用戶提供計算、存儲資源服務的云基礎架構，外向型云基礎架構的代表系統(tǒng)有：IBM Ensembles、Amazon EC2、Amazon S3、HyperCloud、Megastore。
3.3 云基礎架構的結構體系
通過對當前業(yè)界主流云基礎架構系統(tǒng)的分析和對相關學術成果的研究，可以看出云基礎架構的作用是通過將物理資源轉化為虛擬資源池，實現(xiàn)對資源的監(jiān)控、調(diào)度和管理以達到為上層應用和用戶提供彈性的計算和存儲資源的目的。云基礎架構結構框架如圖2。
由此本文將云基礎架構分為以下五個層次：
1）物理層是指搭建、部署云基礎架構所需的物理設備和配套環(huán)境。起作用時為云基礎架構提供基本的物力資源，并保持物理設備的可靠性。
2）虛擬層是指通過虛擬化技術解除實現(xiàn)方式、地理位置或底層物理配置對計算機資源的限制，打破上層與物力資源之間的耦合關系，形成統(tǒng)一的虛擬資源。虛擬層的作用是為上層提供可靠且能夠靈活按需分配的虛擬資源。虛擬層由虛擬計算資源、虛擬存儲資源和虛擬網(wǎng)絡資源組成。
3）數(shù)據(jù)層是指對云基礎架構內(nèi)運行的客戶數(shù)據(jù)進行基本操作和管理的層次。數(shù)據(jù)層主要包含兩個部分，既數(shù)據(jù)處理與數(shù)據(jù)管理。
4）管理層是整個云基礎架構中的一個抽象層次。它對云基礎架構的各類資源進行監(jiān)控，根據(jù)實際負載狀況對資源進行管理和調(diào)度并且根據(jù)上層需求對資源進行快速部署，以保證云基礎架構高效運行。云基礎架構管理層主要由資源監(jiān)控、負載管理、資源部署和安全管理四個部分組成。
5）服務層是指為上層云計算應用調(diào)用云基礎架構計算、存儲資源預留的接口和對用戶使用云基礎架構計算、存儲資源提供的交互界面。服務層對云基礎架構效能的影響體現(xiàn)在服務層各類接口的通用性上。因為服務層接口與上層的松耦合性能夠減小底層云基礎架構對上層應用的限制，從而提高云基礎架構自身的可用性。
3.4 云基礎架構實現(xiàn)的主要技術
3.4.1 虛擬化技術
虛擬化是表示計算機資源的一種抽象方法。通過虛擬化，可以簡化基礎設施、系統(tǒng)和軟件等計算機資源的表示、訪問和管理，并為這些資源提供標準的接口來接受輸入和提供輸出[2]。通過虛擬化技術，可以實現(xiàn)在一臺服務器上運行多個虛擬機，從而提供服務器的效率。由于絕大部分PC產(chǎn)品均屬于X86架構，所以本文論述的虛擬化技術主要指X86架構的虛擬化技術。當前X86虛擬化技術的主流產(chǎn)品是VMware的VMware vSphere。
vSphere主要用于服務器的虛擬化，即在一臺物理服務器上運行多臺虛擬機，以次達到服務器整合和優(yōu)化的目的。vSphere的核心是ESX架構，它可分為兩部分：Service Console和VMKernel。其中前者提供管理服務，后者提供虛擬化能力。
隨著虛擬化技術在云計算中發(fā)展中的作用越來越重要，對虛擬化技術的研究也成為熱點。對虛擬資源的管理便是熱點之一，[13]提出將VM模型集成到資源管理框架里，利用兩極調(diào)度將VM的管理集成至批調(diào)度器里，以次為用戶提供調(diào)度服務。
當前如Amazon EC2等云計算產(chǎn)品大多是以虛擬機的形式為用戶提供計算能力，但對于虛擬機的具體配置，需要用戶手動完成，因此虛擬化技術在自適應方面還需要進一步研究。
3.4.2 分布式存儲系統(tǒng)
隨著IT業(yè)的發(fā)展，網(wǎng)上交易、網(wǎng)上檢索等系統(tǒng)所要處理的數(shù)據(jù)量越來越大。如何利用最低的資源成本創(chuàng)造最高的運行效率成為各大運營商考慮的首要問題。因此研發(fā)人員開發(fā)完成了一系列分布式存儲系統(tǒng)，為云計算提供了強有力的后盾。
分布式存儲系統(tǒng)研發(fā)目的是為云基礎架構提供高效、海量的數(shù)據(jù)存儲能力。各大運營商在搭建自己的云基礎架構前都會開發(fā)自己的分布式存儲系統(tǒng)如Google的GFS分布式文件系統(tǒng)。Google的GFS（Google File System）[14]是Google研發(fā)完成的作用于底層的分布式文件系統(tǒng)。GFS的作用是為大規(guī)模分布式應用系統(tǒng)提供強大的數(shù)據(jù)存儲服務。GFS的核心設計思路是將系統(tǒng)故障當作一種常態(tài)來處理，實現(xiàn)這一思路的技術主要是提供多個副本進行操作。在接口方面GFS除提供基本的Creat、Delete、Open、Close、Read、Write外還提供Snapshot和記錄追加兩項操作。Snapshot以最低的開銷創(chuàng)建一個文件或目錄副本，記錄追加則保證多客戶同時對文件進行數(shù)據(jù)追加時的原子性和正確性。
GFS含有一個主控服務器（Master）和多個塊服務器（Chunk Server）。一份文件由設備經(jīng)接口，會被分為有限個數(shù)據(jù)塊（每個數(shù)據(jù)塊64MB）。此外，每個數(shù)據(jù)塊都會產(chǎn)生一個元數(shù)據(jù)（
當前分布式存儲系統(tǒng)已成為云基礎架構重要組成之一。在學術界，對分布式存儲系統(tǒng)的研究逐漸成為熱點。[11]提出并實現(xiàn)了一種對等結構分布式存儲系統(tǒng)NDSS，該系統(tǒng)取消了類似GFS中主控服務器的中心節(jié)點，而是利用分布式共享內(nèi)存（DSM，Distributed Shared Memory）實現(xiàn)了數(shù)據(jù)一致性模塊，利用分布式共享位圖（DSB，Distributed Shared Bitmap）限制了多個節(jié)點對信息的同時訪問，解決了同步訪問控制問題。以此在對等節(jié)點中完成了中心節(jié)點的主要功能。從測試結果看，NDSS系統(tǒng)的整體性能優(yōu)于有中心節(jié)點的YNS系統(tǒng)[10]。
目前，云基礎架構中著名的分布式存儲系統(tǒng)還有Google的Bigtable分布式存儲系統(tǒng)和Amazon的Dynamo分布式數(shù)據(jù)存儲中心[11]等。它們雖然為云基礎架構提供了強大的動力，但仍有改進之處。
3.4.3 并行編程模型
并行編程模型是云計算中的一個重要概念。它是指系統(tǒng)為高效并行處理海量數(shù)據(jù)而設定的一組數(shù)據(jù)處理規(guī)則。研發(fā)人員為了解決輸入數(shù)據(jù)的并行計算、分發(fā)數(shù)據(jù)等問題提出了并行編程模型的概念。
MapReduce是Google公司開發(fā)的一種新的抽象模型，也是當前起主導作用的編程模型。它的設計思路來源于函數(shù)式編程語言的映射和簡化操作[1]。MapReduce的核心思想是將數(shù)據(jù)邏輯列表通過Map函數(shù)處理成為鍵值對集（），經(jīng)過排序?qū)⒕哂邢嗤琄ey值的鍵值對放在一起后通過Reduce函數(shù)將具有相同Key值的鍵值對的Value值進行合并。
當前對并行編程模型的研究大多以在MapReduce的基礎上提出改進方案為主。在文獻[15]中。Zaharia等人根據(jù)MapReduce建立在系統(tǒng)同構的假設基礎上，提出了LATE（Longest Approximate Time to End）調(diào)度算法。通過新型調(diào)度算法的改進使得MapReduce在異構環(huán)境下運行。
雖然現(xiàn)行并行編程模型為云計算提供了強大的技術支持，在某些具體情況的適用性上還需進一步的完善。
4.結論與展望
當前對云基礎架構的研究主要集中在業(yè)界IT運營商，在學術界對云計算基礎架構的研究主要集中在單個技術性能的改進與提高上，明確提出云計算基礎架構概念，并進行整體性理論分析研究相對較少。本文通過分析研究現(xiàn)有云計算基礎架構實例及相關文獻資料，提出了云計算基礎架構定義，指出：云計算基礎架構是指由硬件資源（PC服務器、磁盤陣列、路由器、交換機及相關配套設備）組成，通過虛擬化技術、分布式并行技術整合形成的用以直接對外提供存儲、計算服務或作為基礎設施為上層云計算應用提供存儲、計算能力支撐的一種高效、可靠并且具有良好擴展性的底層分布式系統(tǒng)。根據(jù)云計算基礎架構定義，預計在今后的一段時間內(nèi)，對云計算基礎架構的研究會朝著以下幾個方面進行：
1）更加高效的數(shù)據(jù)交互體驗。云計算基礎架構為上層應用提供存儲與計算能力，在此過程中必然會存在基于請求的數(shù)據(jù)交互過程。而數(shù)據(jù)交互的速度會直接影響用戶對云計算應用的操作體驗。所以對高效的數(shù)據(jù)交互地研究會成為未來云計算基礎架構的研究重點。
2）更穩(wěn)定的系統(tǒng)運行過程。云計算基礎架構位于云計算系統(tǒng)的底層，其運行的穩(wěn)定與否直接關系到整個云計算系統(tǒng)的運作。盡管當前已有多種技術手段（資源監(jiān)控技術、同步復制技術，心跳檢測技術等）來確保云計算基礎架構的穩(wěn)定性。但是這些技術手段任然存在自身消耗資源過大、檢測周期與負載變化不適應等問題。而這些問題也會在今后的云計算基礎架構的研究中得到解決。所以系統(tǒng)的穩(wěn)定性也將是云計算基礎架構研究的重點之一。
3）更靈活的系統(tǒng)擴展。隨著數(shù)據(jù)量的增加，云計算基礎架構不得不面臨系統(tǒng)擴展的問題。而實時變化的數(shù)據(jù)交互量，使得云計算基礎架構在擴展的同時更加注重擴展的靈活性。系統(tǒng)的擴展意味著資源的擴充，而系統(tǒng)擴展后的資源合理分配是體現(xiàn)靈活系統(tǒng)擴展的重要部分。當前盡管各類云基礎架構都在努力統(tǒng)一和規(guī)范各自系統(tǒng)擴展接口并改進資源分配方式，但資源分配是否能夠與負載變化同步依然是問題的實質(zhì)和仍未解決的問題。而這也是云計算發(fā)展的基本出發(fā)點和立足點。所以，靈活的系統(tǒng)擴展能力是云計算基礎架構未來的重要研究方向。
綜上所述，云計算基礎架構是一個具有現(xiàn)實意義并充滿挑戰(zhàn)的新興領域，它的發(fā)展將對云計算發(fā)展產(chǎn)生巨大的推進作用，而云計算基礎架構也會在未來的發(fā)展中扮演越來越重要的角色。
參考文獻
[1]陸嘉恒等.分布式系統(tǒng)與云計算[M].北京：清華大學出版社，2011.5.
[2]吳朱華.云計算核心技術剖析[M].北京：人民郵電出版社，2011.5.
[3]劉鵬.云計算[M].北京：電子工業(yè)出版社，2011.7.
[4]Tim Mather，Subra Kumaraswamy，Shahed Latif著.云計算安全與隱私[M].北京：機械工業(yè)出版社，2011.5.
[5]朱近之.智慧的云計算[M].北京：電子工業(yè)出版社， 2011.4.
[6]VMware and Cloud Computing：An Evolutionary Approach to an IT Revolution.
[7]A.Lenk，M.Klems，J.Nimis，S.Tai.What is Inside the Cloud？An Architectural Map of the Cloud Landscape.http：///portal/web/csdl/doi/10.1109/CLOUD.2009.5071519.
[8]房晶，吳昊，白松林.云計算安全研究綜述[J].電信科學，2011，27（4）：37—42.
[9]陳丹偉，黃秀麗，任勛益.云計算及安全分析[A].計算機技術與發(fā)展，2010，20（2）：99—102.
[10]張建勛，古志民，鄧超.云計算研究進展綜述[A].計算機應用研究，2010，27（2）：429—433.
[11]吳英，謝廣軍，劉景.對等結構的分布式存儲系統(tǒng)設計與研究[A].計算機工程與應用，2006，42（4）：135—139.
[12]王剛，劉曉光，劉景.網(wǎng)絡軟RAID的設計與實現(xiàn)[J].計算機研究與發(fā)展，2000，37（增刊）：81—83.
[13]FREEMANT T，KEAHEY K.Flying low：simple lease with workspace pilot [C].//Proc of the 14th International Conference on Parallel Processing.
[14]GHEMAWAT S，GOBIOFF H，LEUNG S.The Google file system[C].//The Proceedings of the 19th Symposium on Operating Systems Principles，Lake Georage，New York，2003.
