Spark和Ray，一個是開源于2010年，專為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎，另一個則是開源于2018年，由加利福尼亞大學伯克利分校RISELab推出的新一代高性能分布式計算框架，兩者都已成為開源領域備受關注的明星項目，而它們成長的背后都離不開一個核心人物，Ion Stoica。
圖：Ion Stoica教授
加利福尼亞大學伯克利分校計算機科學與電氣工程教授Ion Stoica在展望云計算的未來時，思考了該如何推動目前的差異化云計算平臺逐漸發(fā)展成為一項公共服務，稱其為“Sky Computing”，就像這個詞匯的含義，Sky Computing是云平臺之上的一層，目標是實現(xiàn)云之間的互操作性。
事實上，實現(xiàn)Sky Computing的障礙更多來自于經(jīng)濟層面，而不是技術層面，對等互惠則是實現(xiàn)SkyComputing的關鍵步驟。Stoica提出將其作為通用軟件平臺用于未來計算，并考慮技術趨勢和市場力量如何在Sky Computing的實現(xiàn)中發(fā)揮關鍵作用。
商業(yè)化VS公共化，云計算平臺壁壘高筑
互聯(lián)網(wǎng)的出現(xiàn)迅速帶來了全球范圍內可以訪問的多種服務，包括電子郵件、搜索、游戲以及在線零售和社交媒體等新服務的爆炸式增長。
為了應對由此帶來的大規(guī)模數(shù)據(jù)和工作負載，服務商必須構建數(shù)據(jù)中心，并設計復雜的分布式系統(tǒng)。
但是，創(chuàng)建大規(guī)模的基礎計算設施也需要付出高昂的代價，這大大阻礙了大多數(shù)公司進入互聯(lián)網(wǎng)市場的腳步。
這種情況下，2006年亞馬遜推出S3和EC2時發(fā)生了變化。
通過普及計算/存儲訪問，并且推廣“即用即付”商業(yè)模式，亞馬遜開啟了云計算時代。
再加上摩爾定律的終結，重新推動了構建公用計算事業(yè)的設想。然而，商業(yè)趨勢卻將云計算推向了不同的方向。
在過去十幾年中，云計算市場內出現(xiàn)了多個競爭對手，包括AWS、微軟、谷歌、阿里以及其他云平臺(IBM、甲骨文等)。
這種競爭導致價格越來越低，產品和服務種類不斷增加，比如僅AWS一家就提供了近200種產品和服務。
這些服務中有許多是專有服務，每個云平臺都有自己獨特的用于管理集群的API、對象存儲、數(shù)據(jù)倉庫等，導致在某個云上開發(fā)的應用程序通常不能在不同的云上運行。
直到2021年，依然沒有一個底層云平臺擁有一套任何人都可以使用的開放標準，這離公用計算的愿景越來越遠。
因此，現(xiàn)在主要的問題是，如何朝著云計算公共設施化這一目標前進?
“云計算公共設施化”愿景
20世紀60年代，人工智能之父約翰·麥卡錫提出了把計算能力作為一種像電話一樣的公用事業(yè)提供給用戶的理念，云計算由此起源。
麥卡錫的預測頗有先見之明，云計算最終應運而生，作為一種新興的資源使用和交付模式逐漸為學界和產業(yè)界所認知。
然而，他在經(jīng)濟學方面的預測卻與現(xiàn)實相去甚遠。
如今，電話服務并沒有成為一種公用設施，而是由互相競爭的云計算服務商提供。
同樣，現(xiàn)在也沒有單一的公用計算設施，云計算也是差異化商品。
并且，云計算市場已經(jīng)離商品化越來越遠，甚至演變成一系列彼此基本不兼容的專有平臺，例如亞馬遜網(wǎng)絡服務(AWS)、微軟Azure、谷歌云等。
當時，AWS剛剛成立幾年，谷歌唯一的云產品是App Engine，微軟的Azure尚未正式發(fā)布。
盡管云計算確實在2010年從根本上改變了IT行業(yè)以及應用程序的構建和部署方式，但也存在一個明顯的問題，云計算并沒有像互聯(lián)網(wǎng)或網(wǎng)絡那樣成為一種公共設施。
直到2021年，全球都沒有一個單一的底層云平臺具有一套任何人都可以使用的開放標準。
因此，“云計算公共設施化”作為一種新的商業(yè)化版本，其創(chuàng)新性受到行業(yè)更多關注。
Sky Computing有望實現(xiàn)多云平臺的互操作
盡管云計算和互聯(lián)網(wǎng)在許多方面存在差異，但是互聯(lián)網(wǎng)的公共設施化為云計算提供了有用的經(jīng)驗。
在Sky Computing模式下，有三個關鍵的設計使互聯(lián)網(wǎng)能夠為大量異構技術和競爭公司提供統(tǒng)一的接口。
- 第一個是掩蓋技術差異的“兼容性”層。
- 第二種是“云間層”，它將互聯(lián)網(wǎng)粘合在一起，使其對用戶來說是一個網(wǎng)絡。
- 第三個是一組經(jīng)濟協(xié)議，稱之為“對等層”，允許相互競爭的網(wǎng)絡合作創(chuàng)建一個統(tǒng)一的網(wǎng)絡。
兼容層將使應用程序開發(fā)人員能夠輕松地選擇他們的應用程序，并將其AWS遷移到Google Cloud。
簡而言之，兼容層是一組可以構建應用程序的接口或 API，然后可以通過云平臺的一組接口將該兼容性層移植到每個云。
該層可以類比于互聯(lián)網(wǎng)中的IP層，然而與之不同的是，云兼容層更像一個操作系統(tǒng)，可以管理計算機資源并向應用程序提供API。
通過云間層，用戶可以指定有關其作業(yè)應在何處運行的策略。 這些策略允許用戶表達他們對性能、可用性和成本之間權衡的偏好。
此外，用戶可能希望避免他們的應用程序在競爭對手運營的數(shù)據(jù)中心上運行，或者留在某些國家/地區(qū)以遵守相關的隱私法規(guī)。并且云間層也可以實現(xiàn)更安全的應用。
對等層與數(shù)據(jù)傳輸相關，目前大多數(shù)云平臺都有定價政策，將數(shù)據(jù)傳入云中比將數(shù)據(jù)移出要便宜得多。
例如，將數(shù)據(jù)提取到AWS是免費的，而將數(shù)據(jù)從AWS傳輸出去可能需要0.05-0.09美元/GB。
在“互惠數(shù)據(jù)對等”方案下，云間可以通過建立高速連接互相免費傳遞數(shù)據(jù)，使數(shù)據(jù)傳輸又快又便宜，降低兩個同級云之間的數(shù)據(jù)定價差異，并實現(xiàn)更大的數(shù)據(jù)流動自由。
此外，用戶不必管理單個云上的部署，也不應該面臨從一個云遷移到另一個云的各種障礙。
簡而言之，開發(fā)人員構建多云應用程序應該像構建在單個云上運行的應用程序一樣容易，而Sky Computing正是在由多個不同云平臺組成的基礎設施上構建公用計算。
展望未來，會有更多創(chuàng)新將發(fā)生在云計算領域。盡管在未來幾年內，云服務商推出的新產品可能會繼續(xù)成為重磅新聞，但云技術的真正創(chuàng)新將是性能和成本優(yōu)化。
大多數(shù)組織已經(jīng)在使用云，他們正在尋找更高效、更便宜地使用云的方法，而時髦的新服務相對來說或許就不那么重要了。
