開源對于計算產業很重要,但到底有多重要,特別是基礎軟件開源,很少有人能完全解釋清楚。
開源發展至今,無數的參與者為之貢獻,產生了無數的軟件和庫類,同時又有無數人在使用,其中受益的不僅僅是企業組織、開發者群體,更是這個世界上的每一個你我。
有關開源的討論實在太多,在剛剛結束的由CCF主辦的計算領域年度盛會,中國計算機大會(CNCC 2020)開源操作系統分論壇上,由教育部國產基礎軟件工程研究中心主任、麒麟操作系統常務副總師吳慶波和openEuler社區理事長江大勇聯手主持,來自國內頂尖高校和行業領軍企業的19位學術大咖和資深技術專家帶來了來自開源項目一線的干貨分享。
開源,一個沒有結局的故事
在本次論壇上,優麒麟操作系統負責人余杰博士、清華大學計算機系長聘副教授陳渝、統信軟件副總裁張磊、華為計算產品線鯤鵬openEuler操作系統首席SE管延杰分別做了主題演講。
內容包括從開源操作系統在產業實踐的經驗體會,到通用操作系統發展趨向的探討,再到開源操作系統推廣及高校人才培養的深入探索。專家們將開源操作系統的現狀、困境和趨勢以及openEuler如何構建最具活力的開源社區等話題進行了深入剖析。
開源操作系統現狀到底怎樣,行業中最具分量的Linux內核維護項目很能說明問題。
在今年7月的線上開源峰會與嵌入式Linux大會上,Linux締造者Linus Torvalds親口承認這個項目正在面臨著繼任者難尋的窘境。其中很大一個原因在于隨著Linux系統的不斷成長,系統內核維護這件事正變得越來越難。
雖然這件事情很難,但開發者將其視為提升自己技術和影響力、為技術圈做出一些貢獻的選擇;有企業和組織將其視為展示公司技術實力、對行業產生影響力的一種方式,因而目前仍有21000多人參與Linux內核開發,貢獻代碼,華為就是其中的一員。
最新發布的Linux Kernel 5.8版本中,華為成為內核代碼貢獻排名第二。
從公司貢獻角度來說,華為提交的補丁數量位列第二名,占比8.6%,代碼修改行位列第一,占比達27.8%。
事實上,華為為社區貢獻代碼已經足足10年時間了,目前華為在社區已經擁有20+Maintainer,在容器所使用的核心功能Cgroup,軟硬件解耦ACPI on ARM64,文件系F2FS/EROFS,RAS EDAC框架,Media子系統,IIO子系統,以及Perfon ARM64等子系統上,華為都為社區貢獻了代碼。
此次發布的Linux Kernel 5.8版本,華為貢獻的1399個補丁中,除了前文中提及的系統特性外,還有包括網絡、文件系統、perf調測、安全等關鍵子系統的200+的bugfix補丁,這些都是Linux能夠正常運行所需的基礎軟件系統,對于Linux是非常重要的。
華為持續釋放著自己在基礎軟件上的實力。去年年底宣布Linux內核開發的服務器操作系統EulerOS正式開源,在本次開源操作系統論壇上,華為計算產品線鯤鵬openEuler操作系統首席SE管延杰詳細講解了openEuler當前的能力建設與未來展望,分享了華為構建最具活力開源社區的經驗與方法。
很明顯,通過openEuler,華為又開啟了一段新的開源征程。
打造最具活力的開源社區,openEuler是如何做到的?
openEuler開源之前,華為在這個項目上的技術投入和積累已經超過10年,當時這套操作系統就能夠滿足企業全云化、多場景業務、智能化彈性部署等一系列ICT產業變革需求。
2019年華為全聯接大會上,華為首次宣布了計算產業“硬件開放、軟件開源”的核心戰略,openEuler成為軟件開源的第一站。同年12月,openEuler操作系統源代碼正式上線,宣布開源之路啟動。今年3月,openEuler開源社區發布openEuler 20.03 LTS版本,9月發布openEuler 20.09創新版。如今,openEuler開源社區已經取得了階段性成果。openEuler吸引到越來越多的全球開發者參與,社區整體朝向“共建、共享、共治”的目標穩健發展。
在分論壇的演講中,華為計算產品線鯤鵬openEuler操作系統首席SE管延杰詳細解讀了20.09版本的幾大特點,其中包括:
1、支持多處理架構
新版本增加了新的架構和芯片支持,除了之前的X86和ARM架構之外,還與中科院軟件所合作,發布了國內首個RISC-V Linux嘗鮮版,同時還增加對中科海光芯片的支持。對于開源開發者,20.09版本增加了對樹莓派的支持。
支持的架構和芯片越來越多,在一定程度上說明openEuler正在以更開放的心態和更低的開發門檻迎接開發者們加入項目。
2、性能更強
針對目前核與核之間,物理CPU與物理CPU之間,越來越不均衡的現狀,新版本為了更好的去釋放這些硬件的算力,對內核進行了協同反饋式的調度,通過內核共享資源并行優化等技術手段,進一步釋放多核之間的算力,實現性能提升20%。
新版本在為行業提供新的多核算力解決方案的同時,也進一步在外界展示在華為在開源操作系統領域的硬實力。
3、使用更易
在虛擬化方面,新版本通過StratoVirt+iSula組合構建了一個極致輕量化的安全容器全棧,甚至可以說是下一代的虛擬化技術。
通過RUST語言和VMware的接口,針對數據的遷移,包括鏡像的構建,提供了比較豐富應用的一個工具,通過這些構建,讓容器使用起來更加簡單。
這個方案既有虛擬機的隔離性,又有相關實時和輕量化,面對未來的Severless計算平臺,特別是函數計算這一方面,是一個非常完美的選擇。
4、效率更高
為了更好地對OS進行基于業務場景的調優,新版本的A-Tune工具針對于應用業務場景進行了系統畫像,把所支持的應用場景擴大到了10大類20多款應用,可以調節的對象參數達到200多個。
由于A-Tune是對運行在操作系統上的業務建立精準模型,動態感知業務特征并推理出具體應用,根據業務負載情況動態調節給出最佳的參數配置組合,從而使業務運行于最佳系統性能狀態下,大大提升了調優效率。
總的來說,除了增加新的架構和芯片支持之外,新版本的大多數升級都是圍繞提升易用性展開的,其目的也是為了降低了開發者參與到openEuler開源項目的門檻。
2020年9月30日,openEuler開源社區發布openEuler 20.09創新版。本次版本發布是openEuler社區中的多個公司、團隊、獨立開發者協同開發的成果,在openEuler社區的發展進程中具有里程碑式的意義,也是中國開源歷史上具有標志性的事件。比如此次新版本的更新中:中科院軟件所貢獻了RISC-V新指令集架構支持;麒麟軟件為社區共享了賞心悅目的桌面UKUI系統;云原生虛擬化平臺StratoVirt和iSula容器升級版,兩者的結合重構了輕量級云原生基礎架構;BiSheng JDK為Java應用帶來更強的性能;IMA完整性度量架構和secGear機密計算框架,給開發者在多平臺安全應用的開發效率帶來倍級提升。
從內核探索到行業場景,一個更加紛繁壯麗的未來
20.09版本是openEuler開源以來的一個高峰, 從管延杰在分論壇中的演講內容來看,openEuler未來還將經歷更多高峰。
根據openEuler的版本發布規劃,今后每2年會發布一個LTS版本,每年3月和9月份還會各發布一個創新版本。
對于下一個21.03版本的展望,管延杰表示,新版本將進行更多的內核探索。
比如,目前Memory最大的變化在于新介質,以SCM為代表的廉價,超大容量,較高性能的存儲介質給體系結構也帶來一些變化,21.03版本將對新介質的內存管理進行更加深入的探索。
再比如,Linux Kernel代碼快速增長,CVE數量也同步走高,而這些CVE只有不到20%的CVE能夠用熱補丁來進行修復,超過80%只能用冷補丁,冷補丁給大家帶來的問題就是整個系統需要復位、重啟,OS的修復需要很長一段時間,或將對用戶業務造成影響。
在這一背景下,21.03版本將推出內核熱替換技術,對內核熱的替換之后,系統能夠快速恢復,包括PCI的設備狀態,以及內存里的業務數據等,整個替換時間在百毫秒到2秒之間,用戶業務在“飛行途中換引擎”的同時,Bug修復效率也會有一個質的提升。
此外,openEuler 21.03版本還將有麒麟、DDE、Gnome三個桌面供使用者選擇,增加repo倉庫,讓ISV的發布、分發效率更高,用戶這更容易獲取。
新版本面向云、邊緣和端側將提供一整套完善方案,支持在云上實現極致性能、高效運維和安全可靠;在邊緣上提供輕量、敏捷、實時的系統;在端側,提供一整套的工具集,讓用戶可以自由地對OS進行定制。
降低進入門檻仍然是21.03版本的重要任務,除此之外,在用戶體驗和落地連接側,21.03版本則力圖變得更“好用”,這也讓我們對openEuler明年的這次更新產生了更多的期待。
在整個項目最難的生態建設和人才培養方面,華為表示將從學習扶持、構建扶持、上市扶持全面支持合作伙伴提升商業競爭力,同時聯合清華大學發布openEuler、openGauss專業技術書籍,普及操作系統和數據庫的基礎知識,并融入國內重點大學的相關課程中,從高校教育開始,賦能個人開發者。
未來復旦大學、同濟大學、華中科技大學等十所院校會第一批開設相關課程。此外,openEuler認證計劃也于10月正式啟動,首批HCIA認證開放30位openEuler認證。
openEuler一路走來,完成了從上線到開源,從社區建設到OSV合作體系建設等一系列工作,完成了從0到1的起步,正在進行著從1到10,到100,到1之后無數個0的生態生態建設,從上文提到的openEuler版本發行節奏以及社區建設規劃來看,openEuler的開源之路還將長期進行。
無論是開發者、合作伙伴們還是華為自己,他們都清楚這是一條充滿挑戰且不能回頭的荊棘之路,如今還算順利的開始,并不代表著以后也會一帆風順,他們追求的是自我成長的一種可能,也是多樣計算產業的一種可能。
在這個過程中,多樣計算時代未來模樣逐漸清晰的同時,openEuler的價值也將得到更大程度的釋放。