成人免费无码不卡毛片,亚洲AⅤ无码精品一区二区三区,国产尤物精品视频,久久精品日本亚洲,欧美成人一区三区无码乱码A片,中文字日产幕码一区二区色哟哟,亞洲日韓中文字幕網AV

  • 正文
  • 相關推薦
申請入駐 產業(yè)圖譜

有傲騰持久內存加持,加速 Mars 探索宇宙奧秘

2021/04/19
132
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

中微子是宇宙中數量最多的基本粒子之一,是構造宇宙中一切的基本元素。中微子又是最輕的物質粒子,迄今還未能測出它的確切質量,但至少比電子還要輕100萬倍。如果能探測到中微子,我們就找到回答人類最難解之謎——宇宙如何誕生的鑰匙。[1]

為了探索中微子的奧秘,科學家們建立了神岡中微子探測實驗項目 KamLAND,其中涉及到大量復雜的科學計算,比如有若干變量的線性或非線性方程組、復雜的微積分公式等等。想要找到答案,需要具備強大算力計算機,以及支持科學計算的編程語言和程序庫,Numpy 就是其中的核心庫之一,而且用在 KamLAND 項目中。[2]Numpy 主要的功能是支持海量多維數組——即張量與矩陣的運算。然而,隨著機器學習深度學習的研究不斷深入,應用持續(xù)落地,大家發(fā)現 Numpy 難以實現高效的并行計算。

為了解決 Numpy 的問題,阿里巴巴大數據計算平臺 MaxCompute 團隊研發(fā)了 Mars ——基于張量的統(tǒng)一分布式計算框架,同時使用英特爾® 傲騰™ 持久內存,加速了數據 I/O 過程,極大提升了分布式科學計算的運算效率。

突破傳統(tǒng)大數據計算引擎模式,并行化 Mars 更高效

Mars 的出現,是為了解決科學運算庫 Numpy 的下列主要問題:

1

Numpy 中大部分函數無法并行化,因此不能利用 CPU 的多核能力提高計算效率;

2

實現 Numpy 并行化,需要手工編寫多線程、分布式的代碼,不但難度大,而且效率低,尤其是遇到大規(guī)模數據集時,根本無法下手;

3

目前的主流分布式計算引擎的上層接口無法匹配科學計算任務,難以使用常見的 SQL 和 MapReduce 編寫,同時引擎本身沒有針對科學計算的優(yōu)化,計算效率低下。

作為基于張量的統(tǒng)一分布式計算框架,Mars 突破了現有大數據計算引擎以關系代數為主的計算模型,將分布式技術引入科學計算/數值計算領域,極大擴展了科學計算的計算規(guī)模和效率,目前已應用于阿里巴巴及其云上客戶的業(yè)務和生產場景。

Mars 的核心能力包括:

1

符合使用習慣的接口,易于上手;以往的 Numpy 代碼無需修改,就能直接移植到 Mars,獲得比原來大數萬倍規(guī)模,同時處理能力提高數十倍的能力;

2

支持 GPU 加速;

3

支持二維稀疏矩陣;

4

易于擴展:支持單機和集群之間的輕松遷移;

5

內存計算支持溢出控制,保證計算安全。

傲騰持久內存助力,Mars 超越磁盤 I/O 瓶頸

不過在實際運行過程中,Mars 卻受到傳統(tǒng)磁盤,I/O 速度的限制。因為 Mars 主要在內存中完成計算,數據也在內存中,如果內存不夠,暫時不用的數據就會放在磁盤中。而科學任務的大量中間過程會導致大量磁盤 I/O,從而拉低整個系統(tǒng)性能。如果添加更多內存,又會使得硬件成本激增。那么,如何才能既控制總體擁有成本 TCO,又可以提高 Mars 性能?

阿里與英特爾深度合作,將英特爾® 傲騰™ 持久內存安裝在 Mars 服務器上,英特爾® 傲騰™ 持久內存容量大,延遲低,可為 Mars 計算提供大容量共享內存,從而提升了科學計算的性能。

英特爾® 傲騰™ 持久內存顛覆了傳統(tǒng)內存技術,它基于 3DXpoint 介質,速度快,延遲低,容量大,可以持久化數據,既能充當 DRAM 內存,又可作為傳統(tǒng)存儲。與第二代英特爾® 至強® 可擴展處理器一起使用,英特爾® 傲騰™ 持久內存不但可以提供類似于 DRAM 內存的性能,而且能像 SSD 一樣持久存儲數據,同時容量比 DRAM 內存更大,價格也更便宜。

Mars 使用英特爾® 傲騰™ 持久內存完成科學計算,不再出現數據輸入的巨大開銷,降低了數據延遲,讓 Mars 運算效率大大提升。

經過測試發(fā)現,針對兩個矩陣相乘的科學計算,當數據集規(guī)模不斷變大時,使用 DRAM 的服務器會將數據存入 SSD,而使用英特爾® 傲騰™ 持久內存的方案就沒有這個問題,同時性能相對 DRAM 方案提升 11% 。

科學計算的未來,是星辰大海

無論是探測中微子這樣的高能物理,還是氣候研究、基因測序、金融工程、天文學模擬,所有這些都離不開科學計算。有了英特爾® 傲騰™ 持久內存加持的 Mars,將會在科學計算領域中大展身手,以更多、更新、更重要的科學發(fā)現,造福人類,讓我們有更強大的能力去探索宇宙的奧秘。

[1] 中微子,關乎宇宙起源之謎

http://www.cas.cn/kx/kpwz/202004/t20200421_4741952.shtml

[2] Suppression of Cosmic Muon Spallation Backgrounds inLiquid Scintillator Detectors Using ConvolutionalNeural Networks

https://arxiv.org/pdf/1812.02906.pdf

相關推薦

登錄即可解鎖
  • 海量技術文章
  • 設計資源下載
  • 產業(yè)鏈客戶資源
  • 寫文章/發(fā)需求
立即登錄
四子王旗| 龙州县| 鹿泉市| 宁安市| 岑溪市| 射阳县| 全南县| 句容市| 措勤县| 拜城县| 阜康市| 阳高县| 信宜市| 南部县| 若羌县| 榕江县| 桦南县| 中宁县| 和顺县| 射洪县| 阿拉善盟| 宁化县| 汉阴县| 达州市| 沂源县| 桦甸市| 平江县| 巴楚县| 加查县| 疏附县| 温宿县| 长治市| 新巴尔虎左旗| 安徽省| 武安市| 齐河县| 平江县| 额济纳旗| 威远县| 个旧市| 澄城县|