如今，我們已然深知數(shù)據(jù)在生活生產(chǎn)中扮演著重要角色，那他的本質(zhì)是什么，如何利用好數(shù)據(jù)為我們創(chuàng)造價值？認(rèn)識數(shù)據(jù)，了解多元時代數(shù)據(jù)的豐富多態(tài)和其解決之道至關(guān)重要。

    什么是數(shù)據(jù)

    我們注意到：在做數(shù)據(jù)分析的時候單用數(shù)字去描述是遠(yuǎn)遠(yuǎn)不夠的，比如過年爆發(fā)的疫.情現(xiàn)狀如何。我單記錄“24”、“0”是不夠的，我需要完整的記錄【2月23日“24”個省確診病例“0”新增】，如果配上圖文、視頻等信息可以更全.面了解疫.情現(xiàn)狀。

    我們這里講的數(shù)據(jù)其實(shí)是涵蓋數(shù)據(jù)及信息兩者的統(tǒng)稱。數(shù)據(jù)也好，信息也罷都是客觀存在的，把這些客觀存在的數(shù)據(jù)、信息介于人們接受數(shù)據(jù)的方式不同，用不同的技術(shù)手段來存儲、管理計(jì)算等等，從而衍生出多模態(tài)數(shù)據(jù)。

    對于多模態(tài)數(shù)據(jù)的計(jì)算處理，華為云有一套端到端的解決方案，名為智能數(shù)據(jù)湖。

    智能數(shù)據(jù)湖

    實(shí)際上大家可能知道，數(shù)據(jù)湖這個概念其實(shí)已經(jīng)出來有幾年了，傳統(tǒng)的數(shù)據(jù)湖更多指的是數(shù)據(jù)存儲和管理，把所有數(shù)據(jù)放在一起統(tǒng)一存儲。華為云智能數(shù)據(jù)湖從解決方案層面做了進(jìn)一步延伸，如材料圖中所示，智能數(shù)據(jù)湖分為三層：統(tǒng)一數(shù)據(jù)存儲層，多元計(jì)算層，數(shù)據(jù)運(yùn)營層。

    三大特點(diǎn):

    存算分離。

    大家如果搭建過大數(shù)據(jù)集群的話，可能會有比較深刻的體會，使用開源Hadoop系統(tǒng)做存算一體部署，基于服務(wù)器構(gòu)建集群往往會帶來存儲資源和計(jì)算資源利用不均的問題，如存儲上PB級數(shù)據(jù)，分析查詢可能只需要十幾個CPU；業(yè)務(wù)擴(kuò)容時，因?yàn)槭前凑辗?wù)器個數(shù)為單元擴(kuò)，實(shí)際上計(jì)算資源是綁定一起擴(kuò)容的，這種情況對于規(guī)模越大，數(shù)據(jù)量增長越快，業(yè)務(wù)種類越多的企業(yè)，會更加顯著；從我們之前支撐過的大型互聯(lián)網(wǎng)APP企業(yè)的經(jīng)驗(yàn)來看，計(jì)算資源會存在40%~50%的浪費(fèi)。

    而存算分離則很好的解決了這個問題，通過計(jì)算和存儲解耦，利用云架構(gòu)彈性的優(yōu)勢，存儲和計(jì)算單獨(dú)按需擴(kuò)縮容，從而使資源利用率達(dá)到大化。

    2.1、多元計(jì)算。

    全棧支持鯤鵬，從方案圖中可以看到，包括一站式大數(shù)據(jù)平臺MRS服務(wù)，批流計(jì)算+交互式分析的多模計(jì)算DLI服務(wù)，以及增強(qiáng)的企業(yè)級數(shù)據(jù)倉庫服務(wù)。

    DLI是一個serverless服務(wù)，它對于用戶來說就像一個黑盒，用戶不用關(guān)心服務(wù)內(nèi)部的資源，以及軟件怎么部署，只需要使用服務(wù)提供的對外接口直接進(jìn)行業(yè)務(wù)實(shí)現(xiàn)，無須運(yùn)維，使用起來非常方便。

    MRS是一個集群類型的服務(wù)，包含Hadoop，spark，hive等常見服務(wù)，可以理解為大數(shù)據(jù)全家桶；MRS服務(wù)的形態(tài)則和DLI剛好相反，用戶感知硬件資源，需要先選擇資源類型，然后部署集群。一般情況下客戶已有大數(shù)據(jù)平臺，做云上遷移；或者客戶有自己的大數(shù)據(jù)團(tuán)隊(duì)，需要登錄集群修改配置做調(diào)優(yōu)，可以選用MRS服務(wù)；

    數(shù)據(jù)倉庫DWS服務(wù)，這個服務(wù)的內(nèi)核基于華為自研的GaussDB，同時我們在云服務(wù)架構(gòu)上也做了優(yōu)化，包括分布式彈性能力，可靠性能力，性能也達(dá)到業(yè)界領(lǐng)先水平。

    2.2+AI的助力。

    第.一是數(shù)據(jù)與AI算法/模型協(xié)同，用來支持非結(jié)構(gòu)化處理；在技術(shù)上我們是在大數(shù)據(jù)系統(tǒng)中內(nèi)置了AI的輕量推理引擎，AI算法模型作為算子，在大數(shù)據(jù)處理過程中直接調(diào)度使用，如圖像識別模型作為一個UDF，在大數(shù)據(jù)處理過程中直接使用SQL調(diào)用。

    另一個方向則是用AI來做數(shù)據(jù)引擎的自調(diào)優(yōu)；通過收集業(yè)務(wù)運(yùn)行時的系統(tǒng)各方面過程數(shù)據(jù)，采用AI建模預(yù)測，推薦更優(yōu)配置，以及更優(yōu)的數(shù)據(jù)組織策略，這就像大數(shù)據(jù)系統(tǒng)內(nèi)置了一個小機(jī)器人，它不停的在對系統(tǒng)做維修優(yōu)化，從而讓引擎使用起來具備更優(yōu)越的性能

    3、完整的一套數(shù)據(jù)運(yùn)營工具平臺。

    這便是圖中上層的DAYU服務(wù)，他圍繞數(shù)據(jù)處理過程提供了端到端一站式數(shù)據(jù)運(yùn)營能力，包括從數(shù)據(jù)集成，規(guī)范設(shè)計(jì)，開發(fā)，質(zhì)量管理，到形成數(shù)據(jù)資產(chǎn)，以及對外開放服務(wù)；DAYU給數(shù)據(jù)管理和分析工作者帶來了便利，通過全流程界面化操作，極大的降低了數(shù)據(jù)管理和分析的門檻，同時也提供API方式供伙伴集成，構(gòu)建自己的數(shù)據(jù)系統(tǒng)。