首页
/
每日頭條
/
科技
/
數據中台架構怎麼做
數據中台架構怎麼做
更新时间:2025-04-01 02:42:04

關于數據中台,目前業界并沒有一個标準的定義,不同廠商、不同企業對數據中台都有着不同的理解。但對于數據中台大家也有一個共識就是它是用來解決企業數據各類數據問題,使得企業數據資源轉化為數據資産的解決方案。

1. 數據中台定義

2. 數據中台價值

3. 數據中台VS業務中台

4. 數據中台功能架構

5. 數據中台技術架構

6. 數據中台構建的三大路徑

7. 數據中台構建5步法

—01—

數據中台定義

數據中台是一種将企業沉睡的數據變成數據資産,持續使用數據、産生智能、為業務服務,從而實現數據價值變現的系統和機制。

通過數據中台提供的方法和運行機制,形成彙聚整合、提純加工、建模處理、算法學習,并以共享服務的方式将數據提供給業務使用,從而與業務聯動。再者,結合業務中台的數據生産能力,最終構建數據生産—消費—再生的閉環

—02—

數據中台價值

數據中台不等于大數據平台,數據中台的核心工作也并不是将企業的數據全部收集起來做彙總就夠了。

數據中台的使命是利用大數據技術、通過全局規劃來治理好企業的數據資産,讓數據使用者能随時随地獲取到可靠的數據。因此,數據中台一旦建成并得以持續運營,其價值将随着時間的推移将呈指數級增長。

數據中台架構怎麼做(數據中台定義價值)1

2.1 幫助企業建立數據标準

在有數據中台之前,企業基本不會有全局的數據标準,即使有相關的數據标準,由于沒有數據中台這個實體形态,數據标準也無從執行。

數據中台的建設天然會幫助企業建設數據标準,包括數據建設規範和數據消費規範。數據建設規範有諸如數據接入規範、數據建模規範、數據存儲規範和數據安全規範等,數據消費規範包含數據權限規範、數據調用規範以及數據銷毀規範等。

這些标準都是建設數據中台時必須建立起來并依托數據中台去執行和落地的。

2.2 促進中台組織形成

再宏偉的企業戰略規劃,都離不開一套科學合理的組織去落地執行。

數據中台建設将是企業宏觀戰略規劃的一個重要部分,那麼在踐行數據中台建設的過程中,擺在企業第一位的問題就是如何搭建起一套能穩定護航數據中台建設及運營的數據中台班子。

數據中台這種體系化工程将橫向拉通企業數據相關方,包括中台建設團隊、中台運維團隊、數據産品經理團隊、數據資産管理團隊、數據運營團隊等,組成标準的企業數據委員會,從而形成企業真正的中台組織。

需要說明的是,中台組織可以是一個橫跨各個業務部門的弱矩陣組織,也可以是一個完整的實體組織。這需要因地制宜,因企業不同而異。

2.3 全面賦能業務,促使降本增效

數據中台的終極價值是降本增效,無論是建設數據标準還是形成中台組織,其核心目标都是幫助企業達成戰略規劃。

通過數據中台,可以更加合理地布局團隊;數據從加工生産到使用的整個時間周期将大大縮短;以中台之力拉通整合企業營銷、交易、服務、庫存、物流等一方數據,結合二方及三方數據,以全局視角,形成強大的數據資産,滋養各業務闆塊。

同時有目的性地針對場景,設計出賦能場景的數據應用,幫助其從研、産、銷等多個方面縮短産品研發周期,生産未來一段時間暢銷的産品,精準找到願意購買公司産品的群體,以至于增強用戶對企業産品及服務的友好體驗,提高用戶對于企業品牌的忠誠度,降低企業運營過程中的損耗,壓縮供應鍊端的周期等。

—03—

數據中台VS業務中台

無論是業務中台還是數據中台,都是在企業IT系統架構演進過程中形成的,并從企業自身IT系統規劃、建設、運營、運維等多年的經驗中提煉出來的共性能力。

業務中台和數據中台作為兩個輪子并肩構建了數字中台,支撐前台對會員的從營銷推廣、轉化交易到智能服務業務的閉環,促進企業業務的提升和發展。數字中台對内連接企業的後台系統,諸如ERP、人力資源、協同辦公、财務管理等。

數據中台架構怎麼做(數據中台定義價值)2

業務中台與數據中台雙輪驅動的數字中台支撐前台業務。

業務中台抽象、包裝和整合後台資源,轉化為便于前台使用的可重用共享的核心能力,實現了後端業務資源到前台易用能力的轉化,為前台應用提供了強大的“炮火支援”能力,随叫随到。

業務中台的共享服務中心提供了統一、标準的數據,減少了系統間的交互和團隊間的協作成本。

數據中台接入業務中台、後台和其它第三方數據,完成海量數據的存儲、清洗、計算、彙總等,構成企業的核心數據能力,為前台基于數據的定制化創新和業務中台基于數據反饋的持續演進提供了強大支撐。

可以認為數據中台為前台戰場提供了強大的“雷達監測”能力,實時掌控戰場情況,料敵先機。

不過數據中台所提供的數據處理能力和之上建設的數據分析産品,也不局限于服務業務中台。數據中台的能力可以開放給所有業務方使用。

業務中台與數據中台相輔相成,互相支撐。

對于業務方來說,自己産生數據,并同時消費自己的數據,在消費自己的數據時又在繼續産生數據,從而形成數據閉環。

數據中台并不是截然獨立的,它與業務中台一起組成了支撐業務的兩個輪子。

—04—

數據中台功能架構

數據中台建設是一個宏大的工程,涉及整體規劃、組織搭建、中台落地與運營等方方面面的工作,本節重點從物理形态上講述企業的數據中台應該如何搭建。一般來講,企業的數據中台在物理形态上分為三個大層:工具平台層、數據資産層和數據應用層。

4.1 工具平台層

工具平台層是數據中台的載體,包含大數據處理的基礎能力技術,如集數據采集、數據存儲、數據計算、數據安全等于一體的大數據平台;還包含建設數據中台的一系列工具,如離線或實時數據研發 工具、數據聯通工具、标簽計算工具、算法平台工具、數據服務工具及自助分析工具。

以上工具集基本覆蓋了數據中台的數據加工過程。

4.2 數據資産層

數據資産層是數據中台的核心層,總體來講,可以劃分為主題域模型區、标簽模型區和算法模型區。

數據中台架構怎麼做(數據中台定義價值)3

①主題域模型

主題域模型是指面向業務分析,将業務過程或維度進行抽象的集合。業務過程可以概括為一個個不可拆分的行為事件,如訂單、合同、營銷等。

為了保障整個體系的生命力,主題域即數據域需要抽象提煉,并且長期維護和更新,但是不輕易變動。在劃分數據域時,既要涵蓋當前所有業務的需求,又要保證新業務能夠無影響地被包含進已有的數據域中或者很容易擴展新的數據域.

②标簽模型

标簽模型的設計與主題域模型方法大同小異,同樣需要結合業務過程進行設計,需要充分理解業務過程。

标簽一般會涉及企業經營過程中的實體對象,如會員、商品、門店、經銷商等。這些主體一般來說都穿插在各個業務流程中,比如會員一般都穿插在關注、注冊、浏覽、下單、評價、服務等環節。那麼在設計标簽的時候就需要充分理解這些業務流程,在流程中發現标簽的應用點,結合這些應用點來搭建企業的标簽體系。标簽模型按計算模式一般分為客觀标簽和主觀标簽。

設計标簽模型時非常關鍵的要素是标簽模型一定要具有可擴展性。畢竟标簽這種數據資産是需要持續運營的,也是有生命周期的,在運營的過程中随時可能增加新的标簽。

③算法模型

算法模型更加貼近業務場景。在設計算法模型的時候要反複推演算法模型使用的場景,包括模型的冷啟動等問題。整個模型搭建過程包含定場景、數據源準備、特征工程、模型設計、模型訓練、正式上線、參數調整7個環節。

以新零售企業為例,常用的機器學習算法有決策樹、神經網絡、關聯規則、聚類、貝葉斯、支持向量機等。這些算法已經非常成熟,可以用來實現商品個性化推薦、銷量預測、流失預測、商品組貨優化等新零售場景的算法模型。

4.3 數據應用層

數據應用層嚴格來說不屬于數據中台的範疇,但數據中台的使命就是為業務賦能,幾乎所有企業在建設數據中台的同時都已規劃好數據應用。數據應用可按數據使用場景來劃分為以下多個使用領域:分析與決策應用、标簽應用、智能應用。

—05—

數據中台技術架構

随着大數據與人工智能技術的不斷叠代以及商業大數據工具産品的推出,數據中台的架構設計大可不必從零開始,可以采購一站式的 研發平台産品,或者基于一些開源産品進行組裝。

以開源技術為例,數據中台的技術架構如圖所示,總體來看一般包含以下幾種功能:

數據中台架構怎麼做(數據中台定義價值)4

—06—

數據中台構建的三大路徑

雲徙在服務近200家行業頭部客戶的實踐經驗中,通過企業數字化戰略決心、數字化現狀、組織架構匹配度、業務緊急度等4個維度綜合分析,分析出企業建設數據中台總體而言有三大路徑:

如果一個企業,數字化戰略路徑非常清晰,但其業務模式需要多樣化擴展,數據賦能業務痛點的比較明顯,且對應的中台組織架構已經形成,則建議企業采用雙中台一體化,即同時建設業務中台和數據中台。

如果一個企業數據賦能業務的痛點非常明顯,即緊迫度很高,業務在線能力比較完善,但其組織架構相對薄弱,數字化現狀以及中台戰略不是特别清晰,則推薦先行建設領域數據中台。因為領域數據中台的突出特點是快。

而全域數據中台則适用于數字化戰略清晰,但業務部門還是在用傳統的BI分析來解決問題,數據資産混亂且需要治理的企業。

6.1 建設路徑一:雙中台一體化

雙中台一體化是指同時建設業務中台與數據中台。

數據中台架構怎麼做(數據中台定義價值)5

通過低代碼開發平台提供的大數據開發、可視化算法開發、标簽引擎等支撐業務開發與數據開發。使用開發平台,建設模型層,包括洞察模型和智能模型,并将這些模型組裝成智能應用,諸如會員健康診斷、黃金購買、流失挽回、庫存健康診斷、智能補貨、銷量預測等。如此就可以在做營銷自動化時将精準營銷的數據能力嵌入進去,從而真正把業務與數據融合在一起。

雙中台一體化建設的特點是體系化,業務與數據是閉環的,但周期較長。

6.2 建設路徑二:領域數據中台

領域數據中台的特點是有明确的領域業務導向。在此以營銷領域為例,展示了消費者數據平台即CDP的功能藍圖。

數據中台架構怎麼做(數據中台定義價值)6

左邊是數據源,隻需收集與消費者相關數據,而供應鍊、财務等數據源都無需納入建設範圍,大大縮減數據治理的壓力。

數據處理過程則采用輕量和敏捷的方式,盡量簡化模型的建設、簡化模型的分層,簡化處理過程的校驗等。

而上層的應用,則貼近消費者運營業務的數據賦能,便于運營人員使用,通過API或推送的方式,與營銷、客服、廣告投放等與消費者相關的系統進行連接。

以上就是領域數據中台,以聚焦貼近業務、敏捷、短周期為特點。

6.3 建設路徑三:全域數據中台

集約化的建設模式,這也是數據中台一開始面世被大家所熟知和采用的建設路徑。

數據中台架構怎麼做(數據中台定義價值)7

企業全域數據中台的特點,就是數據全面資産化、進行體系化的布局。

體系化,既需要有一整套機制來護航數據中台的運營,比如保障已制定的規範的執行落地,又需要體系化的工具,還需要體系化的思考,比如考慮多業務之間的交叉賦能共享等。因此其周期就較長。

正由于周期較長,所以很難一步到位。因此,企業可以設計分階段實施,比如第一階段打基礎,第二階段建模型、第三階段賦能業務。這就需要在企業内部首先達成共識,才能保證系統建設的穩步推進。急功近利是建設不好企業全域的數據中台的。

總結之,以上三種路徑,雖然各行其道,但無論是雙中台一體化、領域數據中台還是全域數據的治理化,都隻不過是建設的範圍、先後的步驟不太一樣,但最終都需要與業務結合,為業務賦能,發揮數據的價值,是為推進企業的數字化轉型服務的。

—07—

數據中台構建5步法

系統都是為應用而生的,數據中台也不例外。要構建一套數據中台服務于企業内部和外部運營,需要有成熟的數據中台建設方法論作為指導。企業建設數據中台遵循的方法論就像菜譜,初學者根據菜譜按部就班就可以輕松完成一道道菜肴,高階玩家根據菜譜可以查漏補缺,使廚藝精進。

數據中台建設方法論可分為高階規劃、系統設計、開發實施、試運行和持續運營5個階段。

數據中台架構怎麼做(數據中台定義價值)8

7.1 高階規劃

數據中台規劃階段可細分為業務架構師主導的業務規劃和數據架構師主導的數據規劃。

這兩部分内容是相輔相成的,由業務規劃進行業務輸入,由技術規劃對數據現狀進行探查,判斷業務規劃藍圖的可行性,最終形成可行的藍圖規劃與應用設計。

7.2 系統設計

①總體設計

第一階段的規劃工作完成後,進入總體的架構設計階段。

數據中台架構怎麼做(數據中台定義價值)9

② 數據設計

數據設計包括數據集成、模型設計和服務詳設。

數據中台架構怎麼做(數據中台定義價值)10

③平台設計

平台設計指的是大數據運行平台在資源規劃、技術選型、部署方案等方面的設計,是根據總體架構中的平台架構展開的。平台能力具有通用性、擴展性和前瞻性是數據中台成功建設的基礎。

平台設計階段将以客戶現有數據體量及可預測的業務增長情況作為考量因素,對平台建設所需的資源進行預估和規劃,産出平台及數據應用部署所需的資源清單、部署方案及相關人員在平台上的賬号和權限的設計等。

7.3 開發實施

開發實施階段可分為環境搭建、數據集成、代碼研發三個層面。

①環境搭建

平台層面的環境搭建,包括大數據集群、數據研發平台、智能數據應用産品等相關工具的部署。

平台的搭建按設計階段輸出的資源規劃和平台部署方案實施即可。在平台環境、工具組件部署後,需要對平台環境進行測試,同時在産品工具層面,需要對企業進行相關産品的使用培訓,并通過企業的驗收。

②數據集成

數據集成方案從宏觀上設計和規範了數據源級别的數據集成流程和同步策略。在當前階段,需要對各數據源制定表級别的集成策略,形成數據同步清單,包括上雲數據存量、日增量、分區字段、數據更新頻率、存儲周期、上雲時間等相關信息,供具體實施時使用。數據集成工作實施後,還需要逐一對數據源表進行數據監控及驗證,以确保集成的數據無問題。

③代碼研發

代碼研發階段包括數據研發與驗證、應用研發與測試、性能測試三部分。

數據研發與驗證主要包括數據模型的業務代碼開發、數據監控代碼開發、數據準确性驗證。

從模型數據開發、數據監控開發到數據驗證,再到模型上線,需要一整套開發流程來保障數據的産出。應用研發與測試主要包括數據應用層面的開發和測試工作,如數據服務、數據應用前端開發。性能測試包括數據産出時間、數據接口服務性能、數據應用訪問性能等方面的測試。

7.4 試運行

數據中台上線之後,分析專題的指标口徑、數據應用效果等多方面的數據準确性都需要通過真實的運行數據去驗證。

①中台試運行

為保障生産環境數據的準确性,需要先在測試環境基于企業全量的數據進行一段時間的試運行。主要包含:數據遷移、數據跑批、數據驗證、應用驗證幾個步驟。

②曆史數據重跑和測試

在試運行過程中,數據中台的指标或标簽可能會因為業務側的口徑變更而進行曆史數據的重刷動作。在這種情況下,要保證數據準确且可逆,有幾點注意事項:影響評估、數據備份、口徑調整、數據驗證。

7.5 持續運營

數據中台不是一錘子買賣,是需要持續經營的。在作為數據中台的建設者,不僅需要定期與數據使用者主動溝通,了解數據使用情況,了解這些數據到底帶來了什麼價值,還要通過系統查看指标、标簽、專題、應用API這些資産的被調用情況,以此來判斷是否需要優化等。

①正式上線

割接方案。如果數據中台存在替換現有其他系統的情況,就需要制定詳細的割接方案,以保障數據中台能夠覆蓋舊系統的數據能力。

上線預演。在正式上線前,需進行割接或上線的演練操作,盡可能多地暴露數據、環境、資源等各方面的問題,并逐步進行優化和調整。

② 運營保障

産品側:收集直接使用方的産品體驗狀況,根據反饋内容進行優化,提高産品的易用性,增強使用方對産品的黏性。

應用側:分析應用對象的重點關注模塊,并階段性地形成分析報告。中台建設者可根據報告内容,對接應用相關人員,持續挖掘新的需求内容,持續耕耘以創造更大的價值。

數據側:通過數據鍊路跟蹤的結果,總結階段性重點關注的數據内容。結合自上而下和自下而上兩種途徑,分析整個系統數據層面的缺口,并制定彙聚、擴建的計劃,提高中台數據支撐的力度。

,
Comments
Welcome to tft每日頭條 comments! Please keep conversations courteous and on-topic. To fosterproductive and respectful conversations, you may see comments from our Community Managers.
Sign up to post
Sort by
Show More Comments
Copyright 2023-2025 - www.tftnews.com All Rights Reserved