在互聯網行業中,架構圖作為一種重要的工具,用於可視化展示軟體、系統、應用程式等的體系結構及其組成部分之間的關係。常用的架構圖種類有:業務架構圖、應用架構圖、系統架構圖、技術架構圖、部署架構圖、數據架構圖、產品架構圖、功能架構圖、信息架構圖等。
數據架構圖是從數據側描述數據怎麼來、怎麼存、怎麼加工、怎麼使用,重點關注系統中數據的存儲方案,包括數據模型、數據存儲格式、數據傳遞、數據複製、數據同步等策略。它會根據各個系統應用場景、不同時間段的應用場景 ,對數據進行諸如數據異構、讀寫分離、緩存使用、分佈式數據策略等劃分。
數據架構圖為數據庫管理員和開發人員提供數據管理和數據處理的指導,幫助他們理解系統的數據結構和數據流動方式,從而優化數據管理流程,提高系統效率,並支持數據驅動的決策過程。
繪製數據架構圖需要注意的核心內容有4點:
1)從數據源開始,數據通過哪些方式集成大到數倉;
2)數據集成到數倉之後,存儲在哪裡,數倉怎麼分層,每一層的任務是什麼;
3)數據在數據集市中又怎麼存儲、怎麼管理;
4)數據到數據應用層又提供給哪些應用。
支援多人線上同屏創作,可設置分享連結,即時傳遞資訊
只需輸入一句話,自動生成所需圖形,並自動美化圖形風格
內建多種主題風格,也可自由設計喜愛的樣式
支援插入圖示、圖片、標籤、備註LaTex公式、程式碼塊、連結、附件等多種形式元件
支援匯出PNG、VISIO、PDF、SVG等格式,支援匯入VISIO、Mermaid格式
檔案即時儲存,多端裝置雲同步,歷史版本可追溯,資料安全有保障
在互聯網行業中,架構圖作為一種重要的工具,用於可視化展示軟體、系統、應用程式等的體系結構及其組成部分之間的關係。常用的架構圖種類有:業務架構圖、應用架構圖、系統架構圖、技術架構圖、部署架構圖、數據架構圖、產品架構圖、功能架構圖、信息架構圖等。
數據源:這是數據進入系統的起點,可以是各種內部系統(如ERP、CRM)或外部系統(如第三方API、社交媒體)。
數據存儲:存儲系統負責持久化數據,包括數據庫(如關係型數據庫、NoSQL數據庫)、數據倉庫、數據湖等。
數據處理:處理模塊負責對原始數據進行清洗、轉換、聚合等操作,以便後續的分析和使用。
數據分析:分析模塊提供各種分析工具和方法,以從數據中提取有價值的信息。
數據服務:將處理和分析後的數據以API或其他形式對外提供服務,供其他系統或用戶使用。
數據聲明:架構工作聲明是架構開發方法中的關鍵文檔之一,描述架構開發的範圍、方法、資源和計畫,它定義了架構項目的基本框架和預期成果,數據聲明是其中的一部分。
數據原則:用於指導企業架構設計和實施的一組基本準則和指導方針,確保架構的一致性、靈活性和可擴展性,使架構決策在不同的項目和團隊中保持一致。
數據模型:定義數據元素、它們的屬性以及數據元素之間的關係。輸出物包括概念模型、邏輯模型、物理模型、數據目錄等。
數據流動:數據流動的主要輸出物包括數據流轉、數業映射等,描述數據在系統內和系統間的流動和傳輸方式。
數據管理:數據管理是指對企業內所有數據資產的管理和控制,旨在確保數據的高質量、完整性、安全性、可用性和可訪問性,以支持業務決策和運營。
數據治理:數據治理涉及制定數據策略、建立數據管理組織結構和流程,以確保數據的一致性、完整性和使用合規性。
明確數據流向,描述數據從源頭採集、處理、分發到消費的過程
梳理數據結構,展示關鍵數據域、表結構、數據模型
統一數據標準,輔助數據分類分級、命名規範、元數據治理
支持平台建設,為構建數據中台、數據湖、數據倉庫提供依據
支撐合規治理,滿足數據安全、合規、主數據管理等需求
數據架構主要解決三個問題:
第一,系統需要什麼樣的數據;
第二,如何存儲這些數據;
第三,如何進行數據架構設計。
上接業務架構,分析數據需求,識別數據類型,採集數據
數據模型設計,概念模型、邏輯模型、物理模型
數據治理,數據安全合規,數據質量管理
數據共享開放,支撐業務決策,業務創新
數據架構圖和信息架構圖是兩個不同的概念,但它們在系統設計中密切相關,相互影響相互協作,都是為了提供更好的用戶體驗和系統性能。
數據架構圖關注的是數據的存儲、流動和關係,而信息架構圖則關注用戶如何訪問和理解信息。簡單來說,數據架構圖是關於“數據”的,而信息架構圖是關於“信息呈現給用戶”的。
數據架構是面向技術的,可以在信息架構的基礎上進行梳理,主要用於企業數據管理、網絡安全和隱私保護、大數據分析三大場景。
數據架構圖主要關注數據的結構和關係,用於展示數據元素之間的互動和依賴關係;
而數據流程圖主要關注數據的流動和操作,用於展示數據在系統中的流程和傳遞。
對於中小企業來說,數據架構圖同樣有很大價值。它可以幫助企業更好地理解和管理數據,提高內部信息流轉和決策效率,從而為企業的發展和競爭力提供有力支持。
數據架構圖最主要是應用在信息技術行業,但它同樣可以應用在任何有數據處理和管理需求的領域,如金融、醫療、教育等。對於任何涉及數據的組織或領域,數據架構圖都可以起到規劃、管理和決策支持的作用。
為了保證數據架構圖的可靠性和持續更新,需要建立良好的數據管理和維護機制。確保數據架構圖與實際情況保持一致,並及時響應變化和更新。此外,定期審查和驗證數據架構圖的準確性,對於重要的變更和調整,需要進行相應的文檔更新和溝通。
是的。建議標明數據來源(如 CRM、ERP、Web日誌)及其類型(結構化、半結構化、非結構化),有助於理解數據處理策略與質量問題。
通常採用 ODS → DWD → DWS → ADS 的數倉分層結構,清晰反映了數據加工過程。
ODS:原始數據層
DWD:明細數據層
DWS:匯總數據層
ADS:應用數據層
可以用“數據集成層”連接不同系統,並明確數據共享方式(如接口同步、數據總線、數據湖匯聚),並且儘量標註接口類型(API、FTP、Binlog等)和同步方式(實時、T+1等)。