最新全球頂級戰略技術趨勢：Data Fabric；數據經緯到底是啥？
前不久Gartner 公布的頂級戰略技術趨勢中，數據經緯（Data Fabric）榜上有名。Gartner預測至2024年，Data Fabric可幫助企業減少50%數據管理人力成本，數據管理工作量可減少70%。
2022年頂級戰略技術趨勢“Data Fabric”榜上有名
本文将帶大家了解數據經緯的基本概念、發展背景、架構定位和價值能力。
01
什麼是Data Fabric？
我們先來梳理一下Data Fabric的來龍去脈，
- 其實早在2000年，Forrester就提出了Data Fabric的概念；
- 2019年Data Fabric開始入選 Gartner各年度技術趨勢；
- 2021年，在Gartner發布的《2021年十大數據和分析技術趨勢》中，Data Fabric作為數據基礎能力被再次強調。
2021年十大數據和分析技術趨勢
Data Fabric到如今也經曆了二十幾年的發展，究竟什麼是Data Fabric呢？
其實質上是一種數據管理架構思想，其主要目标是打破企業内部的數據孤島、最大化釋放數據價值。
目标就是實現跨異構數據源的數據集成和共享，通過對現有的、可發現和可推斷的元數據資産進行持續分析，來支持數據系統跨平台的設計、部署和使用，從而實現靈活的數據交付。
Gartner認為數據經緯的真正價值在于它能夠通過内置的分析技術動态改進數據的使用，同時通過将自動化能力添加到整體數據管理中，使數據管理工作量減少并加快價值實現速度。
02
Data Fabric出現的背景？
一種新技術及新産品的出現，必定有其曆史背景。數字化時代，快速發展叠代的大數據技術和産品更是如此。
- 數據孤島：
随着全球企業數字化轉型的前進，各種數據技術和數據産品 (如數據倉庫、數據湖、NoSQL 數據庫、OLAP 數據庫、實時數據源等) 确實幫助企業完成了更為精細化的運營。
但也使得數據在物理上支離破碎，尤其是采用混合雲&多雲架構後更是加劇了這一問題。
據Gartner統計：隻有不到一半的結構化數據能應用于業務，99%的非結構化數據都沒能被分析或使用，多達 82% 的企業受到數據孤島的阻礙。
- 嚴重的數據質量問題：
不同部門數據輸入規範不同，造成數據沖突或矛盾。以傳統企業為例，就會影響統一采購導緻成本上升。
數據質量差的影響
另外：由于對業務理解的不到位或技術實踐水平不到位，數據庫表結構、數據庫約束條件、數據校驗規則的設計不合理，造成數據存儲混亂、重複、不完整、不準确。
據統計：企業中 55%的數據無法用于決策，47% 新創建的數據記錄至少有一個嚴重錯誤。
- 低效的數據交付和重複的數據開發：
海量的企業數據、爆炸的業務需求、複雜的數據工程，讓數據的使用變得困難，數字化轉型的結果反而成為累贅——不用的數據就是成本。
數據分析師在知乎吐槽被當作取數機
數據分析師 80%的時間用于發現和準備數據；數據開發工程師60%的時間用于考慮如何建立數據接口；業務人員将大量時間浪費在尋找數據和确認不信任的數據來源上；數據科學家花50%的時間清理和組織數據。
- 安全合規問題日益嚴重：
随着世界愈發重視數據安全，企業面臨GDPR、CCPA 等各種數據安全和隐私保護法律出台以及内部的數據洩露隐患。
企業必須在合規和治理方面表現出更高的标準，此外還要兼顧業務越來越複雜、實時性穩定性要求高且大量的數據應用需求。
03
Data Fabric的價值
下面具體介紹Data Fabric如何解決上面列舉的問題：
- 融合多種數據來源（如數據&元數據、司内&司外、業務内&業務外、雲端&本地等），建設可擴展的、知識圖譜驅動的數據模型，使得每個數據資産的所有上下文都可以以可理解的形式進行使用和呈現，幫助決策者和算法做出更優的決策，同時降低數據被濫用或者誤解的可能性和風險。
- 通過數據聯邦、基于AI的主動元數據、知識圖譜以及語義豐富等數據技術，進行數據的連接、跨數據源的訪問和數據交付，從而減少數據孤島。
- 尤其是數據虛拟化技術在計算層而非存儲層進行數據連接，“在數據處理引擎和數據消費者之間架起了橋梁”，這種數據的連接方式還避免了不斷産生新的數據孤島。
- 通過AI能力提升自動化水平（如根據監管文檔中的語言和定義自動提取數據治理規則、發現和治理個人身份信息PII和關鍵數據元素），使得業務可以在幾分鐘内發現并應用數據治理規則，避免産生不良社會影響或高昂的罰款，确保所有的數據都能以合規的方式進行存儲和使用，而這在當前社會背景下尤為重要。
04
Data Fabric和DaaS Platform
大家估計也發現了：Data Fabric解決的問題和之前的數據中台以及現在的DaaS平台（數據中台2.0）解決的問題幾乎一樣，都是為了高效實現數據服務化，隻不過更進一步。
而Data Fabric涉及的技術短期難以落地，數據即服務（Data as a Service）平台已經有成熟的産品面世。
- 集成全域數據——解決數據孤島
麥聰DaaS平台可以支持所有主流大數據平台、數據庫，集成全域數據，支持從多種雲、碎片化的數據庫提供統一的數據服務。
唯一企業級支持Oracle數據庫，CDH/HDP Hadoop數據湖，華為MRS
- 低代碼開發數據API、數據超市——高效數據消費。
開發人員可以低代碼創建數據API，已經創建好的API能夠升級叠代、下線删除。使得開發人員工作效率大大增加，能夠立即響應企業地數據應用需求。
而且業務人員可以在數據超市直接申請使用創建好的數據API調用數據，避免了重複開發問題。
不用重複造輪子，數據利用更高效
- 安全合規——全局權限管理和控制
傳統數據使用時需要在原系統數據庫給相關用戶創建賬号或賦予權限，操作複雜且有隐患。
麥聰有完整的審批流程和細化到表級别的全局權限管控，可以屏蔽底層數據庫變更影響，更加方便安全。
數據使用安全合規，讓企業數據風險降低
大家是更看好DaaS還是Data Fabric呢？歡迎在評論區留言讨論。
麥聰軟件，全球領先的DaaS廠商，輕量級數據中台領導者。世界500強集團中已有30多家選用，兩年内幫助近400家企業數字化轉型更進一步。核心産品麥聰DaaS平台包含統一數據管理和統一數據服務兩大模塊，具備數據集成、數據開發、數據質量、數據服務相關功能，歡迎大家帶着企業數字化問題與我們一起讨論。
最新文章
-
各地狗肉制法
7分鐘前 -
最完整裝修篇，開工到入住整個過程講解及注意事項，要裝修的收了
21分鐘前 -
40歲必須悟透的20條人性道理
42分鐘前 -
WindowsWindows電腦如何給hosts添加解析
54分鐘前 -
教你把文字做成視頻，視頻剪輯，短視頻制作
1小時前 -
真正厲害的人，早把人生調成了“靜音模式”
1小時前 -
永吃不膩的幾道家常菜，好吃還不貴，大廚把秘方分享給大家
2小時前 -
為人處世的30條鐵律，沒人會教你
2小時前
熱門文章
-
威士忌高階關于 OB 與 IB，一次給你說透！
2天前 -
老張老李侃門球之140篇
4天前 -
美麗中國-2870：中國最大的内陸河，塔裡木河
4天前 -
這個穴位可以治療多種胃痛腹痛，還可以減肥
1周前 -
診餘雜記（師傳經驗）
6天前 -
門球技巧 隻需五個字讓你打好門球
4天前 -
二十四山開門放水作竈真訣開門放水作竈直訣——子山
4天前 -
龍樹造青目釋《中論》白話（二）
5天前
有話要說...