有贊數據治理之提質降本

有贊數據治理的精髓就是九個字：大質量、全成本、重運營，其中涉及的質量分、成本賬單都有可借鑒之處！

導讀：有贊是通過SaaS起家的，經過多年的數據沉淀，有大量數據，可以說是一家大數據公司，但是有贊的最終目標是成為AI公司。在這個階段，數據積累到一定體量，數據治理是非常有必要的。數據治理的最終目的也是服務AI、做智能應用，發揮數據的價值，而質量和成本是數據價值的核心所在。在有贊，是如何衡量質量好壞、成本高低的？又是如何依靠產品，結合運營的手段，提升質量，降低成本的？本文，為你揭曉。

一、數據治理概述

1. 數據治理是什么

數據：復雜業務場景下，由系統或人沉淀下來的大數據

治：為整治，關注數據質量，保障數據穩定性、準確性，合理控制數據的生命周期，降低成本。

理：為梳理和管理，數據的基本信息、狀態、關聯關系等，目標是搞清有哪些數據、從哪來到哪去，最終用到什么地方。

2. 有贊是怎么做數據治理的

① 數據資產化

通過數據采集、數據管理，然后做各種質量監控和安全審計，把我們各種數據相關的東西當做是數據資產。

② 數據量化和運營

包括衡量資產等級、安全等級，做質量分和成本。讓大家直觀地感受到數據的質量以及成本是怎樣的。然后去構建個人工作臺，用戶可以知道自己的數據資產有哪些。

③ 發揮數據價值

比如說通過數據地圖高效地發現數據，挖掘有效、有價值的數據，然后通過地圖的能力做關鍵路徑分析、一鍵通知、行業透視等。

目前有贊的數據治理，處在量化和運營階段。上圖是有贊數據資產平臺的簡化圖，可以看出數據治理涉及到的方方面面。從這個圖也可以看出，質量和成本最直接影響業務和應用。

二、質量保障體系

1. 什么是數據質量

說到數據質量，大家最先涌到腦海的可能是數據內容質量。也就是說，怎么去保證數據內容的準確性，這是比較狹義的質量。質量其實還包括很多方面，比如說準確性、規范性、及時性和認可度，稱為廣義的質量。我們為廣義的質量去做了一個產品，叫質量分。狹義的質量會影響業務的穩定性，比如說哪個數據出錯了，比如說商家的GMV肯定是不能出錯的，出錯了會影響業務的穩定。而廣義的質量會影響用戶，且最終會影響數據價值的挖掘。

2. 內容質量校驗

數據和任務強相關，因為數據是由任務加工產出的。所以，內容質量校驗也和任務強相關，每個任務完成之后，我們都會對產出的數據做各種質量校驗。

質量校驗的結果正常的話，下游任務就可以正常進行；如果是可接受的異常，這時候會觸發郵件和企業微信的報警；如果是不可接受的異常，結果數據是有問題的，則阻斷下游的任務執行以避免數據資源的浪費，同時觸發電話報警，通知相關人去處理。

3. 質量分

我們把這四項定義好，確定分類和細則、定義好權重，通過簡單的公式就可以算出一個質量分。如下圖所示，不同顏色代表不同的分類，最右邊是細則的得分以及權重，通過得分加權重的計算方式，就可以最終算出一個數據的總得分。為了模型的可擴展性，有一個小細節，就是權重自動湊百，比如橙色框里的權重，一個是30個是20，總分是50，實際上算權重的時候，我們會去給它折算到100。如果加減規則，不需要做很多的調整，權重都能自適應。

4. 提質手段

我們的質量提升手段，是從這幾個方面去做的：

第一是預防，就是事前我們會去做DDL入口的限制。比如說你的表的命名不規范，或者注釋顯得不夠，或者說該有的屬性缺失了，我們會在第一DDL的入口去做限制。還有deadline預警，每天白天的時候進行檢測，并提前發出告警。同時也會去做靜態檢查，所有的數據、任務變更的時候，都會進行靜態檢查，提前發現問題。

第二是發現異常，事后任務超時，或者說檢驗失敗的時候，我們會去觸發告警，提醒到相關的人。

第三是質量大盤，目的是為了讓質量分引起大家的關注，同時在集團大盤里做很多優化的提示，讓大家用起來，最終把質量提升上去。

最后是推進優化，其實做完前面那幾步，大家可能只是對質量有一個比較明顯的感知，但是真正去做質量的提升其實還需要很多運營動作，這就是我們在推進優化這塊做的事情。

5. 提質效果

定義完質量分之后，經過一段時間推動，以及大家自覺地做一些提升之后，規范性上，消除了99%的同義不同名表，業務率和歸屬率提升到95%以上。準確性上，消滅了95%以上的屢敗規則，屢敗規則指的一些經常失敗的數據檢驗規則，或者最近一段時間經常失敗，但是沒有人去關注。在做質量分之前，有大量這樣的規則存在，不僅是浪費了計算資源，同時也會讓告警接收人對異常情況產生麻木情緒，所以說這個收斂是非常有必要的。另外一個指標是失敗率，也從11%降到1.25%，有比較大的提升。穩定性和技術性，這是我們的一個提質效果。

上圖是我們的質量大盤，最上邊會有幾大模塊，一個是質量分數，然后是只要告警，還有超時任務，每個模塊里面都會有具體的一些細節展現。

三、降本運營機制

1. 資產成本量化

前面提過數據資產會有很多類型，對于開發人員來講，他們看到的是一張張表，但是對于管理者或者運維人員，他們看到的是一堆堆機器，這些機器都是有成本的。我們的目標就是把成本分攤到表，讓人感受到每張表的成本是多少。

從表的角度去看，每個表的產出都對應一個任務，同時也對應一些存儲，它們占用計算資源和存儲資源。我們大的思路就是對每一類資源去做一個定價，形成一個單價，然后采集到每個表占用的資源的量。單價乘以數量，就是成本。

數據成本是由資源單價和消耗資源這兩個最關鍵因素決定的。

資源單價有四個方面：總成本、資源總量、稀缺性和合理水位。下面分別解釋一下：

• 對于離線計算，比如Hadoop集群的總成本是多少，它的資源總量是多少，我們最關心的是CPU和內存資源，這是我們是可以采集到的。
• 稀缺性，可以從資源瓶頸的角度來考量，對于離線計算，CPU會比內存更稀缺。
• 合理水位，是說為了保證性能和穩定性，資源的負載需要維持在一定水平。比如CPU，我們不可能把它用滿，可能用到80%左右就到極限了，再往上就是非常危險的狀態。所以說我們去算有效資源的時候，不會按資源真正的總量去算，而是按它的總量去乘以合理水位計算的。合理水位因不同的數據而異，需要具體去分析確定。

消耗資源有三個方面，存儲和計算比較好理解。時間怎么理解？以離線計算為例，大多數離線計算場景可能都是T+1的，然后大家可能也能感受到凌晨的時候資源是非常稀缺的，但是白天的時候往往是空閑的。所以凌晨的時候資源應該是貴一點的，白天的時候稍微便宜一些。我們去采集計算資源的時候，也會去考慮任務的計算資源占用的時間段。在凌晨我們會去給他打一個系數，比如說1.3、1.5，但在白天我們會給他一個折扣，比如0.6、0.8。

按照上面的原理很容易得出一個計算公式，每個CPU的單價是多少，內存單價是多少，然后采集到使用到的資源數據，就可以算出數據的成本。

• cpu單價，cpu_price = total_cost * cpu_weight / (total_cpu * cpu_load)
• 內存單價，memory_price = total_cost * memory_weight / (total_memory * memory_load)
• 任務成本，cost = cpu_price * use_ cpu + memory_price * use_memory + disk_price * use_disk

2. 成本賬單建設

成本量化之后，只是有了一個比較直觀的成本數據。為了讓各個層級的人都能直觀的去看他們有多少數據、成本分布以及趨勢是怎樣的，我們做了成本賬單，支持了三大類能力。

第一是分析，支持全類型多視角、靈活的分析，有三類分析手段、有多種降本的方式、有五維視圖。五維視圖指的是說個人的、部門的、業務域的、業務線的以及全局視角的成本，都可以看。此外，賬單也支持鉆取、級聯和趨勢分析。因為大家看賬單的時候，可能不光只想看到一個數。如果我看到這個數差距特別大，或者說我們這個波動特別明顯，就要去分析為什么會出現這種情況，所以需要支持很多分布分析、下鉆分析、甚至展現一些成本的細節。

第二是降本，給大家看到成本之后，希望說大家做一些降本的工作，減少浪費。所以我們也做了很多降本的挖掘，包括怎么挖出哪些數據可以下線、哪些數據可以做延遲啟動。延遲就跟上面我們講的運行時間段有關，比如不重要的任務，不一定要在凌晨的時候跟那些高優先級的任務搶占資源，可以把它挪到白天的時候執行，這樣我們在算成本的時候會給一些折扣，這也算是降本的一種方式。還有很多任務，可能是小時級、甚至分鐘級調度的，小時調度的任務，一天跑 24次，它成本就是每天調度任務的24倍。實際有沒有必要？未必，通過我們的調研發現存在很多這樣的人物，是可以做調度周期的優化。此外，還有一些調優的具體手段，怎么去避免數據傾斜，怎么去減少數據量的使用等等。

第三是我們把賬單算到業務線上。數據中臺在很多人看來是一個成本大戶，消耗了資源，但是離業務比較遠，很難講出價值。但其實我們消耗的資源都是為業務服務的，所以我們要想辦法把成本也分攤到業務線，讓業務線也關注到，原來在創造價值的同時，其實也消耗了這么多成本。

上圖是分攤業務線的大致邏輯，底層是數據、任務和平臺服務。成本有兩類，獨占成本和分攤成本。獨占成本就是有些集群平臺或者任務就是為某個業務服務的，這些成本全部歸到業務。分攤成本，比如說數倉中間層，它的訂單交易或者店鋪可能有很多業務線都用到了，數倉去建立這些能力需要的成本，就需要分攤到這些業務線。

上圖是數據成本賬單的截圖，這是一個部門視角，每個部門都可以看到自己成本是怎么樣的，部門視角可以看到部門里邊每個人的成本情況。最上面是一些數據指標的概覽，可以看到我的成本情況、降本情況、資產的數量。然后中間是成本的趨勢，在趨勢圖的每一個點都可以點擊，右側會有成本的榜單分析。比如說我看到12月6號成本特別高，點一下就可以在右邊看具體的成本是怎么樣的。最下邊是成本分析模塊，我們可以看到成本分布。分成平臺的成本、表的成本、還有各種各樣的成本的分類，同時也支持按成員去分析它的成本。比如說條形圖，它其實是可以點擊下鉆看某個具體的人，有哪些表。右下角的模塊是一個可降本分析，上面講過給他們看成本，是希望他們去做降本的事情，所以很多挖掘降本的點也在平臺上去支持。

3. 成本分攤

在成本分攤的時候，怎么做默認的分攤，怎么設置分攤的比例？大概的過程三步，首先設定一個默認的分攤比例，按照各個業務線的訂單量算比例，算是默認分攤比，這個數據通用層的分攤，加上一些獨占的成本的分攤，會生成第二個比例。然后再結合平臺域的分攤成本生成第三個比例。最后我們再把平臺工具獨占成本結合進去，形成了一個最終的比例。

4. 持續運營

建了很多規范后，計算出質量分、成本、賬單，但如果不運營是很難把這個事情跑起來的。因為大家對這個東西的感覺不深，也沒有特別強的動力，所以我們也做了很多運營的事情。

① 強化意識

我們從多渠道進行成本意識的宣傳，比如每次上線產品通過海報或者小視頻，進行產品宣傳，告訴大家用法，鼓勵大家多去使用。還有上文提到的，挖掘出一些改進的空間給到大家，讓大家很明確的就可以去做一些事情。

② 獎懲機制

有贊內部有一個“有贊幣”文化，可以把有贊幣送給自己欣賞的人、或者幫助到自己的人，給他們一些鼓勵。

③ 跟蹤反饋

比如說意見箱、答疑群，還有怎么關注降本的一些實際的數據等等。

這些事情其實是平臺圍繞著用戶，為降本去做事情的，運營的目的是為了讓平臺用戶和成本之間形成一個良性的互動。我們通過運營去推動用戶去做降本的事情，跟蹤這些動作同時反饋在平臺上面，這樣的話就形成了一個正向的循環，最終達到一個比較好的降本效果。

5. 運營成績

經過大半年的努力，我們也有一些小小的成績。上圖是實際運營的數據情況，第一個參與用戶，是說目前有成本的用戶中，超過32%的用戶采取了降本相關動作。降本動作累計有1400多次，并且自主降本的比例超過了38%，這個也反映出大家對成本的意識已經有非常大的提升。在做這個事情過程中，我們也清理了超過2P的數據、下線超過300個任務，在成本方面每年節省了300多萬。

四、總結與展望

質量成本，其實是圍繞著量化、產品以及運營這三個方面進行的，這也是數據治理的三輛馬車。量化是為了讓大家更直觀地感受到當前的質量、成本現狀，有哪些問題。讓大家了解之后需要通過產品作為載體去支持大家做降本以及分析的需求。有了產品之后，還需要通過有效的運營手段，把這一套降本機制，以及提升大家成本意識的意圖，給跑起來，最終形成一個良性的循環。

成本和質量的發展方向，如下圖：

1. 大質量

首先，我們目前的質量主要集中在離線表，我們可以去擴展數據類型（實時數據，如Kafka；在線數據，如Hbase）。其次是服務的質量，我們現在有很多數據相關的平臺系統，它們的服務穩定性、效率延遲是怎么樣的？其實是沒有統一關注的，這塊也需要關注起來。最后是深入業務質量，包括線上服務，比如商家后臺，它的服務的穩定性，接口的延遲等等。這些就是大質量。

2. 全成本

我們的成本已經做得很全了，各種各樣的數據類型平臺、成本都做到了量化、以及能做到成本賬里面去了。但是還有一些更上游的MySQL表等等，這些還沒有去做量化，也可以去做擴展，然后力度更細致，分攤更靈活。

3. 重運營

我們已經意識到運營是成本治理達到較好的效果必不可少的，而且應該是加大投入的一個環節，我們首先要從態度上重視，繼續加大投入。

最后送給大家一句話，也是我們團隊比較喜歡的一句話：高質量，低成本，讓數據更有價值。