-
有贊數據治理之提質降本
有贊數據治理的精髓就是九個字:大質量、全成本、重運營,其中涉及的質量分、成本賬單都有可借鑒之處! 導讀:有贊是通過SaaS起家的,經過多年的數據沉淀,有大量數據,可以說是一家大數據公司,但是有贊的最終目標是成為AI公司。在這個階段,數據積累到一定體量,數據治理是非常有必要的。數據治理的最終目的也是服務AI、做智能應用,發揮數據的價值,而質量和成本是數據價值的核心所在。在有贊,是如何衡量質量好壞、成本高低的?又是如何依靠產品,結合運營的手段,提升質量,降低成本的?本文,為你揭曉。 一、數據治理概述…
-
Hive SQL遷移Spark SQL在網易傳媒的實踐
在整個遷移過程,除了前期踩坑階段,期間線上基本沒出什么問題,十分平滑的將2000左右的任務遷移到了sparkSql,而且也沒耗費過多人力,這說明整個遷移方案的設計和實施是比較成功的。 引言:把基于mapreduce的離線hiveSQL任務遷移到sparkSQL,不但能大幅縮短任務運行時間,還能節省不少計算資源。最近我們也把組內2000左右的hivesql任務遷移到了sparkSQL,這里做個簡單的記錄和分享,本文偏重于具體條件下的方案選擇。 遷移背景 SQL任務運行慢Hive SQL處理任務雖然…
-
大數據黑產已經無孔不入,該如何破解?
2022,又一千億級黑產加速滅亡。 每一次點擊,都可能誘惑我們走入一場巨大的陰謀…… 一、大選風云 2014年,咨詢公司劍橋咨詢研發了一款心理測試軟件,放在臉書(Facebook)上做信息流推廣,只要你下載并且做一個心理測試,就可以得到5美金的獎勵。 在獎勵與好奇心的驅使下,很多用戶開始下載軟件,并回答了“看看你心靈黑暗面是什么?”“動物世界中,你會變成哪種動物?”等有趣的問題,然后把答案變成圖片,分享到自己的臉書賬號上,并獲得了5美金。 到2016年,這款心理測試App已在臉書累計擁有了超過5…
-
大數據行業人才缺口和發展趨勢全方位分析
隨著互聯網的發展,IT人才變得炙手可熱,而大數據人才作為其中的一個分支,也受到各企業的歡迎。 1、全國35所大學開設大數據專業 近日,“大數據專業”成為熱詞,這主要源于近期一則新聞—教育部公布的最新高校新增專業名單中,有32所高校成為第二批成功申請“數據科學與大數據技術”本科新專業的高校。 加上第一批成功申請該專業的北京大學、對外經濟貿易大學及中南大學,目前共有35所大學獲批開設大數據專業。 2、未來3~5年,需要180萬大數據人才 大數據專業熱度空前的背后,是大數據在全球的蓬勃發展。 分析機構…