時間：2015-12-07 11:28:05 點擊：次
來源：湛廬文化廬客匯 作者：吳明輝

條評論打印收藏

在傳統(tǒng)金融行業(yè)里,，很多銀行只會考慮發(fā)貸款或者發(fā)信用卡之前的風(fēng)控分析,。很多銀行到人民銀行拿到一些個人消費者征信報告，這些數(shù)據(jù)包含了消費者以前其他的貸款,、每個月工資情況等等這樣一些最基本的信息,。銀行根據(jù)信息打分,，然后這個分?jǐn)?shù)之上的消費者可以獲批貸款，在分?jǐn)?shù)之下的就不會獲批,。這整個過程是成本較高的，因為任何一個報告都是要花錢去買,。第二點是很多情況下需要面訪,，現(xiàn)場進行風(fēng)險考察,，然而這個考察過程中數(shù)據(jù)的真實性和有效性也是值得商榷的。

比如我們的一個客戶——郵政儲蓄銀行,。向他們貸款的很多客戶是農(nóng)民,，他們在種植或者養(yǎng)殖生產(chǎn)中需要資金支持，比如用來投資買種子或者購買種植養(yǎng)殖的基本設(shè)施,。但是當(dāng)面談的時候他或許假裝家里有一頭牛,，我將來可以賣掉這個牛還款，但這個牛有可能是從他的鄰居家拉過來的,。所以真正證明貸款申請人信用的數(shù)據(jù)真實性和有效性是解決這個問題過程中非常核心的問題,。數(shù)據(jù)是否是真實有效的、數(shù)據(jù)是否跟最后結(jié)果有關(guān)系,，這就是我們在數(shù)據(jù)思維決策過程中需要考慮的兩個非常核心的問題,。

“其實我是有一點近視眼的，我看很遠處的一個廣告牌,，上面的文字有時我看得不是很清楚,，但我的大腦是能夠猜出來文字大概是講什么的。本質(zhì)上是因為在我的大腦是擁有識別低分辨率的數(shù)據(jù),，同時再把它還原推測到高分辨率的那個能力,。這種能力其實也是大數(shù)據(jù)公司里面非常核心的能力。"

2,、數(shù)據(jù)治理：還原推測到“高分辨率”

我接下來就給大家講講處理數(shù)據(jù)里面最核心的兩個工作,。第一個工作我們稱之為數(shù)據(jù)清洗或是叫數(shù)據(jù)治理。

很多公司擁有大量的數(shù)據(jù),，但如果這些數(shù)據(jù)沒有辦法整合到一起,，沒辦法清洗、在線化,，沒辦法讓使用者方便取用,，那即便數(shù)據(jù)量再大也不能說這個公司有大數(shù)據(jù)。所以清洗和整合數(shù)據(jù)是非常重要的,。通常在技術(shù)領(lǐng)域有一個概念叫“ETL”,，ETL其實只把數(shù)據(jù)抽取到一起，進行數(shù)據(jù)格式統(tǒng)一化,，最后再加載到一個可應(yīng)用的平臺上,，這是整個數(shù)據(jù)治理行業(yè)里面最核心的幾個環(huán)節(jié)。但在大數(shù)據(jù)概念出來之后,，跟傳統(tǒng)ETL有一個挺大的區(qū)別在于數(shù)據(jù)格式跟以前相比更加復(fù)雜,。通常我們所謂的大數(shù)據(jù)、我們處理的數(shù)據(jù)除了包括以前的結(jié)構(gòu)化數(shù)據(jù)，還包括新的非結(jié)構(gòu)化數(shù)據(jù),。

非結(jié)構(gòu)化數(shù)據(jù)是指數(shù)據(jù)里每一條記錄之間的格式并不統(tǒng)一,，甚至很多數(shù)據(jù)都是臟數(shù)據(jù)。大家可以想象銀行的很多數(shù)據(jù),，比如消費者注冊信息：姓名,、年齡、手機號,、身份證號,，包括月收入可能都要求填，但很多情況下大家填信息的時候格式都不一定統(tǒng)一,，比如說手機號可能有一些人填沒有加“86”,，再比如說身份證號有人填的是18位的，有人填的是15位的,，這些信息是否是統(tǒng)一格式對于未來的數(shù)據(jù)應(yīng)用非常關(guān)鍵,。

 2/5   首頁 上一頁 1 2 3 4 5 下一頁 尾頁