時(shí)間：2015-12-07 11:28:05 點(diǎn)擊：次
來源：湛廬文化廬客匯 作者：吳明輝

條評(píng)論打印收藏

在傳統(tǒng)金融行業(yè)里,，很多銀行只會(huì)考慮發(fā)貸款或者發(fā)信用卡之前的風(fēng)控分析,。很多銀行到人民銀行拿到一些個(gè)人消費(fèi)者征信報(bào)告,，這些數(shù)據(jù)包含了消費(fèi)者以前其他的貸款,、每個(gè)月工資情況等等這樣一些最基本的信息,。銀行根據(jù)信息打分,，然后這個(gè)分?jǐn)?shù)之上的消費(fèi)者可以獲批貸款，在分?jǐn)?shù)之下的就不會(huì)獲批,。這整個(gè)過程是成本較高的,，因?yàn)槿魏我粋€(gè)報(bào)告都是要花錢去買。第二點(diǎn)是很多情況下需要面訪,，現(xiàn)場進(jìn)行風(fēng)險(xiǎn)考察,，然而這個(gè)考察過程中數(shù)據(jù)的真實(shí)性和有效性也是值得商榷的。

比如我們的一個(gè)客戶——郵政儲(chǔ)蓄銀行,。向他們貸款的很多客戶是農(nóng)民,，他們在種植或者養(yǎng)殖生產(chǎn)中需要資金支持，比如用來投資買種子或者購買種植養(yǎng)殖的基本設(shè)施,。但是當(dāng)面談的時(shí)候他或許假裝家里有一頭牛,，我將來可以賣掉這個(gè)牛還款，但這個(gè)牛有可能是從他的鄰居家拉過來的,。所以真正證明貸款申請(qǐng)人信用的數(shù)據(jù)真實(shí)性和有效性是解決這個(gè)問題過程中非常核心的問題,。數(shù)據(jù)是否是真實(shí)有效的、數(shù)據(jù)是否跟最后結(jié)果有關(guān)系,，這就是我們在數(shù)據(jù)思維決策過程中需要考慮的兩個(gè)非常核心的問題,。

“其實(shí)我是有一點(diǎn)近視眼的，我看很遠(yuǎn)處的一個(gè)廣告牌,，上面的文字有時(shí)我看得不是很清楚,，但我的大腦是能夠猜出來文字大概是講什么的。本質(zhì)上是因?yàn)樵谖业拇竽X是擁有識(shí)別低分辨率的數(shù)據(jù),，同時(shí)再把它還原推測到高分辨率的那個(gè)能力,。這種能力其實(shí)也是大數(shù)據(jù)公司里面非常核心的能力。"

2,、數(shù)據(jù)治理：還原推測到“高分辨率”

我接下來就給大家講講處理數(shù)據(jù)里面最核心的兩個(gè)工作,。第一個(gè)工作我們稱之為數(shù)據(jù)清洗或是叫數(shù)據(jù)治理。

很多公司擁有大量的數(shù)據(jù),，但如果這些數(shù)據(jù)沒有辦法整合到一起,，沒辦法清洗,、在線化，沒辦法讓使用者方便取用,，那即便數(shù)據(jù)量再大也不能說這個(gè)公司有大數(shù)據(jù),。所以清洗和整合數(shù)據(jù)是非常重要的。通常在技術(shù)領(lǐng)域有一個(gè)概念叫“ETL”,，ETL其實(shí)只把數(shù)據(jù)抽取到一起,，進(jìn)行數(shù)據(jù)格式統(tǒng)一化，最后再加載到一個(gè)可應(yīng)用的平臺(tái)上,，這是整個(gè)數(shù)據(jù)治理行業(yè)里面最核心的幾個(gè)環(huán)節(jié),。但在大數(shù)據(jù)概念出來之后，跟傳統(tǒng)ETL有一個(gè)挺大的區(qū)別在于數(shù)據(jù)格式跟以前相比更加復(fù)雜,。通常我們所謂的大數(shù)據(jù),、我們處理的數(shù)據(jù)除了包括以前的結(jié)構(gòu)化數(shù)據(jù)，還包括新的非結(jié)構(gòu)化數(shù)據(jù),。

非結(jié)構(gòu)化數(shù)據(jù)是指數(shù)據(jù)里每一條記錄之間的格式并不統(tǒng)一,，甚至很多數(shù)據(jù)都是臟數(shù)據(jù)。大家可以想象銀行的很多數(shù)據(jù),，比如消費(fèi)者注冊信息：姓名,、年齡、手機(jī)號(hào),、身份證號(hào),，包括月收入可能都要求填，但很多情況下大家填信息的時(shí)候格式都不一定統(tǒng)一,，比如說手機(jī)號(hào)可能有一些人填沒有加“86”,，再比如說身份證號(hào)有人填的是18位的，有人填的是15位的,，這些信息是否是統(tǒng)一格式對(duì)于未來的數(shù)據(jù)應(yīng)用非常關(guān)鍵,。

 2/5   首頁 上一頁 1 2 3 4 5 下一頁 尾頁