每日快訊!大數(shù)據(jù)工程師:讓數(shù)據(jù)“活”起來

來源:經(jīng)濟(jì)日?qǐng)?bào)

將大量、多樣的數(shù)據(jù)信息匯聚、打通、管理、使用;用26個(gè)英文字母和一些標(biāo)點(diǎn)符號(hào)寫出一行行代碼,變成大眾應(yīng)用的各類應(yīng)用軟件和系統(tǒng)……這便是中電萬維信息技術(shù)有限責(zé)任公司生態(tài)環(huán)境平臺(tái)部大數(shù)據(jù)工程師張杰的日常工作內(nèi)容。

讓數(shù)據(jù)“活”起來服務(wù)大眾,是大數(shù)據(jù)工程師的工作。在外人眼里,每天和數(shù)據(jù)打交道的他們很神秘,而在他們自己眼中,這項(xiàng)工作既枯燥又有趣,也很有成就感。


(資料圖)

搭建管理平臺(tái)

信息時(shí)代數(shù)據(jù)無處不在,怎樣使其得到高效利用,從而服務(wù)于社會(huì),是大數(shù)據(jù)工程師們肩負(fù)的責(zé)任,也是他們面臨的挑戰(zhàn)。

“甘肅省全省生態(tài)環(huán)境的總數(shù)據(jù)量有30多億條,目前數(shù)據(jù)共享有4個(gè)數(shù)據(jù)項(xiàng),數(shù)據(jù)量可以達(dá)到3200多萬條……”張杰指著電腦顯示屏上甘肅省生態(tài)環(huán)境監(jiān)測(cè)大數(shù)據(jù)管理平臺(tái)的生態(tài)環(huán)境宏觀決策分析界面說。

2017年,張杰從甘肅農(nóng)業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)畢業(yè)后,就一直從事大數(shù)據(jù)相關(guān)工作。從最初接觸這個(gè)行業(yè)到成為業(yè)務(wù)骨干,他一邊磨練技術(shù),一邊見證著大數(shù)據(jù)行業(yè)的飛速發(fā)展。

“以前單體項(xiàng)目的數(shù)據(jù)匯總非常麻煩,而且有些數(shù)據(jù)沒經(jīng)過層層審核,準(zhǔn)確度不高?!睆埥苷f,以前數(shù)據(jù)處理要通過線上和線下的不同方式,與涉及各項(xiàng)數(shù)據(jù)的不同部門一一對(duì)接。如果對(duì)接到的數(shù)據(jù)是線下表格或文檔等非結(jié)構(gòu)化數(shù)據(jù),還需要付出大量時(shí)間和精力進(jìn)行整理和解析,工作十分繁瑣。

2018年,公司接觸到大數(shù)據(jù)相關(guān)數(shù)據(jù)庫(kù)和處理工具,便開始對(duì)文檔、音頻、視頻等信息進(jìn)行智能整理。張杰說,“2018年之前,我們還從堆積如山的文檔資料中尋找想要的核心信息,有了大數(shù)據(jù)處理手段,一切變得輕松起來”。

2019年,張杰和同事們開始參與單體應(yīng)用項(xiàng)目,用大數(shù)據(jù)解決單一的業(yè)務(wù)問題。此后,逐漸搭建起了大數(shù)據(jù)管理平臺(tái),將各個(gè)業(yè)務(wù)系統(tǒng)封閉的數(shù)據(jù)進(jìn)行統(tǒng)一匯聚、治理、分析、服務(wù),形成協(xié)同應(yīng)用,并完成了甘肅生態(tài)環(huán)境監(jiān)測(cè)大數(shù)據(jù)平臺(tái)的驗(yàn)收交付。

打通數(shù)據(jù)“孤島”

大數(shù)據(jù),顧名思義就是大量的數(shù)據(jù)、海量的資料,包括常規(guī)數(shù)據(jù)和圖表等多種形式。如何以“聚、通、管、用”等方式打通數(shù)據(jù)“孤島”,實(shí)現(xiàn)更廣泛的應(yīng)用,是大數(shù)據(jù)工程師主要思考的問題。

“比如大氣、土壤和水3個(gè)數(shù)據(jù),都有各自的監(jiān)測(cè)指標(biāo),不能單憑一個(gè)指標(biāo)就判定一個(gè)區(qū)域的環(huán)境質(zhì)量,要把幾項(xiàng)數(shù)據(jù)打通,找到他們的共同性、關(guān)聯(lián)性,然后通過綜合評(píng)判,才能知道整體的生態(tài)環(huán)境怎么樣?!睆埥芨嬖V記者,在大數(shù)據(jù)處理中,第一步就是要把大量數(shù)據(jù)收集、匯聚起來,第二步就是要打通各類數(shù)據(jù)之間的壁壘,為后期的管理和運(yùn)用打下基礎(chǔ)。

“通俗來講,就是要通過頂層規(guī)劃設(shè)計(jì),建立起數(shù)據(jù)臺(tái)賬。相當(dāng)于目錄和標(biāo)簽,在使用過程中結(jié)合實(shí)際業(yè)務(wù)需求,可以隨時(shí)進(jìn)行檢索。”張杰說。

“一個(gè)單一的數(shù)據(jù)只包含單一信息,但把這個(gè)數(shù)據(jù)最大化地使用起來,用完后把結(jié)果返回,作為一個(gè)新的數(shù)據(jù)存儲(chǔ),如此循環(huán),整個(gè)數(shù)據(jù)就能包含更多信息,就‘活’了起來?!睆埥苷f。

增強(qiáng)學(xué)習(xí)能力

有時(shí)會(huì)感到枯燥,有時(shí)會(huì)有挫敗感,有時(shí)又很有成就感,這就是大數(shù)據(jù)工程師的真實(shí)寫照。

“一個(gè)看似簡(jiǎn)單的微信公眾號(hào)頁(yè)面,后臺(tái)要通過成千上萬的代碼來實(shí)現(xiàn)。這些業(yè)外人士看不懂的代碼,就是我們對(duì)外交流的語言?!睆埥苷f,大數(shù)據(jù)工程師的工作就在幕后。

“自己悶頭敲了半天代碼,突然出來結(jié)果,那個(gè)時(shí)候特別有成就感;如果長(zhǎng)時(shí)間沒有結(jié)果,也難免產(chǎn)生挫敗感?!睆埥苷f。

張杰清楚地記得,參加工作之初,要寫個(gè)三級(jí)聯(lián)動(dòng)小程序,他一周都沒寫出來,感到苦惱。后來,在師傅幫助下,他才寫出來小程序。但完成后,他又刪除了這個(gè)程序,從頭開始反復(fù)寫、反復(fù)琢磨,直到慢慢上手,有了一些心得。通過工作經(jīng)驗(yàn)的積累,他如今正基于現(xiàn)有的平臺(tái)不斷嘗試,進(jìn)行新的研發(fā)建設(shè)工作,也逐漸找到了這項(xiàng)工作的意義。

“大數(shù)據(jù)技術(shù)發(fā)展得很快,一個(gè)新概念出現(xiàn)了,還沒來得及弄太明白,市面上就已經(jīng)出現(xiàn)相應(yīng)應(yīng)用產(chǎn)品。這對(duì)我們大數(shù)據(jù)工程師來說,總是充滿挑戰(zhàn)。”張杰說,大數(shù)據(jù)技術(shù)發(fā)展日新月異,為了不讓自己掉隊(duì),他會(huì)積極參加公司定期組織的學(xué)習(xí)、培訓(xùn),還會(huì)通過自學(xué)、企業(yè)外聘專業(yè)老師授課培訓(xùn)等多種形式學(xué)習(xí)新技術(shù)、新業(yè)務(wù)?!叭绻粚W(xué)習(xí)就跟不上了,所以一刻都不能放松?!睆埥苷f,他會(huì)緊跟大數(shù)據(jù)技術(shù)發(fā)展的步伐,不斷充實(shí)自己。 (經(jīng)濟(jì)日?qǐng)?bào)記者 趙 梅)

標(biāo)簽:

推薦

財(cái)富更多》

動(dòng)態(tài)更多》

熱點(diǎn)