數(shù)字經(jīng)濟(jì)時(shí)代，最具戰(zhàn)略意義的生產(chǎn)力是什么？
毫無(wú)疑問(wèn)，是大數(shù)據(jù)。
全新的數(shù)字化生產(chǎn)方式催化生產(chǎn)力資源的重新分配，金融機(jī)構(gòu)在大數(shù)據(jù)體系建設(shè)上投入的資源呈指數(shù)級(jí)增長(zhǎng)。而大數(shù)據(jù)集群作為大數(shù)據(jù)存儲(chǔ)與計(jì)算的載體，近年來(lái)各大銀行更是不惜重金爭(zhēng)先擴(kuò)大其建設(shè)規(guī)模。但這樣一股腦兒的投入資源，真的能收獲更高的生產(chǎn)效率和收益嗎？
生產(chǎn)力資源管理 重塑企業(yè)競(jìng)爭(zhēng)力
縱觀各種經(jīng)典商業(yè)成功案例可以發(fā)現(xiàn)，能做好生產(chǎn)力資源管理的企業(yè)，往往才有著更強(qiáng)的競(jìng)爭(zhēng)力。
即便是員工電腦分配這種最基礎(chǔ)的IT資源管理，無(wú)論國(guó)內(nèi)外，成熟的企業(yè)也通常會(huì)配備一套穩(wěn)定的IT資源評(píng)估與管理機(jī)制，基于各部門需求彈性分配電腦及配套的IT基礎(chǔ)設(shè)施資源，并由歸口部門對(duì)公司上下的生產(chǎn)力工具進(jìn)行統(tǒng)一管理與維護(hù)，最大程度保障員工生產(chǎn)效率。
這種對(duì)生產(chǎn)力資源統(tǒng)一管理的重視，源自工業(yè)革命時(shí)期便流傳下來(lái)的一條金科玉律——工業(yè)化的本質(zhì)就是建立統(tǒng)一標(biāo)準(zhǔn)，降低人工的不確定性，進(jìn)而提高整個(gè)企業(yè)的生產(chǎn)效率和抗風(fēng)險(xiǎn)能力，并以此承載更具規(guī)模化的業(yè)務(wù)與管理模式。
于是，文章開(kāi)頭拋出的問(wèn)題，想必我們心里都有了答案——在金融機(jī)構(gòu)紛紛加大 IT 投入的大背景下，大數(shù)據(jù)集群的建設(shè)已初具規(guī)模，但隨之而來(lái)的采購(gòu)、運(yùn)維、人力等成本需要常年花費(fèi)巨額資金。高昂投入下如何提升資源利用效率以實(shí)現(xiàn)降本增效，成為擺在大數(shù)據(jù)集群建設(shè)者和使用者面前的一道必答題，一套與之匹配的科學(xué)管理方法論亟需快速落地。
“大數(shù)據(jù)集群資源管理”這一概念走向前臺(tái)。
大數(shù)據(jù)集群資源管理的精細(xì)化運(yùn)營(yíng)之路
“大數(shù)據(jù)集群資源管理”并不是什么新造詞匯，這一概念的誕生與發(fā)展，可以說(shuō)是與金融行業(yè)大數(shù)據(jù)體系的演變過(guò)程同頻共振。
概念源起
早期商業(yè)銀行的數(shù)據(jù)體系建設(shè)以O(shè)DS為主。這個(gè)階段，行內(nèi)各部門紛紛獨(dú)立建設(shè)大數(shù)據(jù)集群和數(shù)據(jù)應(yīng)用系統(tǒng)，豎井式分散的管理模式導(dǎo)致大數(shù)據(jù)集群資源無(wú)法被充分利用，資源大量浪費(fèi)的問(wèn)題已然初步顯現(xiàn)。
2008年伊始，國(guó)內(nèi)銀行已經(jīng)意識(shí)到數(shù)據(jù)集中管理的重要意義，紛紛展開(kāi)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)工作。這個(gè)階段，隨著數(shù)據(jù)規(guī)模開(kāi)始快速增長(zhǎng)，銀行在大數(shù)據(jù)存儲(chǔ)與計(jì)算上投入了大量物理資源，大數(shù)據(jù)集群無(wú)序管理的問(wèn)題日益顯著，存在分配不均衡、資源浪費(fèi)的現(xiàn)象，針對(duì)大數(shù)據(jù)集群資源使用進(jìn)行評(píng)估、分析與治理的理念逐步形成。
粗放式管理
大數(shù)據(jù)集群的建設(shè)者和使用者開(kāi)始利用各種工具輔助管理，譬如大數(shù)據(jù)平臺(tái)管理工具、硬件平臺(tái)管理工具等，并在大數(shù)據(jù)集群資源的申請(qǐng)、回收過(guò)程中增加了評(píng)審環(huán)節(jié)，但依然存在諸多問(wèn)題：
首先，數(shù)據(jù)整體是分散、不聚合的狀態(tài)，評(píng)估指標(biāo)也不夠精細(xì)，因此在大數(shù)據(jù)集群資源申請(qǐng)或回收的評(píng)審環(huán)節(jié)，缺乏強(qiáng)有力的標(biāo)準(zhǔn)支撐；
其次，過(guò)多依賴人工介入，缺乏自動(dòng)化手段及工具，造成大數(shù)據(jù)集群資源的調(diào)配結(jié)果存在適用性及可靠性差等問(wèn)題。
這個(gè)階段，受限于自動(dòng)化程度不高、監(jiān)控指標(biāo)權(quán)威性不足，在大數(shù)據(jù)集群的實(shí)際管理中，依然未能有效解決投入資源增長(zhǎng)過(guò)快和回收不及時(shí)等問(wèn)題。
精細(xì)化運(yùn)營(yíng)
伴隨著數(shù)據(jù)架構(gòu)從單一平臺(tái)架構(gòu)走向混搭式協(xié)同平臺(tái)架構(gòu)、包含多種技術(shù)的綜合架構(gòu)，數(shù)據(jù)形式也由單一的批量結(jié)構(gòu)化數(shù)據(jù)，邁向結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)等多種形態(tài)，整體數(shù)據(jù)體量已由TB級(jí)向PB級(jí)邁進(jìn)。
對(duì)于規(guī)模較大的銀行來(lái)說(shuō)，大數(shù)據(jù)集群節(jié)點(diǎn)的數(shù)量高達(dá)幾千，面臨如此大規(guī)模的數(shù)據(jù)集群環(huán)境，如何解決資源難以管控和成本急劇攀升等問(wèn)題，已刻不容緩。粗放式的人工管理顯然無(wú)法持續(xù)，精細(xì)化的大數(shù)據(jù)集群資源管理勢(shì)在必行，暨通過(guò)建立科學(xué)評(píng)估、分析與治理體系，追蹤和監(jiān)控大數(shù)據(jù)集群資源的使用情況，基于評(píng)估指標(biāo)進(jìn)行精細(xì)化管控，從而有效控制集群過(guò)快增長(zhǎng)、合理分配資源。
大方向既定，但具體到實(shí)施層面，“大數(shù)據(jù)集群資源管理”從概念到落地，尚需要先行者走出一條可行路線。
國(guó)內(nèi)首個(gè)大數(shù)據(jù)集群資源管理項(xiàng)目成功落地！
2022 年初，某頭部股份制銀行正式啟動(dòng)大數(shù)據(jù)集群資源管理項(xiàng)目。
彼時(shí)在大數(shù)據(jù)集群資源使用的評(píng)估分析體系建設(shè)方面，業(yè)界尚無(wú)一套科學(xué)成熟的評(píng)估方法可供參考。長(zhǎng)亮科技作為該項(xiàng)目的承建商，從該行的業(yè)務(wù)場(chǎng)景出發(fā)，圍繞集群野蠻增長(zhǎng)、資源占用不合理等核心問(wèn)題，以推動(dòng)資源優(yōu)化改造、提升資源使用效率、實(shí)現(xiàn)降本增效為目標(biāo)，為該行量身打造了一套大數(shù)據(jù)集群資源管理建設(shè)方案。
構(gòu)建科學(xué)評(píng)估方法：構(gòu)建集群資源、硬件資源、節(jié)點(diǎn)資源、模型、任務(wù)等多維度的評(píng)價(jià)指標(biāo)，實(shí)現(xiàn)大數(shù)據(jù)集群資源的科學(xué)計(jì)量與評(píng)估；
資源使用可視化監(jiān)控：建立集群資源配置及消耗信息可視化頁(yè)面，并支持全行視角、中心/團(tuán)隊(duì)視角、開(kāi)發(fā)者視角的監(jiān)控分析，為資源的優(yōu)化配置及合理利用提供決策支撐；
完善資源管理機(jī)制：基于資源分析和模型分析方案，建立資源治理事前、事中、事后的管理與評(píng)估體系，通過(guò)大數(shù)據(jù)資源治理平臺(tái)，落實(shí)資源治理的閉環(huán)管理建設(shè)。
近期，該股份制銀行大數(shù)據(jù)集群資源管理項(xiàng)目已成功上線，通過(guò)對(duì)大數(shù)據(jù)集群進(jìn)行精細(xì)化管理，有效控制了在線大數(shù)據(jù)集群的數(shù)量，促進(jìn)低效集群下線、合并、縮容降配，提升集群的綜合利用率。該行資源的過(guò)快增長(zhǎng)得到了有效控制，并逐步建立資源的有效評(píng)估機(jī)制，長(zhǎng)亮科技再度助力客戶打造了一個(gè)業(yè)內(nèi)首創(chuàng)！
即使已經(jīng)邁出了第一步，但大數(shù)據(jù)集群資源評(píng)估、分析與治理體系的建設(shè)，絕對(duì)不會(huì)是一項(xiàng)一勞永逸的工作。伴隨著各大金融機(jī)構(gòu)大數(shù)據(jù)體系的持續(xù)演變，長(zhǎng)亮科技將與時(shí)俱進(jìn)、不斷迭代解決方案，立足于大數(shù)據(jù)集群資源側(cè)與應(yīng)用側(cè)的全局視角，幫助金融機(jī)構(gòu)全面提升資源利用效率，打造面向未來(lái)的新一代“數(shù)字經(jīng)濟(jì)基礎(chǔ)設(shè)施”，讓數(shù)字生產(chǎn)力創(chuàng)造更大價(jià)值！
