發(fā)布源:深圳維創(chuàng)信息技術(shù)發(fā)布時(shí)間:2020-09-16 瀏覽次數(shù): 次
而且在大多數(shù)情況下,必須對(duì)工作人員進(jìn)行培訓(xùn),讓其獲得新的工作技能。
調(diào)研機(jī)構(gòu)Enterprise Strategy Group的高級(jí)分析師Mike Leone表示,總體而言,云計(jì)算中的大數(shù)據(jù)可以降低內(nèi)部部署數(shù)據(jù)中心的成本,并非運(yùn)行在云端的大數(shù)據(jù)工作負(fù)載或項(xiàng)目都需要企業(yè)擁有一名大數(shù)據(jù)專家,但也有一些企業(yè)需要數(shù)據(jù)專家的幫助,例如涉及Hadoop。
Leone表示,雖然在云端使用五節(jié)點(diǎn)集群替換五節(jié)點(diǎn)Hadoop集群非常簡(jiǎn)單,但卻出現(xiàn)了管理方面的挑戰(zhàn),尤其是軟件互操作性方面的管理挑戰(zhàn)。
云端獲得大數(shù)據(jù)的四大技能 根據(jù)IT培訓(xùn)機(jī)構(gòu)Linux Academy公司的大數(shù)據(jù)分析主管Manisha Sule的說法,IT團(tuán)隊(duì)?wèi)?yīng)該把重點(diǎn)放在四大技能上,以便在云計(jì)算領(lǐng)域運(yùn)行大數(shù)據(jù)。
管理:工作人員知道如何管理Hadoop和NoSQL變得至關(guān)重要。
工作人員還需要仔細(xì)配置和管理(諸如計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等)基礎(chǔ)設(shè)施組件,以支持大數(shù)據(jù)項(xiàng)目。
Sule說,使用Hadoop分布式文件系統(tǒng)和NoSQL數(shù)據(jù)庫的經(jīng)驗(yàn)也是有幫助的,這兩者都可以存儲(chǔ)大量的數(shù)據(jù)。
開發(fā):Sule表示,大數(shù)據(jù)開發(fā)人員應(yīng)該具有Python、Scala和Java等語言的編程經(jīng)驗(yàn)。
此外,具有使用亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)Kinesis和Lambda等產(chǎn)品的經(jīng)驗(yàn)也是一個(gè)優(yōu)勢(shì),因?yàn)樗鼈兲峁┝嘶谖⒎?wù)架構(gòu)的實(shí)時(shí)處理的替代方案。
分析:云端大數(shù)據(jù)分析需要統(tǒng)計(jì)學(xué)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、操作研究、計(jì)算機(jī)編程方面的專業(yè)知識(shí)。
Sule說,數(shù)據(jù)科學(xué)家和分析師以及機(jī)器學(xué)習(xí)和人工智能工程師需要學(xué)習(xí)如何構(gòu)建算法,然后將這些算法實(shí)現(xiàn)自動(dòng)化以處理大量的實(shí)時(shí)數(shù)據(jù)。
可視化:可視化開發(fā)人員設(shè)計(jì)儀表板,講述組織收集的大數(shù)據(jù)的故事。
這個(gè)角色的IT專業(yè)人員需要訪問不同的數(shù)據(jù)源,并將其整合到統(tǒng)一的交互式平臺(tái)中。
Sule指出,雖然有一些課程可以幫助掌握這四項(xiàng)技能,但對(duì)于IT專業(yè)人員來說,最好采取邊做邊學(xué)的方法。
云計(jì)算也適合采用這種模式。
Sule說:“在人們準(zhǔn)備充分的時(shí)候,可以輕松地注冊(cè)一個(gè)試用賬戶,直接感受到可用的服務(wù)。
許多正式課程的內(nèi)容也涉及實(shí)踐經(jīng)驗(yàn)。
” Cloud Technology Partners首席架構(gòu)師Muhammad Nabeel表示,IT團(tuán)隊(duì)也應(yīng)該為提供商提供的多種云服務(wù)結(jié)合起來做好準(zhǔn)備,以支持大數(shù)據(jù)計(jì)劃。
他說:“企業(yè)需要詳細(xì)了解它們并一起實(shí)施。
” 根據(jù)Nabeel的說法,在三家行業(yè)領(lǐng)先的公共云提供商云平臺(tái)上運(yùn)行的關(guān)鍵的大數(shù)據(jù)服務(wù)包括: 微軟Azure:在微軟Azure上使用Hadoop、Spark、R Server、HBase,以及Storm群集的HDInsight。
谷歌云平臺(tái):用于分析數(shù)據(jù)倉庫的BigQuery,用于批量和流處理的云數(shù)據(jù)流,用于托管Hadoop和Spark的Cloud Dataproc,以及用于數(shù)據(jù)挖掘的Cloud Datalab。
AWS云平臺(tái):使用Hadoop和Spark的Elastic MapReduce; Athena在簡(jiǎn)單存儲(chǔ)服務(wù)中進(jìn)行分析; Elasticsearch集群。
除了第三方培訓(xùn)選項(xiàng)外,云計(jì)算提供商還提供有用的學(xué)習(xí)功能以加速采用。
例如,在谷歌云計(jì)算控制平臺(tái)中,有一個(gè)“試用”功能的例子。
Nabeel認(rèn)為,實(shí)踐經(jīng)驗(yàn)有很長的路要走。
他說:“學(xué)習(xí)一門課程是有幫助的,但如果課程真正涉及到工作人員所需要的具體知識(shí)時(shí),并不總是能夠解決問題。
” 網(wǎng)絡(luò)流量分析提供商Kentik公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官Avi Freedman表示,雖然提供特定于供應(yīng)商的大型數(shù)據(jù)工具的知識(shí)非常重要,但組織也應(yīng)該努力在多個(gè)云平臺(tái)上使其團(tuán)隊(duì)的技能多樣化。
過于依賴單一供應(yīng)商的企業(yè)有些短視,因?yàn)楝F(xiàn)在市場(chǎng)上沒有明顯的贏家。
Copyright © 2021 深圳市維創(chuàng)信息技術(shù)有限公司 版權(quán)所有