ChatGPT的驚艷表現(xiàn)牽動(dòng)了全球科技愛好者的心弦,僅僅2個(gè)月就實(shí)現(xiàn)了用戶數(shù)從0到1億的蛻變。ChatGPT能準(zhǔn)確地理解語義并能進(jìn)行流暢和較為正確的問答。多模態(tài)的大模型具備繪畫、生成視頻以及編寫代碼的能力。擴(kuò)散模型的運(yùn)用讓人感到智能“涌現(xiàn)”的魅力,大模型的綜合能力和效率甚至達(dá)到了專家級(jí)水平。
就在眾多企業(yè)高管面對如此重大技術(shù)變革而感到不知所措和迷茫、焦慮時(shí),那些對技術(shù)有著敏銳洞察力并勇于擁抱變革的企業(yè)已開始摩拳擦掌、躍躍欲試了。
沒有萬張加速卡,企業(yè)無緣大模型?
訓(xùn)練大模型需要巨大的算力,然而這些企業(yè)發(fā)現(xiàn),在垂直行業(yè),可借助各類開源模型,以及自己企業(yè)所積累的大量數(shù)據(jù)和經(jīng)驗(yàn),通過微調(diào)技術(shù)的再訓(xùn)練,就可以構(gòu)建一個(gè)垂直領(lǐng)域的GPT(Generative Pre-Trained Transformer 生成式預(yù)訓(xùn)練Transfomer模型)模型。
企業(yè)真正要落地GPT卻不是件容易的事,擺在眼前的就有三大挑戰(zhàn)。在證券機(jī)構(gòu)執(zhí)掌技術(shù)團(tuán)隊(duì)多年、出任公司CTO的顏云峰表示:“我們首先遇到的就是算力難題。雖然微調(diào)技術(shù)并不像大模型那樣需要成千上萬張的AI加速卡,但所需的算力也是有極高的要求。這就需要企業(yè)能構(gòu)造一個(gè)可擴(kuò)展、能持續(xù)演進(jìn)的算力發(fā)展架構(gòu)。”
“第二是數(shù)據(jù)安全難題。無論是數(shù)據(jù)還是模型都是企業(yè)多年積累的高價(jià)值數(shù)據(jù)資產(chǎn)。因此無論在計(jì)算、存儲(chǔ)中都要保障數(shù)據(jù)資產(chǎn)的安全。”
“第三是部署與運(yùn)維難題。AI帶來的新算力、存儲(chǔ)需求要與原有IT系統(tǒng)融合、互通,加快數(shù)據(jù)流通的同時(shí)也增加了IT部署與運(yùn)維的難度。”
持續(xù)創(chuàng)新應(yīng)立即行動(dòng),但要做好五方面準(zhǔn)備:
“希望通過持續(xù)創(chuàng)新提高競爭力的公司一定會(huì)選擇立即行動(dòng)。雖然這項(xiàng)技術(shù)還不成熟,但這也取決于公司自身的條件。任何AI的部署都是個(gè)非常復(fù)雜的工程。如果企業(yè)要實(shí)現(xiàn)規(guī)模化和可持續(xù)的生產(chǎn),就需要在流程、技術(shù)和開發(fā)上做大量的準(zhǔn)備工作。”HPE與AI云服務(wù)業(yè)務(wù)發(fā)展總監(jiān)Edmondo Orlotti這樣表示。
對此,對那些堅(jiān)定地期望利用GPT創(chuàng)新的企業(yè)給出了五點(diǎn)建議,他表示:
“第一,要評估企業(yè)數(shù)據(jù)的成熟度水平。即戰(zhàn)略、組織和技術(shù)能力,使其能夠利用人工智能從數(shù)據(jù)中創(chuàng)造價(jià)值時(shí),生成式人工智能才能生存和發(fā)展。但據(jù)HPE最新的全球調(diào)查顯示,絕大多數(shù)組織在此能力上還存在巨大的差距。”
“第二,在數(shù)據(jù)架構(gòu)和治理方面,企業(yè)需要搭建一個(gè)統(tǒng)一的公司級(jí)的數(shù)據(jù)架構(gòu)和治理平臺(tái)。完善數(shù)據(jù)架構(gòu)和數(shù)據(jù)治理平臺(tái)才能以優(yōu)質(zhì)的數(shù)據(jù)不斷進(jìn)行訓(xùn)練,以此推動(dòng)企業(yè)的生產(chǎn)和服務(wù)不斷地向好發(fā)展。”
“第三,做好采用混合平臺(tái)的準(zhǔn)備。 模型訓(xùn)練和推理可以在大型語言模型供應(yīng)商(如OpenAI、Aleph Alpha、Google)運(yùn)營的集中式AI超級(jí)計(jì)算機(jī)上運(yùn)行,但從長遠(yuǎn)來看,會(huì)有各種原因會(huì)導(dǎo)致公司必須建立一個(gè)混合或邊緣到云的平臺(tái)。具有實(shí)時(shí)推理的用例要求模型在本地AI基礎(chǔ)設(shè)施上運(yùn)行,以盡量減少延遲。但隨著訓(xùn)練數(shù)據(jù)越來越多地分布在各地,企業(yè)就要匯總數(shù)據(jù),而不是將其集中起來,因?yàn)榧械財(cái)?shù)據(jù)成本極高且速度慢、不安全。”
“第四,知識(shí)產(chǎn)權(quán)和版權(quán)問題。生成式人工智可能是未來十年決定性技術(shù)之一,將對企業(yè)未來的發(fā)展起到戰(zhàn)略性作用。可以預(yù)見,大型語言模型市場將被全球少數(shù)幾個(gè)供應(yīng)商所主導(dǎo),這使得知識(shí)產(chǎn)權(quán)和版權(quán)將成為生成性人工智能的一個(gè)關(guān)鍵影響因素。企業(yè)應(yīng)盡量減少對外的版權(quán)依賴和注重保護(hù)自身的知識(shí)產(chǎn)權(quán)。企業(yè)應(yīng)采用混合方法規(guī)避相關(guān)風(fēng)險(xiǎn),在本地運(yùn)行具有版權(quán)的的大型語言模型。”
“第五,流程整合。企業(yè)在規(guī)劃人工智能應(yīng)用時(shí),往往忽略了將其整合到現(xiàn)有的運(yùn)營和技術(shù)流程中,這是造成人工智能項(xiàng)目失敗的主要原因。企業(yè)應(yīng)建立起包括應(yīng)用和數(shù)據(jù)生命周期的管理、安全、運(yùn)營規(guī)劃和控制流程、運(yùn)營安全和風(fēng)險(xiǎn)管理的各完善體系。”
HPE “四大能力”應(yīng)對“三大挑戰(zhàn)”,GPT解決方案讓大模型飛入尋常“企業(yè)”家
不論是大模型還是以LoRA這樣的微調(diào)方式,都需要讓模型適配不同算法和數(shù)據(jù)集,就需要底層硬件具備“由低向高”平滑過渡的整體解決方案。進(jìn)而滿足不同企業(yè)部署不同規(guī)模模型實(shí)現(xiàn)合理投入產(chǎn)出的方案。而這正是HPE GPT整體解決方案的優(yōu)勢所在,其核心就是算力和數(shù)據(jù)讀寫能力。
HPE通過GPT方案的四大能力來應(yīng)對顏云峰所提出的三大挑戰(zhàn)。
第一,靈活的動(dòng)態(tài)調(diào)整能根據(jù)業(yè)務(wù)進(jìn)行適配。
降低入門門檻,實(shí)現(xiàn)無縫銜接擴(kuò)展,完美配合企業(yè)從入門到發(fā)展壯大的各階段以及根據(jù)產(chǎn)品研發(fā)的進(jìn)展動(dòng)態(tài)調(diào)整是這一方案的特色之一。
計(jì)算資源上,企業(yè)可以從HPE ProLiant 系列服務(wù)器開始入門。HPE ProLiant服務(wù)器經(jīng)過優(yōu)化設(shè)計(jì),可以為組織的數(shù)據(jù)密集型工作負(fù)載提供超高性能。與此同時(shí),HPE ProLiant Gen11支持多種架構(gòu),包括第四代AMD EPYC?處理器,第四代Intel®Xeon® Scalable處理器,以及Ampere®Altra®和Ampere®Altra®Max云原生處理器。
進(jìn)階級(jí)的企業(yè)可以選擇HPE Apollo 6500 服務(wù)器。它采用了業(yè)內(nèi)領(lǐng)先的硬件配置與性能參數(shù),HPE Apollo 6500 系統(tǒng)成為人工智能領(lǐng)域最高端的引擎。不僅是GPU與計(jì)算架構(gòu)進(jìn)行了升級(jí),在計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)各個(gè)方面都不會(huì)有性能瓶頸。
HPE Apollo 6500
最高8顆GPU計(jì)算架構(gòu),并支持NVLink2.0協(xié)議。NVLink能在GPU與GPU以及GPU與CPU間實(shí)現(xiàn)高帶寬直連的快速通訊機(jī)制。單個(gè)NVIDIA Tesla V100 GPU 即可支持多達(dá) 6 條NVLink鏈路,總帶寬為300Gb/秒,是PCIe 3.0帶寬的10倍。NVLink2.0高效混合立方網(wǎng)格是目前最為高性能的解決方案。用戶也可以使用基于PCIe的4:1或8:1的GPU:CPU連接。不同拓?fù)湓诟咝阅芘c易用性上各有優(yōu)勢,適用各種場景,用戶可以根據(jù)業(yè)務(wù)模型靈活的選擇。
HPE Apollo 6500 不僅能滿足各類深度學(xué)習(xí)應(yīng)用場景需求。其高度易用性和靈活性,充分降低了構(gòu)建高性能人工智能系統(tǒng)的門檻,企業(yè)可以在HPE Apollo 6500 構(gòu)建的堅(jiān)實(shí)基礎(chǔ)架構(gòu)上以最短的時(shí)間完成對各類算法的訓(xùn)練。
第二,“6個(gè)9”的高可用性確保企業(yè)數(shù)據(jù)資產(chǎn)高效安全。
高達(dá)“6個(gè)9”的高可用性是HPE無論在計(jì)算還是存儲(chǔ)上的標(biāo)配。同時(shí)HPE存儲(chǔ)支持遠(yuǎn)程復(fù)制對等持久性、保護(hù)模板、快照、克隆等多種數(shù)據(jù)保護(hù)措施。在All-NVMe的加持下能實(shí)現(xiàn)高性能、超低延遲的AI運(yùn)算。
存儲(chǔ)方面也為不同的企業(yè)提供了適合不同場景靈活、可持續(xù)發(fā)展的路線。GPT為代表的AI訓(xùn)練與預(yù)測需要更快、更大的存儲(chǔ)。NVMe擁有更短的IO路徑,更大的隊(duì)列深度與寬度,以及更簡單的協(xié)議堆棧等優(yōu)勢,同時(shí),NVMe增加了多隊(duì)列特性,對并行任務(wù)的友好設(shè)計(jì)也使得系統(tǒng)負(fù)載更加均衡,使閃存介質(zhì)的性能得以充分發(fā)揮,NVMe SSD正全面替換SAS SSD和SATA SSD。
HPE Alletra是一款支持端到端NVMe的閃存系統(tǒng),除了介質(zhì)層NVMe SSD之外,還支持前端的NVMe-oF、以及數(shù)據(jù)處理層NVMe SCM,從而在整個(gè)數(shù)據(jù)鏈路上擺脫了傳統(tǒng)存儲(chǔ)陣列的瓶頸,性能勢不可擋。同時(shí),其獨(dú)有的多活互聯(lián)架構(gòu)與NVMe+SCM的結(jié)合,配合軟硬件上全面優(yōu)化,可以跨越式地降低讀寫IO的時(shí)延,同樣能更好地應(yīng)對實(shí)時(shí)交易類,要求極致的IOPS需求。
HPE Apollo 4000
針對非結(jié)構(gòu)化數(shù)據(jù)場景的訓(xùn)練與預(yù)測AI需求,對所有數(shù)據(jù)進(jìn)行訪問只是開始,能大規(guī)模管理數(shù)據(jù)、支持?jǐn)?shù)據(jù)密集型應(yīng)用并確保數(shù)據(jù)安全的系統(tǒng)則是關(guān)鍵。HPE Apollo 4000系統(tǒng)能夠以極大規(guī)模存儲(chǔ)數(shù)十億個(gè)文件和對象。這一系統(tǒng)還可運(yùn)行各種現(xiàn)代化、數(shù)據(jù)驅(qū)動(dòng)型的應(yīng)用。
第三,方案簡單易用便于部署,加速企業(yè)的大模型上線。
為了讓企業(yè)更加專注助于核心業(yè)務(wù),降低企業(yè)在IT運(yùn)維、部署的難度是HPE的職責(zé)所在。HPE ProLiant服務(wù)器采用基于云原生技術(shù)的管理中樞。無論計(jì)算環(huán)境位于何處,用戶都能安全地自動(dòng)訪問、監(jiān)控和管理服務(wù)器,進(jìn)而實(shí)現(xiàn)高效運(yùn)維。云原生管理中樞帶來了便捷、統(tǒng)一和自動(dòng)化的運(yùn)維體驗(yàn),通過實(shí)現(xiàn)全局可見性和洞察讓您更好的管理計(jì)算環(huán)境。
HPE Alletra 系列存儲(chǔ)同樣采用云化的管理模式,以訂閱方式1分鐘就能實(shí)現(xiàn)數(shù)據(jù)上線。大幅降低了企業(yè)在IT方面的運(yùn)維和部署難題。
第四,提供本地化服務(wù),讓企業(yè)無后顧之憂。
以O(shè)pen AI為首的行業(yè)龍頭在采用HPE的解決方案,同時(shí),HPE利用本地化的合作伙伴網(wǎng)絡(luò),提供企業(yè)所需的策略幫助、運(yùn)維支持和培訓(xùn)服務(wù)。能讓企業(yè)獲得從邊緣到云的運(yùn)維能力,從而加快企業(yè)的數(shù)智化轉(zhuǎn)型。
ChatGPT是通用智能,“千人一面”。傳統(tǒng)企業(yè)在體量上擁有靈活的優(yōu)勢,在數(shù)據(jù)上擁有深耕行業(yè)的專精數(shù)據(jù)與經(jīng)驗(yàn)積累,利用好大模型技術(shù)則能讓企業(yè)的服務(wù)實(shí)現(xiàn)“千人千面”更好地服務(wù)客戶構(gòu)建自身競爭力,也必將使其在細(xì)分行業(yè)大放異彩。