2019雙11,支付寶有哪些“秘密武器”?
- 來(lái)源:互聯(lián)網(wǎng)
- |
- 2019-11-20
- |
- 0 條評(píng)論
- |
- |
- T小字 T大字
經(jīng)濟(jì)日?qǐng)?bào)-中國(guó)經(jīng)濟(jì)網(wǎng)北京11月20日訊 2019雙11,支付寶參戰(zhàn)的第十一年。與十一年前相比,雙11的許多東西都改變了。比如金額——2684億,差不多是十一年前的5000倍;比如流量——訂單峰值54.4萬(wàn)筆/秒,曾經(jīng)是想都不敢想的數(shù)字;再比如層出不窮的新技術(shù),就是這些驚人數(shù)字背后的“秘密武器”,給迎戰(zhàn)雙11的戰(zhàn)士們作最完備的武裝。
也有始終不變的東西。大戰(zhàn)來(lái)臨前的緊張、不安、如履薄冰,對(duì)每一個(gè)細(xì)節(jié)反復(fù)check的“強(qiáng)迫癥”,以及勝利之后的欣喜、釋然、滿(mǎn)心充實(shí),和下一步砥礪前行。
支付寶的技術(shù)工作,就是“半年搞建設(shè),半年搞大促”。雖然是一句戲言,但足夠從側(cè)面證明大促作為實(shí)踐戰(zhàn)場(chǎng)的重要性。而每當(dāng)雙11圓滿(mǎn)落下帷幕,技術(shù)人也就到了收獲的季節(jié)。那些歷經(jīng)雙11大考的新技術(shù),就像經(jīng)歷過(guò)了“成人式”一樣,一一走到臺(tái)前開(kāi)始獨(dú)當(dāng)一面。
螞蟻金服副CTO胡喜
SOFAMesh:金融級(jí)云原生第一步
眾所周知,金融機(jī)構(gòu)因?yàn)榧缲?fù)的責(zé)任重大,面對(duì)新技術(shù)時(shí),普遍都是比較保守的。支付寶也不例外,尤其是在雙11這種場(chǎng)景下,流量大,峰值高,平時(shí)不管多小的問(wèn)題,在這時(shí)候都可能被放大成不得了的大問(wèn)題。
于是,今年的大促迫在眉睫時(shí),SOFAMesh團(tuán)隊(duì)還在糾結(jié)。來(lái)自周?chē)母鞣N聲音,讓他們感到壓力很大。被問(wèn)到的最多的問(wèn)題,就是“這個(gè)靠不靠譜?”
一個(gè)“行”字,在雙11的面前,可能有千鈞之重。能不能扛過(guò)零點(diǎn)的流量峰值?能不能保障穩(wěn)定?能不能保證不出差錯(cuò)?
Mesh是一項(xiàng)很新的技術(shù),社區(qū)開(kāi)源項(xiàng)目本就不成熟,而SOFAMesh是支付寶從第一行代碼開(kāi)始完全自主開(kāi)發(fā)的項(xiàng)目,在金融級(jí)的嚴(yán)苛要求面前,在雙11的極端場(chǎng)景之下,究竟行不行?誰(shuí)心里都沒(méi)有底。
然而此時(shí)不上,整整兩年的心血就白費(fèi)了。反過(guò)來(lái)說(shuō),如果能打贏(yíng)這一仗,就證明云原生之路在雙11這種體量的考驗(yàn)之下都是可行的,這對(duì)于整個(gè)行業(yè)而言,會(huì)是一個(gè)很好的標(biāo)桿。
“螞蟻金服要做金融行業(yè)技術(shù)的拓荒者和實(shí)踐者。”資深技術(shù)專(zhuān)家楊海悌說(shuō)。
這已不是螞蟻金服第一次做“吃螃蟹的人”,在金融機(jī)構(gòu)普遍依賴(lài)IOE時(shí),他們率先開(kāi)始探索分布式,現(xiàn)在分布式漸漸成為主流,他們又率先琢磨起云原生。
“以前都是業(yè)務(wù)推動(dòng)技術(shù),現(xiàn)在到了技術(shù)為業(yè)務(wù)提供紅利的時(shí)候了。”對(duì)于自己看著長(zhǎng)大的SOFAMesh,楊海悌一面很有信心,一面也十分忐忑。
SOFAMesh是支付寶針對(duì)金融行業(yè)的特殊需求而開(kāi)發(fā)的金融級(jí)中間件,屬于金融級(jí)云原生分布式框架SOFAStack的一部分,這個(gè)框架的開(kāi)發(fā)始于2009年,幾乎和雙11同齡。
是騾子是馬,總得遛過(guò)了才知道。SOFAMesh的第一份答卷很快交了出來(lái)——以往分時(shí)復(fù)用的資源切換需要4小時(shí),用上了SOFAMesh之后,不到4分鐘。性能提升將近百倍。
分時(shí)復(fù)用,顧名思義,就是在不同的時(shí)間段里讓同一個(gè)資源能夠“復(fù)用”于多個(gè)應(yīng)用。這一技術(shù)能夠減少資源閑置,提高資源的利用效率。這一技術(shù)在2018年雙11就曾立過(guò)功——當(dāng)時(shí),支付寶面對(duì)這天貓雙11和自己的會(huì)員大促的“雙大促”挑戰(zhàn),為了節(jié)約成本少采購(gòu)一些資源,上線(xiàn)了分時(shí)調(diào)度1.0,使用同一批資源同時(shí)支持兩個(gè)大促,在支撐天貓雙 11 和經(jīng)濟(jì)體用戶(hù)增長(zhǎng)兩個(gè)大促的同時(shí),IT成本一分錢(qián)也沒(méi)有漲。
但去年在彈性架構(gòu)模式下做分時(shí)調(diào)度,切換資源需要重新配置和部署相關(guān)系統(tǒng),4個(gè)小時(shí)的切換時(shí)間,雖然成功支持了“雙大促”,還是滿(mǎn)足不了對(duì)短時(shí)間內(nèi)快速調(diào)用資源有需求的業(yè)務(wù)。
到了今年,由于SOFAMesh的上線(xiàn),切換資源不再需要重新部署,切換時(shí)間縮短到了3分40秒。這意味著,像螞蟻森林那樣每天都會(huì)面臨流量小高峰的業(yè)務(wù),無(wú)需事先留足資源余量,提前10分鐘開(kāi)始切換資源,都綽綽有余。
“將來(lái),切換時(shí)間還有望縮短到秒級(jí)。”楊海悌說(shuō)。
2019年雙11,SOFAMesh扮演了非常重要角色——100%覆蓋螞蟻金服核心支付鏈路,幾十萬(wàn)容器,峰值千萬(wàn)QPS,平均RT(響應(yīng)時(shí)間) 0.2ms,是業(yè)界最大的 Service Mesh 集群。它在洪峰面前的穩(wěn)定性和平滑性,以及對(duì)效率的顯著提升,都是有目共睹的。
這張漂亮的成績(jī)單背后,其實(shí)就是一個(gè)字——行。
“云原生”已經(jīng)成為業(yè)界公認(rèn)的技術(shù)趨勢(shì),它的目標(biāo)是提升運(yùn)維效率、降低資源使用成本、提升服務(wù)安全可靠性等。云原生帶來(lái)的基礎(chǔ)設(shè)施升級(jí),為技術(shù)演進(jìn)提供基礎(chǔ)能力支撐,并且提升未來(lái)架構(gòu)空間的想象力。2019也是支付寶的金融級(jí)云原生落地元年,包括SOFAMesh在內(nèi)的一系列云原生技術(shù),經(jīng)歷雙11的考驗(yàn)之后,向整個(gè)業(yè)界證明——我們行,云原生這條路,也行。
雙11之后,螞蟻金服舉辦的發(fā)布會(huì)上,副CTO胡喜宣布,會(huì)將打磨十年之久的SoFAStack對(duì)外公開(kāi)。
正如“元年”一詞所說(shuō),這只是螞蟻金服在新的開(kāi)拓之路上邁出的第一步。
OceanBase 2.2:世界紀(jì)錄就是用來(lái)打破的
OceanBase被人質(zhì)疑“行不行”的次數(shù),更是多到數(shù)不過(guò)來(lái)。
數(shù)據(jù)庫(kù)是命脈,尤其是金融機(jī)構(gòu)的數(shù)據(jù)庫(kù),出一點(diǎn)問(wèn)題都是真金白銀的問(wèn)題,哪個(gè)業(yè)務(wù)都不敢冒風(fēng)險(xiǎn),老老實(shí)實(shí)抱著老牌進(jìn)口貨Oracle,圖個(gè)太平。
但Oracle也沒(méi)見(jiàn)過(guò)雙11這種陣仗,隨著雙11的流量連年翻番,它的性能眼見(jiàn)著碰到了天花板。2014年雙11前的壓測(cè),Oracle出現(xiàn)了10%的流量缺口。
OceanBase感到機(jī)會(huì)來(lái)了。在那之前,他們已經(jīng)“蟄伏”了四五年,沒(méi)有固定的業(yè)務(wù),最落魄的時(shí)候,甚至面臨團(tuán)隊(duì)解散和項(xiàng)目取消的境況。
當(dāng)時(shí)的OcaenBase將滿(mǎn)5歲,版本號(hào)卻還是0.x,外表看來(lái)甚至還是個(gè)demo,一上來(lái)就要承接雙11的10%的流量,相當(dāng)于支付寶平日流量的最高峰,而且要做的還是最核心的交易系統(tǒng)——一分錢(qián)都不能出錯(cuò)的那種。
一時(shí)之間,“你們行不行”的質(zhì)疑聲此起彼伏。
“別人說(shuō)我們不行的時(shí)候,我們都非常堅(jiān)定地認(rèn)為,行。”螞蟻金服研究員楊傳輝說(shuō)。他是OceanBase開(kāi)發(fā)團(tuán)隊(duì)的初期成員之一,親眼見(jiàn)過(guò)OceanBase寫(xiě)下第一行代碼。
從拿下10%的任務(wù),到雙11的正式大考,時(shí)間不足兩周。最后十來(lái)天,資深運(yùn)維專(zhuān)家?guī)熚膮R帶著全團(tuán)隊(duì)幾乎不眠不休地做優(yōu)化,硬是把長(zhǎng)達(dá)10毫秒的響應(yīng)時(shí)間降低到了1毫秒以下。
那一年的雙11,OceanBase沒(méi)出一個(gè)差錯(cuò),一戰(zhàn)成名。
今年的雙11,OceanBase的版本號(hào)是2.2。在為版本命名方面,他們的謹(jǐn)慎作風(fēng)一如既往。
但是OceanBase的每一次版本迭代,發(fā)生的都是“脫胎換骨”的變化,自己創(chuàng)下的紀(jì)錄,也由自己不斷刷新——
2018年雙11,基于OceanBase 2.0分區(qū)方案的架構(gòu)正式上線(xiàn),這一架構(gòu)解決了數(shù)據(jù)庫(kù)可擴(kuò)展的瓶頸,將每秒交易的承載能力提升到百萬(wàn)級(jí),并讓性能提升了50%。
50%的提升不是個(gè)小數(shù)目,但更令人驚訝的是,僅僅一年之隔,在2019年的雙11中,全新上線(xiàn)的OceanBase 2.2版本,在2.0的基礎(chǔ)上,又讓性能提高了50%。
就在今年的10月3日,權(quán)威機(jī)構(gòu)國(guó)際事務(wù)處理性能委員會(huì)TPC披露:螞蟻金服的分布式關(guān)系數(shù)據(jù)庫(kù)OceanBase,打破美國(guó)甲骨文公司保持了9年的世界紀(jì)錄,登頂TPC-C榜單,同時(shí)也成為首個(gè)登上該榜單的中國(guó)數(shù)據(jù)庫(kù)系統(tǒng)。
短短的一個(gè)月之后,在2019年雙11的考場(chǎng)之上,OceanBase2.2又再次刷新了數(shù)據(jù)庫(kù)處理峰值,達(dá)6100萬(wàn)次/秒,創(chuàng)造了新的世界紀(jì)錄。
在金融級(jí)核心數(shù)據(jù)庫(kù)的嚴(yán)格要求之下,OceanBase為何還能有這樣跨越式的性能升級(jí)?
關(guān)鍵的秘密在于,OceanBase背后是原生的分布式數(shù)據(jù)庫(kù)設(shè)計(jì)以及PAXOS協(xié)議,通過(guò)水平擴(kuò)展x86服務(wù)器就可以達(dá)到無(wú)限伸縮,支持大規(guī)模高并發(fā)的效果。
另一方面,今年為了進(jìn)一步提升性能和降低延遲,OceanBase還通過(guò)中間件的優(yōu)化,自動(dòng)將多條SQL聚合成輕量級(jí)的存儲(chǔ)過(guò)程,這個(gè)過(guò)程讓原本需要數(shù)十次SQL網(wǎng)絡(luò)交互的任務(wù)降低為單次網(wǎng)絡(luò)交互,整體RT降低了20%。
現(xiàn)在,支付寶的業(yè)務(wù)已經(jīng)100%跑在OceanBase上,作為我國(guó)第一個(gè)自研的金融級(jí)分布式數(shù)據(jù)庫(kù),經(jīng)過(guò)六年的雙11錘煉,它也已經(jīng)具備了走出螞蟻金服、走向更廣闊天地的底氣。
今年雙11中,支付寶支付業(yè)務(wù)100%切換到OceanBase內(nèi)置的Oracle兼容模式上,支持Oracle語(yǔ)法以及存儲(chǔ)過(guò)程優(yōu)化的同時(shí),又兼具OceanBase的分布式能力,如分布式分區(qū)表、全局事務(wù)等,響應(yīng)時(shí)間也更加平穩(wěn)。雙11之后,OceanBase2.2也將正式公開(kāi)發(fā)布。
“不過(guò),在別人覺(jué)得我們什么都行的時(shí)候,我們反而會(huì)冷靜下來(lái),想想自己還有哪些不行的地方。”楊傳輝說(shuō),對(duì)技術(shù)上一切未知的敬畏,才能讓大家走得更遠(yuǎn)。
圖智能:復(fù)雜金融關(guān)系的最優(yōu)解
“過(guò)去很長(zhǎng)一段時(shí)間圖數(shù)據(jù)庫(kù)和圖計(jì)算一直停留在學(xué)術(shù)研究階段,行業(yè)應(yīng)用場(chǎng)景不多,是因?yàn)闆](méi)有強(qiáng)的場(chǎng)景驅(qū)動(dòng),所以市場(chǎng)沒(méi)有太多發(fā)展”, 螞蟻金服計(jì)算存儲(chǔ)首席架構(gòu)師何昌華指出。但是反過(guò)來(lái)看,圖相關(guān)的產(chǎn)品近年來(lái)熱度不斷攀升,其核心原因是因?yàn)閺?qiáng)場(chǎng)景的驅(qū)動(dòng),特別是金融場(chǎng)景,它非常善于處理大量的、復(fù)雜的、關(guān)聯(lián)的、多變的網(wǎng)狀數(shù)據(jù),通過(guò)節(jié)點(diǎn)和關(guān)聯(lián)的數(shù)據(jù)模型去快速解決復(fù)雜的關(guān)系問(wèn)題。
螞蟻的一站式圖平臺(tái)的誕生,也有著鮮明的螞蟻金服特色,同樣是“被業(yè)務(wù)倒逼出來(lái)的”。
螞蟻金服在2014年左右就開(kāi)始跟進(jìn)社區(qū)的圖計(jì)算的研究,當(dāng)時(shí)的團(tuán)隊(duì)在一些開(kāi)源產(chǎn)品基礎(chǔ)上進(jìn)行了小規(guī)模的嘗試,做了之后發(fā)現(xiàn)效果很好,圖數(shù)據(jù)庫(kù)能夠很好地和金融、社交業(yè)務(wù)結(jié)合起來(lái)。但是,螞蟻金服有著巨大的數(shù)據(jù)量,需要以分布式架構(gòu)來(lái)支撐高并發(fā)的大數(shù)據(jù)量和大吞吐量,但當(dāng)時(shí)無(wú)論是開(kāi)源還是商業(yè)數(shù)據(jù)庫(kù)產(chǎn)品都只是單機(jī)版,都難以適應(yīng)螞蟻金服如此大的數(shù)據(jù)量和復(fù)雜的環(huán)境。于是,艱難而又步步扎實(shí)的自研之路開(kāi)始了。
最開(kāi)始,要解決的是圖數(shù)據(jù)的存儲(chǔ)和在線(xiàn)查詢(xún)的問(wèn)題。
從數(shù)據(jù)量來(lái)看,分布式架構(gòu)是唯一的選擇。從滿(mǎn)足金融場(chǎng)景高并發(fā)低延時(shí)的需求來(lái)看,選擇原生圖結(jié)構(gòu)而非基于關(guān)系型數(shù)據(jù)庫(kù)基礎(chǔ)上封裝圖數(shù)據(jù),成為必然。但也因?yàn)橐陨蟽牲c(diǎn),導(dǎo)致整個(gè)開(kāi)發(fā)難度大大增加。
從2015年初團(tuán)隊(duì)開(kāi)始組建,經(jīng)過(guò)“冬練三九、夏練三伏”的苦修,以及在代碼、運(yùn)維、穩(wěn)定性等每一環(huán)節(jié)的極致追求,第一個(gè)圖數(shù)據(jù)庫(kù)版本GeaBase在2016年初發(fā)布。
而這時(shí)候,剛好遇到支付寶史上最大一次改版,模塊化功能被替換成信息流,大大強(qiáng)化了社交關(guān)系屬性,GeaBase開(kāi)始接入支付寶鏈路。
百煉成鋼,經(jīng)過(guò)幾個(gè)月的壓測(cè),2016年6月,新版支付寶上線(xiàn),GeaBase迎來(lái)了第一筆流量。接著幾年,從支付寶大改版到新春紅包再到雙11,GeaBase迎來(lái)了業(yè)務(wù)的綻放期,到2019年雙11,GeaBase雙11主鏈路上單集群規(guī)模突破萬(wàn)億邊,點(diǎn)邊查詢(xún)突破800萬(wàn)QPS,平均時(shí)延小于10ms;成為支付寶核心鏈路上非常重要的一環(huán);
數(shù)據(jù)存儲(chǔ)和查詢(xún)的問(wèn)題解決了,緊接著要解決的是分析計(jì)算的問(wèn)題。
在一開(kāi)始,我們思考的是如何在海量的圖數(shù)據(jù)里做數(shù)據(jù)挖掘的問(wèn)題。在面對(duì)千億乃至萬(wàn)億級(jí)規(guī)模,幾TB到幾百TB的數(shù)據(jù),用超大內(nèi)存物理機(jī)和高速網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)離線(xiàn)全圖計(jì)算,對(duì)企業(yè)來(lái)說(shuō)不太現(xiàn)實(shí),資源也存在極大的浪費(fèi)。因此,我們重點(diǎn)放在如何在滿(mǎn)足業(yè)務(wù)功能/性能需求的同時(shí),利用碎片化的現(xiàn)有資源,實(shí)現(xiàn) “按需計(jì)算”的能力。
因此,2017年,我們?cè)诤A繑?shù)據(jù)基礎(chǔ)上,設(shè)計(jì)了一套離線(xiàn)計(jì)算的框架,提供自適應(yīng)的分區(qū)策略,資源消耗能比同類(lèi)產(chǎn)品降低一個(gè)數(shù)量級(jí),同時(shí)性能還能遠(yuǎn)遠(yuǎn)優(yōu)于GraphX等開(kāi)源產(chǎn)品。
同時(shí),為了方便業(yè)務(wù)算法人員根據(jù)其業(yè)務(wù)進(jìn)行二次開(kāi)發(fā),還開(kāi)放了C++和JAVA的接口,除了業(yè)界常見(jiàn)的圖編程框架的Pregel、GAS,我們還做了一定的“微創(chuàng)新”和能力擴(kuò)展,提供了更高性能,更加豐富功能的接口。
全量分析計(jì)算的事情解決了,但隨著“310”策略的推進(jìn),風(fēng)控業(yè)務(wù)的發(fā)展,對(duì)分析的時(shí)效性的要求越來(lái)越高,分析需要更快,更實(shí)時(shí),2018年,我們開(kāi)始考慮在線(xiàn)圖計(jì)算的能力。
有時(shí)候,并不是所有業(yè)務(wù)都需要進(jìn)行復(fù)雜的圖分析,而是在滿(mǎn)足一定的條件后才開(kāi)始進(jìn)行子圖的迭代計(jì)算。最后,基于圖的迭代計(jì)算的結(jié)果,在進(jìn)行數(shù)據(jù)鏈路的處理后再提供給在線(xiàn)使用。
因此,一個(gè)場(chǎng)景在完整的計(jì)算鏈路中,需要流計(jì)算和圖計(jì)算兩種模態(tài)的融合計(jì)算。我們打破了傳統(tǒng)計(jì)算模態(tài)的邊界,提供流圖融合的計(jì)算系統(tǒng)。通過(guò)將數(shù)據(jù)流和控制流相結(jié)合,并提供動(dòng)態(tài)DAG的能力,從而實(shí)現(xiàn)按需計(jì)算,彈性擴(kuò)縮容。
用戶(hù)可以通過(guò)一套統(tǒng)一的DSL(SQL+Gremlin/GQL)、一套計(jì)算系統(tǒng)來(lái)實(shí)現(xiàn)完成流圖融合的鏈路,實(shí)現(xiàn)基于數(shù)據(jù)驅(qū)動(dòng)的在線(xiàn)圖計(jì)算能力,同時(shí),減少了用戶(hù)的學(xué)習(xí)、運(yùn)維成本。
在2019年雙11上,在線(xiàn)圖計(jì)算技術(shù)大放異彩,通過(guò)秒級(jí)決策,在花唄等場(chǎng)景幫助業(yè)務(wù)效果提升12倍。
從“海量”圖存儲(chǔ),到離線(xiàn)全圖 “按需計(jì)算”,再到“實(shí)時(shí)”在線(xiàn)圖計(jì)算,螞蟻的圖智能技術(shù)跟隨業(yè)務(wù)一步步發(fā)展,壯大。
融合計(jì)算引擎:新計(jì)算威力初現(xiàn)
今年的雙11還落地應(yīng)用了一套新的“神器”——融合計(jì)算引擎,它耗費(fèi)了近百位工程師一整年的心血。
融合計(jì)算引擎的基礎(chǔ),是螞蟻金服聯(lián)合 UC Berkeley 大學(xué)推進(jìn)的新一代計(jì)算引擎Ray,它很年輕,2018年融合計(jì)算引擎項(xiàng)目啟動(dòng)時(shí),它只有幾萬(wàn)行代碼,距離金融級(jí)線(xiàn)上環(huán)境的應(yīng)用還差得很遠(yuǎn)。
“我們用了一整年,把它增加到了幾十萬(wàn)行代碼,并且涵蓋了C++、java、Python等所有語(yǔ)言。”螞蟻金服資深技術(shù)專(zhuān)家周家英說(shuō)。
至少4個(gè)團(tuán)隊(duì)在共同“養(yǎng)育”這個(gè)引擎,四個(gè)奶爸帶娃,磕磕絆絆,在所難免,難度遠(yuǎn)遠(yuǎn)大于一個(gè)團(tuán)隊(duì)負(fù)責(zé)一個(gè)引擎。
但開(kāi)發(fā)時(shí)的“難”,是為了應(yīng)用時(shí)的“簡(jiǎn)”。
在計(jì)算引擎執(zhí)行層面,不同計(jì)算模式的數(shù)據(jù)是可以在引擎內(nèi)共享的,很少借助第三方存儲(chǔ),因此對(duì)外部存儲(chǔ)和網(wǎng)絡(luò)傳輸?shù)拈_(kāi)銷(xiāo)也都有極大的節(jié)省。
在應(yīng)用方面,融合計(jì)算引擎不僅能夠解決金融場(chǎng)景中需要銜接多個(gè)不同計(jì)算模式的難題,還能支持各種不同時(shí)效性的業(yè)務(wù),并在支付過(guò)程中提供秒級(jí)智能決策能力。
并且隨著融合引擎的落地,也改變著技術(shù)同學(xué)的研發(fā)習(xí)慣。我們希望通過(guò)融合計(jì)算引擎,達(dá)成研發(fā)態(tài),運(yùn)行態(tài),運(yùn)維態(tài)三位一體的統(tǒng)一:例如在動(dòng)態(tài)圖計(jì)算場(chǎng)景,計(jì)算開(kāi)發(fā)同學(xué)只需要編寫(xiě)一個(gè)流+圖的計(jì)算作業(yè),就可以實(shí)現(xiàn)秒級(jí)6度鄰居的圖迭代計(jì)算;同樣在機(jī)器學(xué)習(xí)領(lǐng)域,通過(guò)編寫(xiě)一個(gè)包含流+模型訓(xùn)練+服務(wù)的計(jì)算作業(yè),就可以實(shí)現(xiàn)端到端秒級(jí)模型導(dǎo)出的在線(xiàn)學(xué)習(xí)能力。這樣從研發(fā)到運(yùn)行態(tài),計(jì)算整體效率都得到了極大提升。
2018年,融合計(jì)算就在花唄反套現(xiàn)的智能甄別之中表現(xiàn)卓越。到了2019年,融合計(jì)算引擎已經(jīng)在支付寶不同場(chǎng)景中落地——圖計(jì)算在花唄,螞蟻森林等場(chǎng)景中大規(guī)模上線(xiàn),圖數(shù)據(jù)庫(kù)Geabase突破萬(wàn)億邊。
2019年支付寶新春紅包活動(dòng)中,融合計(jì)算引擎用在線(xiàn)學(xué)習(xí)能力支持了新春紅包的智能文案,讓它的算法跑在了新的在線(xiàn)學(xué)習(xí)的體系上。這個(gè)體系融合了流計(jì)算和機(jī)器學(xué)習(xí),讓機(jī)器學(xué)習(xí)的模型迭代速度從以前的小時(shí)級(jí)別,提升到了現(xiàn)在的秒級(jí)別。本次雙11時(shí),它在“支日歷”的推薦算法方面發(fā)揮了重要作用。
通過(guò)融合流計(jì)算、服務(wù)和并發(fā)查詢(xún),融合計(jì)算引擎減少了60%的機(jī)器資源使用,把端到端的延遲壓低到了毫秒級(jí),同時(shí)還能支持金融網(wǎng)絡(luò)的業(yè)務(wù)查詢(xún)和監(jiān)控。
今年雙11中,融合計(jì)算引擎在至少三個(gè)場(chǎng)景中成功落地并被驗(yàn)證可行,“還跑在了螞蟻金融級(jí)關(guān)鍵決策鏈路上。”周家英不無(wú)興奮,“這證明了我們的計(jì)算引擎具備了金融級(jí)的能力。”
事實(shí)上,無(wú)論是在雙11這樣的極端大考場(chǎng)景中,還是在支付寶、阿里巴巴,以及各個(gè)互聯(lián)網(wǎng)科技公司的日常應(yīng)用場(chǎng)景中,數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)也越來(lái)越多。相應(yīng)地,海量數(shù)據(jù)的實(shí)時(shí)處理、分析和應(yīng)用,以及人工智能、深度學(xué)習(xí)等新技術(shù)的開(kāi)發(fā),都在要求著更強(qiáng)大的計(jì)算能力,以及能夠應(yīng)對(duì)復(fù)雜場(chǎng)景的多種計(jì)算模式。
面對(duì)未來(lái),更多的是未知——我們尚且不知未來(lái)會(huì)出現(xiàn)什么樣的場(chǎng)景,這些場(chǎng)景會(huì)要求什么樣的計(jì)算模式和計(jì)算能力。“融合計(jì)算是真正意義上的新計(jì)算的第一步。”螞蟻金服計(jì)算存儲(chǔ)首席架構(gòu)師何昌華說(shuō)。
- 標(biāo)簽:
- 編輯:李娜
- 相關(guān)文章