應(yīng)用性能管理(APM)可能對于大多數(shù)國內(nèi)企業(yè)來說,還比較陌生。企業(yè)用戶利用APM可以對自身的關(guān)鍵業(yè)務(wù)應(yīng)用進(jìn)行監(jiān)測、告警與優(yōu)化,并不斷改善業(yè)務(wù)可靠性與穩(wěn)定性,提升核心競爭力。然而在研發(fā)出一款成功的APM產(chǎn)品背后,實際上也有較高的技術(shù)要求,更需要跨過很多技術(shù)難點。云智慧,作為一家專注于APM業(yè)務(wù)的SaaS服務(wù)供應(yīng)商,從創(chuàng)立伊始就開始不斷發(fā)揮著自身在技術(shù)上的基因優(yōu)勢,而這一點,從活躍在產(chǎn)品一線領(lǐng)導(dǎo)技術(shù)團(tuán)隊研發(fā)產(chǎn)品的云智慧CEO殷晉身上就能不難看出。為了進(jìn)一步了解云智慧的技術(shù)優(yōu)勢與立足之本,以及國內(nèi)APM市場形勢與前景,InfoQ特意邀請了殷晉接受專訪,談一談云智慧及APM背后的那些事。
InfoQ:請您從云智慧研發(fā)經(jīng)驗的角度,談一談APM現(xiàn)在的技術(shù)難點在于哪些方面?
殷晉:我認(rèn)為APM的技術(shù)難點主要在于兩方面。
第一個方面在于前端數(shù)據(jù)采集。在各種的語言及其運行環(huán)境中采集用戶的數(shù)據(jù),還需要盡量不影響用戶系統(tǒng)本身的性能,這實際上難度是非常大的。各種語言有不同特點,即使是比較單一的Java語言,就有Java6、Java7、Java8等各種不同的版本與運行環(huán)境,而PHP則又是另一種模式,而且還要考慮各種運行時容器、數(shù)據(jù)庫等。因此從不同的代碼里將用戶性能數(shù)據(jù)提取出來的工作就會變得非常復(fù)雜,再加上用戶最關(guān)心的問題——抓取數(shù)據(jù)時對系統(tǒng)運行有什么影響?所以算法的優(yōu)化也會變得非常重要。
第二方面是后臺的大數(shù)據(jù)分析?,F(xiàn)在很多開源的大數(shù)據(jù)框架,比如Spark、Storm、ElasticSearch、還有Hadoop,都可以做離線的數(shù)據(jù)分析,無非是效率上的差異。但是如果涉及到實時的數(shù)據(jù)分析的話就會變得非常困難,尤其是在APM領(lǐng)域,還必須要考慮到用戶體驗等因素。
InfoQ:像你剛才說的,APM的技術(shù)難點在于前端的數(shù)據(jù)采集與后端的數(shù)據(jù)分析上,那么如果把這些都放在云上的話,又會是有什么不一樣呢?
殷晉:如果針對客戶單獨開發(fā)一款軟件或是售賣許可證的話,實際產(chǎn)生的業(yè)務(wù)量都不會很大。但是當(dāng)我們的監(jiān)控服務(wù)遷移到云端,每天的數(shù)據(jù)量達(dá)到TB級,甚至更多的時候,存儲就會成為一個很大問題。這些海量的數(shù)據(jù)進(jìn)行存儲之后,還要進(jìn)行處理,并生成實時的分析報告。另外還要把用戶的數(shù)據(jù)無損的存入后端,而當(dāng)用戶規(guī)模比較大的時候,采集來自不同用戶的數(shù)據(jù)時如何有序的進(jìn)行區(qū)分整理,這些都是比較嚴(yán)峻的新挑戰(zhàn)。
InfoQ:可否詳細(xì)的談一談,云智慧這邊做了什么樣的大數(shù)據(jù)實踐?遇到了哪些問題?
殷晉:云智慧的底層系統(tǒng)實際是在大數(shù)據(jù)處理平臺的基礎(chǔ)之上也做了一些個性化的修改。比如存儲用到了Hive Database,還有個性化修改后的Elasticsearc,底層用分布式處理這種模式也做了很多水平擴(kuò)展。在前端采用了Kafka等等以接受不同來源、不同協(xié)議的數(shù)據(jù),云智慧利用這些不同的技術(shù)構(gòu)建了一套完整的框架。
當(dāng)前的瓶頸,主要還是在于實時的大數(shù)據(jù)處理。云智慧在底層的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)存儲方面做了很多工作。比如用戶可以使用一個叫做SmartView的工具,從不同角度來看數(shù)據(jù),也可以自己制定一個規(guī)則,然后去用一種近似于SQL的語言來查詢實時的數(shù)據(jù),并生成實時的分析報表。
InfoQ:對云服務(wù)來說,安全一直是一個固定話題,當(dāng)然也是用戶最關(guān)心的問題。那么云智慧在保護(hù)用戶隱私數(shù)據(jù)這方面做了什么樣的措施呢?
殷晉:保護(hù)用戶隱私數(shù)據(jù)可以為兩方面內(nèi)容,一是數(shù)據(jù)的獨立性,二是數(shù)據(jù)的安全性。數(shù)據(jù)獨立性,是指用戶不能看到其他用戶的數(shù)據(jù)。因為SaaS是多租戶模式的,因此云智慧從系統(tǒng)架構(gòu)設(shè)計上做了一些保護(hù)措施,比如對用戶數(shù)據(jù)進(jìn)行了邏輯上的分區(qū),甚至是做物理上的分區(qū)。而在數(shù)據(jù)安全性方面,云智慧同樣也做了很多專門的部署,比如針對跨站腳本攻擊,或者是一些SQL注入攻擊,都采取了相應(yīng)的防護(hù)措施,防止用戶數(shù)據(jù)泄露。另外,云智慧還會定期測試自身系統(tǒng)的安全性,不斷對系統(tǒng)漏洞或設(shè)計缺陷進(jìn)行完善。
InfoQ:您認(rèn)為今年國內(nèi)的APM市場會有新的變化嗎?或者說有新的增長點出現(xiàn)?
殷晉:今年無論是對于云智慧還是其他APM同行來說都將是非常好的一年。首先要提的就是云計算發(fā)展的推動作用。云智慧一直在做SaaS,從用戶量的增長,以及收入的各方面增長,都能明顯感覺到用戶對于SaaS的接受程度正變得越來越高。其次,國內(nèi)企業(yè)現(xiàn)在所有的業(yè)務(wù)都在強(qiáng)調(diào)互聯(lián)網(wǎng)+的概念,因此要想把業(yè)務(wù)都搬到互聯(lián)網(wǎng)上的話,就必須要依托強(qiáng)大的IT系統(tǒng),這時整個IT系統(tǒng)對于企業(yè)業(yè)務(wù)重要性就會提高,由此一來很多企業(yè)客戶就能非常清醒的認(rèn)識到,APM能夠讓企業(yè)的業(yè)務(wù)運行的更好,從而開始接受APM產(chǎn)品。
InfoQ:前一段時間好像有新聞報道出來國外老牌廠商Compuware正在把APM業(yè)務(wù)撤出中國,你覺得這對整個國內(nèi)APM市場有什么意義?
殷晉:實際上我認(rèn)為,Compuware并沒有退出中國,也不會退出中國,只是可能正處在一個比較艱難的轉(zhuǎn)型期,在對自身的業(yè)務(wù)進(jìn)行調(diào)整,同時這也證明了APM對于企業(yè)用戶的重要性。而對于國內(nèi)的APM廠商來說,在短期內(nèi)肯定會出現(xiàn)更多的機(jī)會去搶占市場份額或是爭取到更多的用戶,特別是目前國內(nèi)APM市場正處于一個上升期。另一方面,國內(nèi)廠商也將有機(jī)會吸引來一些比較高端的技術(shù)人才。
但是從長遠(yuǎn)的角度來看,Compuware的轉(zhuǎn)型對于國內(nèi)市場來說也不完全是一件好事。許多國內(nèi)企業(yè)在IT方面都依賴于IOE或是其他國外的廠商,如果未來一段時間內(nèi)國產(chǎn)化進(jìn)程仍然沒有取得較大的進(jìn)展的話,等到Compuware完成轉(zhuǎn)型,以更加強(qiáng)大的實力卷土重來的話,那么國內(nèi)的APM廠商勢必將面臨更加嚴(yán)峻的挑戰(zhàn)。
高危漏洞頻發(fā),隱私泄露,普通開發(fā)者該如何避免和防范;開發(fā)者如何從邏輯上避免風(fēng)險?在【QCon北京2015】“新時代的安全”專題中,在Pwn2Own 2015上奪冠的Keen Team安全研究員Peter Hlavaty將解讀內(nèi)核安全精髓;阿里巴巴安全專家祝建躍將分享互聯(lián)網(wǎng)全球最大DDoS攻擊防御實戰(zhàn)。
好文章,需要你的鼓勵
騰訊ARC實驗室推出AudioStory系統(tǒng),首次實現(xiàn)AI根據(jù)復(fù)雜指令創(chuàng)作完整長篇音頻故事。該系統(tǒng)結(jié)合大語言模型的敘事推理能力與音頻生成技術(shù),通過交錯式推理生成、解耦橋接機(jī)制和漸進(jìn)式訓(xùn)練,能夠?qū)?fù)雜指令分解為連續(xù)音頻場景并保持整體連貫性。在AudioStory-10K基準(zhǔn)測試中表現(xiàn)優(yōu)異,為AI音頻創(chuàng)作開辟新方向。
Meta與特拉維夫大學(xué)聯(lián)合研發(fā)的VideoJAM技術(shù),通過讓AI同時學(xué)習(xí)外觀和運動信息,顯著解決了當(dāng)前視頻生成模型中動作不連貫、違反物理定律的核心問題。該技術(shù)僅需添加兩個線性層就能大幅提升運動質(zhì)量,在多項測試中超越包括Sora在內(nèi)的商業(yè)模型,為AI視頻生成的實用化應(yīng)用奠定了重要基礎(chǔ)。
上海AI實驗室發(fā)布OmniAlign-V研究,首次系統(tǒng)性解決多模態(tài)大語言模型人性化對話問題。該研究創(chuàng)建了包含20萬高質(zhì)量樣本的訓(xùn)練數(shù)據(jù)集和MM-AlignBench評測基準(zhǔn),通過創(chuàng)新的數(shù)據(jù)生成和質(zhì)量管控方法,讓AI在保持技術(shù)能力的同時顯著提升人性化交互水平,為AI價值觀對齊提供了可行技術(shù)路徑。
谷歌DeepMind團(tuán)隊開發(fā)的GraphCast是一個革命性的AI天氣預(yù)測模型,能夠在不到一分鐘內(nèi)完成10天全球天氣預(yù)報,準(zhǔn)確性超越傳統(tǒng)方法90%的指標(biāo)。該模型采用圖神經(jīng)網(wǎng)絡(luò)技術(shù),通過學(xué)習(xí)40年歷史數(shù)據(jù)掌握天氣變化規(guī)律,在極端天氣預(yù)測方面表現(xiàn)卓越,能耗僅為傳統(tǒng)方法的千分之一,為氣象學(xué)領(lǐng)域帶來了效率和精度的雙重突破。