CNET科技資訊網(wǎng) 1月20日 上海消息: 1月20日,2016云棲大會上海峰會在上海科技館開幕。阿里云宣布開放阿里巴巴十年的大數(shù)據(jù)能力,發(fā)布全球首個一站式大數(shù)據(jù)平臺“數(shù)加”,首批亮相20款產(chǎn)品。
這些產(chǎn)品覆蓋數(shù)據(jù)采集、計算引擎、數(shù)據(jù)加工、數(shù)據(jù)分析、機器學習、數(shù)據(jù)應用等數(shù)據(jù)生產(chǎn)全鏈條。“在技術(shù)上至少領(lǐng)先業(yè)界三年”,阿里云大數(shù)據(jù)事業(yè)部資深總監(jiān)徐常亮說,“數(shù)加”承載了阿里巴巴EB級別的數(shù)據(jù)加工計算,經(jīng)歷了上萬名工程師的實戰(zhàn)檢驗。
Datahub是數(shù)加上的一款數(shù)據(jù)采集產(chǎn)品,可為用戶提供實時數(shù)據(jù)的發(fā)布和訂閱功能。寫入的數(shù)據(jù)可直接進行流式數(shù)據(jù)處理,也可參與后續(xù)的離線作業(yè)計算。Datahub同主流插件和客戶端保持高度兼容。
大數(shù)據(jù)計算服務MaxCompute(原ODPS)、分析型數(shù)據(jù)庫Analytic DB、流計算StreamCompute共同組成了底層強大的計算引擎。
1、大數(shù)據(jù)計算服務可6小時處理100PB數(shù)據(jù),相當于1億部高清電影。單集群規(guī)模過萬臺,并支持多集群聯(lián)合計算。做到了速度更快,成本更低。
經(jīng)測算,自建Hadoop集群的成本是數(shù)加的1.5倍,國外計算廠商AWS 的EMR成本更是數(shù)加的5倍。阿里云當天還宣布,大數(shù)據(jù)計算服務再降價50%。
2、分析型數(shù)據(jù)庫可實現(xiàn)對數(shù)據(jù)的實時多維分析,百億量級多維查詢只需100毫秒。
3、流計算擅長對實時流式數(shù)據(jù)進行分析,具有低延時、高性能的特點。每秒查詢率可以達到千萬級,日均處理萬億條消息、PB量級的數(shù)據(jù)。
計算引擎之上,“數(shù)加”提供了最豐富的云端數(shù)據(jù)開發(fā)套件,開發(fā)者可一站式完成數(shù)據(jù)加工。這些產(chǎn)品包含:數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、調(diào)度系統(tǒng)、數(shù)據(jù)管理、運維視屏、數(shù)據(jù)質(zhì)量、任務監(jiān)控。
整體來看,大數(shù)據(jù)開發(fā)套件的優(yōu)勢包括:支持100人以上協(xié)同設(shè)計、開發(fā)、運維;具有良好的擴展性;提供各個產(chǎn)品功能模塊的Open API,可二次開發(fā);多個數(shù)據(jù)實例之間的數(shù)據(jù)授權(quán)機制,確保數(shù)據(jù)只能使用卻不可見;提供白屏化的運維能力,以及字段級數(shù)據(jù)質(zhì)量監(jiān)控、機器預警、資源使用率監(jiān)控等功能,讓用戶更好的掌控自己的數(shù)據(jù)及數(shù)據(jù)任務。
在數(shù)據(jù)分析方面,數(shù)加提供了3款產(chǎn)品供開發(fā)者使用:
1、 通過移動數(shù)據(jù)分析產(chǎn)品,開發(fā)者可快速搭建日志采集、分析系統(tǒng),從而為用戶提供個性化服務;
2、 通過數(shù)加BI報表產(chǎn)品,3分鐘即可完成海量數(shù)據(jù)的分析報告。產(chǎn)品支持多種云數(shù)據(jù)源,提供近20種可視化效果。
3、 通過數(shù)據(jù)可視化產(chǎn)品DataV,一星期就能做出雙11同款大屏。這款產(chǎn)品,曾支持了阿里巴巴多年的雙11、雙12作戰(zhàn)指揮。
同時,基于DataV,數(shù)加還發(fā)布了面向政府的行業(yè)應用產(chǎn)品“郡縣圖治”。通過這款產(chǎn)品,縣長可以在一個屏幕下統(tǒng)覽全縣各項經(jīng)濟民生數(shù)據(jù),為政府決策提供輔助。
對于時下大熱的機器學習,數(shù)加更是提供了全面支持。“數(shù)加”發(fā)布的機器學習工具,可基于海量數(shù)據(jù)實現(xiàn)對用戶行為、行業(yè)走勢、天氣、交通等的預測。圖形化編程讓用戶無需編碼、只需用鼠標拖拽標準化組件即可完成開發(fā)。產(chǎn)品還集成了阿里巴巴核心算法庫,包括特征工程、大規(guī)模機器學習、深度學習等。
為了能夠幫助開發(fā)者更快捷在應用中集成大數(shù)據(jù)功能,“數(shù)加”同時提供了規(guī)則引擎、推薦引擎、文字識別、智能語音交互等數(shù)據(jù)應用產(chǎn)品。
1、規(guī)則引擎是一款用于解決業(yè)務規(guī)則頻繁變化的在線服務,可通過簡單組合預定義的條件因子編寫業(yè)務規(guī)則,并做出業(yè)務決策。比如,銀行會設(shè)置如果10分鐘內(nèi)用戶在兩個省份交易,則需要電話確認。
2、推薦引擎是一款用于實時預測用戶對物品偏好的數(shù)據(jù)工具,它能夠幫助客戶發(fā)現(xiàn)眾多物品中用戶最感興趣什么。
3、文字識別提供自然場景下拍攝的圖片中英文文字檢測、識別以及常見的證件類檢測和識別。
4、智能語音交互基于語音和自然語言技術(shù)構(gòu)建的在線服務,為智能手機,智能電視以及物聯(lián)網(wǎng)等產(chǎn)品提供“能聽、會說、懂你”式的智能人機交互體驗。
好文章,需要你的鼓勵
騰訊ARC實驗室推出AudioStory系統(tǒng),首次實現(xiàn)AI根據(jù)復雜指令創(chuàng)作完整長篇音頻故事。該系統(tǒng)結(jié)合大語言模型的敘事推理能力與音頻生成技術(shù),通過交錯式推理生成、解耦橋接機制和漸進式訓練,能夠?qū)碗s指令分解為連續(xù)音頻場景并保持整體連貫性。在AudioStory-10K基準測試中表現(xiàn)優(yōu)異,為AI音頻創(chuàng)作開辟新方向。
Meta與特拉維夫大學聯(lián)合研發(fā)的VideoJAM技術(shù),通過讓AI同時學習外觀和運動信息,顯著解決了當前視頻生成模型中動作不連貫、違反物理定律的核心問題。該技術(shù)僅需添加兩個線性層就能大幅提升運動質(zhì)量,在多項測試中超越包括Sora在內(nèi)的商業(yè)模型,為AI視頻生成的實用化應用奠定了重要基礎(chǔ)。
上海AI實驗室發(fā)布OmniAlign-V研究,首次系統(tǒng)性解決多模態(tài)大語言模型人性化對話問題。該研究創(chuàng)建了包含20萬高質(zhì)量樣本的訓練數(shù)據(jù)集和MM-AlignBench評測基準,通過創(chuàng)新的數(shù)據(jù)生成和質(zhì)量管控方法,讓AI在保持技術(shù)能力的同時顯著提升人性化交互水平,為AI價值觀對齊提供了可行技術(shù)路徑。
谷歌DeepMind團隊開發(fā)的GraphCast是一個革命性的AI天氣預測模型,能夠在不到一分鐘內(nèi)完成10天全球天氣預報,準確性超越傳統(tǒng)方法90%的指標。該模型采用圖神經(jīng)網(wǎng)絡(luò)技術(shù),通過學習40年歷史數(shù)據(jù)掌握天氣變化規(guī)律,在極端天氣預測方面表現(xiàn)卓越,能耗僅為傳統(tǒng)方法的千分之一,為氣象學領(lǐng)域帶來了效率和精度的雙重突破。