人工智能領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議AAAI2019正在美國(guó)夏威夷舉行。大會(huì)期間，滴滴技術(shù)團(tuán)隊(duì)重點(diǎn)舉辦深度強(qiáng)化學(xué)習(xí)主題課程，全面分享了深度強(qiáng)化學(xué)習(xí)在交通領(lǐng)域的理論研究與應(yīng)用，并詳細(xì)展示了滴滴的最新探索與實(shí)踐。

深度強(qiáng)化學(xué)習(xí)課程詳解交通出行中的人工智能

AAAI是國(guó)際人工智能協(xié)會(huì)年會(huì)，每年大會(huì)上的課程、收錄論文都備受外界關(guān)注。大會(huì)數(shù)據(jù)顯示，AAAI 2019共收到7095篇有效投稿，但最終錄用數(shù)僅為1147篇，錄取比例為近年最低；而大會(huì)期間共舉辦24個(gè)專題課程，覆蓋機(jī)器學(xué)習(xí)、自然語(yǔ)言處理等多個(gè)領(lǐng)域。

今年，滴滴現(xiàn)場(chǎng)舉辦了《深度強(qiáng)化學(xué)習(xí)在交通出行領(lǐng)域的理論研究與實(shí)踐應(yīng)用》課程（Tutorial on Deep Reinforcement Learning with Applications in Transportation），系統(tǒng)講解深度強(qiáng)化學(xué)習(xí)的諸多理論、算法，如Markov decision process(MDP)基礎(chǔ)、動(dòng)態(tài)規(guī)劃方法、基于函數(shù)逼近的價(jià)值類方法、策略梯度類方法、多智能體強(qiáng)化學(xué)習(xí)、遷移學(xué)習(xí)等；并以眾多案例入手，具體講解了不同算法在路徑規(guī)劃、導(dǎo)航、交通燈控制和智能駕駛等智能交通場(chǎng)景內(nèi)的應(yīng)用、機(jī)遇和挑戰(zhàn)，吸引大會(huì)眾多研究學(xué)者參與。

（滴滴AI Labs負(fù)責(zé)人葉杰平介紹現(xiàn)代交通演變史及機(jī)器學(xué)習(xí)范式）

（滴滴研究員詳細(xì)講解深度強(qiáng)化學(xué)習(xí)基礎(chǔ)理論）

此外，滴滴研究團(tuán)隊(duì)還深入講解了滴滴在強(qiáng)化學(xué)習(xí)領(lǐng)域的研究工作，特別是深度強(qiáng)化學(xué)習(xí)技術(shù)在智能派單調(diào)度中的應(yīng)用。由于派單的決定會(huì)影響未來(lái)的司機(jī)分布，且派單既要考慮司機(jī)收入還要保障用戶體驗(yàn)，綜合考慮這兩個(gè)需求，滴滴研究團(tuán)隊(duì)介紹了兩種方法來(lái)解決派單問(wèn)題，一種方法是時(shí)間差學(xué)習(xí)(TD-learning)，另一種是深度強(qiáng)化學(xué)習(xí)。TD-learning在派單中的應(yīng)用中分為兩個(gè)部分，線上的計(jì)劃過(guò)程和離線的學(xué)習(xí)過(guò)程，這兩個(gè)過(guò)程結(jié)合了強(qiáng)化學(xué)習(xí)和組合優(yōu)化?？紤]到每一次匹配對(duì)未來(lái)是有影響的，這樣可以能基于全天供需、出行行為預(yù)測(cè)，來(lái)考慮一天之內(nèi)司機(jī)整體的效率，相關(guān)模型實(shí)踐論文已被KDD2018收錄。

而深度強(qiáng)化學(xué)習(xí)在派單應(yīng)用中具有諸多優(yōu)點(diǎn)，不僅對(duì)于實(shí)時(shí)供需變化具有良好的適應(yīng)性；而且適合學(xué)習(xí)不同城市和時(shí)間段的數(shù)據(jù)，從而遷移模型知識(shí)；此外，由于輸入（上車(chē)地點(diǎn)、時(shí)間、目的地、內(nèi)容）權(quán)重共享，具有泛化能力強(qiáng)的特點(diǎn)。由此滴滴研究團(tuán)隊(duì)提出了帶有行動(dòng)搜索的DQN（Deep Q-network）模型，對(duì)DQN做了多項(xiàng)技術(shù)改進(jìn)，使之能在離線off-policy數(shù)據(jù)上能成功訓(xùn)練。同時(shí)也提出了一種新的雙路徑網(wǎng)絡(luò)架構(gòu)，使遷移學(xué)習(xí)得以和強(qiáng)化學(xué)習(xí)相結(jié)合，描述該項(xiàng)工作的論文也已發(fā)表在IEEE ICDM 2018會(huì)議。

（滴滴深度學(xué)習(xí)課程吸引現(xiàn)場(chǎng)眾多研究學(xué)者參與）

滴滴現(xiàn)場(chǎng)還進(jìn)一步講解了如何運(yùn)用深度強(qiáng)化學(xué)習(xí)聯(lián)合優(yōu)化派單和車(chē)輛調(diào)度。通過(guò)有效利用了深度學(xué)習(xí)中的嵌入層和注意力機(jī)制，可以把派單和調(diào)度進(jìn)一步整合，打開(kāi)更大的優(yōu)化空間。這一模型也于去年12月首次在NeurIPS大會(huì)上發(fā)表。

四篇論文入選AAAI2019 新對(duì)外開(kāi)放脫敏POI科研數(shù)據(jù)集

在論文方面，本次滴滴共有四篇論文被AAAI收錄，內(nèi)容涉及深度學(xué)習(xí)、生成對(duì)抗網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)等技術(shù)方向。以《基于時(shí)空多圖卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)約車(chē)需求預(yù)測(cè)》論文為例，滴滴提出一種新的模型STMGCN(時(shí)空多圖卷積網(wǎng)絡(luò))，用于對(duì)時(shí)空序列進(jìn)行建模與預(yù)測(cè)。該模型將城市時(shí)空預(yù)測(cè)問(wèn)題定義為非規(guī)則網(wǎng)格上的時(shí)空預(yù)測(cè)問(wèn)題，借助城市中的多模態(tài)數(shù)據(jù)，如地理臨近程度，POI相似度與路網(wǎng)連通規(guī)則為區(qū)域間建立了非歐式關(guān)系，并用圖卷積神經(jīng)網(wǎng)絡(luò)(GCN)對(duì)這種關(guān)系進(jìn)行建模。STMGCN在網(wǎng)約車(chē)用車(chē)需求預(yù)測(cè)問(wèn)題上取得了非常好的效果，預(yù)測(cè)結(jié)果更加穩(wěn)定，誤差相比傳統(tǒng)方法減小了10%以上。

（滴滴算法專家現(xiàn)場(chǎng)分享模型實(shí)踐）

而在《基于文本和地理信息的Query-POI相關(guān)性學(xué)習(xí)》中，滴滴提出了一種基于文本特征及地理特征的Query-POI相關(guān)性學(xué)習(xí)方法，將起終點(diǎn)的地理位置關(guān)系應(yīng)用于POI（信息點(diǎn)）檢索模型中，通過(guò)結(jié)合文本特征和地理特征，在POI排序任務(wù)中獲得了更好的效果，有助于優(yōu)化用戶的發(fā)單體驗(yàn)。

值得注意的是，在AAAI大會(huì)現(xiàn)場(chǎng)，滴滴蓋亞數(shù)據(jù)開(kāi)放計(jì)劃還新增加一個(gè)脫敏POI檢索科研數(shù)據(jù)集，新對(duì)外開(kāi)放2018年5-6月成都局部區(qū)域內(nèi)專車(chē)快車(chē)的POI檢索數(shù)據(jù)。相關(guān)數(shù)據(jù)已經(jīng)過(guò)加密、脫敏、匿名化等處理，全球高校和科研機(jī)構(gòu)的專家學(xué)者可登入蓋亞數(shù)據(jù)開(kāi)放計(jì)劃網(wǎng)站提交相關(guān)信息免費(fèi)獲取。滴滴方面現(xiàn)場(chǎng)也表示，后續(xù)蓋亞數(shù)據(jù)開(kāi)放計(jì)劃將持續(xù)以開(kāi)放協(xié)作支持全球科研工作者進(jìn)行更廣泛學(xué)術(shù)研究。