首頁 > 科技

推薦幾個出論文的好方向！

由創事記發表于科技2021-04-17

如果你準備發AI方向的論文，或準備從事科研工作或已在企業中擔任AI演算法崗的工作，真誠向大家推薦，貪心學院

《機器學習高階訓練營》

，目前全網上應該找不到類似體系化的課程。

課程精選了四大主題進行深入的剖析講解，四個模組分別為

凸最佳化

、

圖神經網路

、

強化學習

、

貝葉斯模型

。

適合什麼樣的人來參加吶？

從事AI行業多年，但技術上感覺不夠深入，

遇到了瓶頸

；

停留在使用模型/工具上，很難基於業務場景來

提出新的模型

；

對於機器學習背後的最佳化理論、前沿的技術

不夠深入

；

計劃從事尖端的科研、研究工作、

申請AI領域研究生、博士生

；

打算

進入頂尖的AI公司

如Google，Facebook，Amazon，阿里等；

讀ICML，IJCAI等會議文章比較吃力，似懂非懂，無法把每個細節理解透

如果對課程感興趣，請聯絡

新增課程顧問小姐姐微信

報名、課程諮詢

01 課程大綱

課程內容上做了大幅度的更新，一方面新增了對前沿主題的講解如圖神經網路（GCN，GAT等），對核心部分（如凸最佳化、強化學習）加大了對理論層面上的深度。除此之外，也會包含科研方法論、元學習、解釋性、Fair learning等系列主題。課程採用全程直播授課模式。

第一部分：凸最佳化與機器學習

第一週：凸最佳化介紹

從最佳化角度理解機器學習

最佳化技術的重要性

常見的凸最佳化問題

線性規劃以及Simplex Method

Two-Stage LP

案例：運輸問題講解

第二週：凸函式講解

凸集的判斷

First-Order Convexity

Second-order Convexity

Operations Preserve Convexity

二次規劃問題（QP）

案例：最小二乘問題

專案作業：股票投資組合最佳化

第三週：凸最佳化問題

常見的凸最佳化問題類別

半定規劃問題

幾何規劃問題

非凸函式的最佳化

鬆弛化（Relaxation）

整數規劃（Integer Programming）

案例：打車中的匹配問題

第四周：對偶（Duality）

拉格朗日對偶函式

對偶的幾何意義

Weak and Strong Duality

KKT條件

LP， QP， SDP的對偶問題

案例：經典模型的對偶推導及實現

對偶的其他應用

第五週：最佳化技術

一階與二階最佳化技術

Gradient Descent

Subgradient Method

Proximal Gradient Descent

Projected Gradient Descent

SGD與收斂

Newton’s Method

Quasi-Newton’s Method

第二部分圖神經網路

第六週：數學基礎

向量空間和圖論基礎

Inner Product， Hilbert Space

Eigenfunctions， Eigenvalue

傅立葉變化

卷積操作

Time Domain， Spectral Domain

Laplacian， Graph Laplacian

第七週：譜域的圖神經網路

卷積神經網路迴歸

卷積操作的數學意義

Graph Convolution

Graph Filter

ChebNet

CayleyNet

GCN

Graph Pooling

案例：基於GCN的推薦

第八週：空間域的圖神經網路

Spatial Convolution

Mixture Model Network （MoNet）

注意力機制

Graph Attention Network（GAT）

Edge Convolution

空間域與譜域的比較

專案作業：基於圖神經網路的鏈路預測

第九周：圖神經網路改進與應用

拓展1： Relative Position與圖神經網路

拓展2：融入Edge特徵：Edge GCN

拓展3：圖神經網路與知識圖譜： Knowledge GCN

拓展4：姿勢識別：ST-GCN

案例：基於圖的文字分類

案例：基於圖的閱讀理解

第三部分強化學習

第十週：強化學習基礎

Markov Decision Process

Bellman Equation

三種方法：Value，Policy，Model-Based

Value-Based Approach： Q-learning

Policy-Based Approach： SARSA

第十一週：Multi-Armed Bandits

Multi-Armed bandits

Epsilon-Greedy

Upper Confidence Bound （UCB）

Contextual UCB

LinUCB & Kernel UCB

案例：Bandits在推薦系統的應用案例

第十二週：路徑規劃

Monte-Carlo Tree Search

N-step learning

Approximation

Reward Shaping

結合深度學習：Deep RL

專案作業：強化學習在遊戲中的應用案例

第十三週：自然語言處理中的RL

Seq2seq模型的問題

結合Evaluation Metric的自定義loss

結合aspect的自定義loss

不同RL模型與seq2seq模型的結合

案例：基於RL的文字生成

第四部分貝葉斯方法

第十四周：貝葉斯方法論簡介

貝葉斯定理

從MLE， MAP到貝葉斯估計

整合模型與貝葉斯方法比較

計算上的Intractiblity

MCMC與變分法簡介

貝葉斯線性迴歸

貝葉斯神經網路

案例：基於Bayesian-LSTM的命名實體識別

第十五週：主題模型

生成模型與判別模型

隱變數模型

貝葉斯中Prior的重要性

狄利克雷分佈、多項式分佈

LDA的生成過程

LDA中的引數與隱變數

Supervised LDA

Dynamic LDA

LDA的其他變種

專案作業：LDA的基礎上修改並搭建無監督情感分析模型

第十六週：MCMC方法

Detailed Balance

對於LDA的吉布斯取樣

對於LDA的Collapsed吉布斯取樣

Metropolis Hasting

Importance Sampling

Rejection Sampling

大規模分散式MCMC

大資料與SGLD

案例：基於分散式的LDA訓練

第十七週：變分法（Variational Method）

變分法核心思想

KL散度與ELBo的推導

Mean-Field變分法

EM演算法

LDA的變分法推導

大資料與SVI

變分法與MCMC的比較

Variational Autoencoder

Probabilistic Programming

案例：使用機率程式設計工具來訓練貝葉斯模型

02 部分案例和專案

打車中的路徑規劃問題

：我們幾乎每天都在使用打車軟體或者外賣軟體。對於這些應用來講，核心演算法應用就是乘客和車輛的匹配。

涉及到的知識點

：

Mixed Integer Linear Programming

提供approximation bounds

經典機器學習模型的對偶推導及實現

：透過此練習，更深入理解機器學習模型以及對偶的作用。

涉及到的知識點

：

SVM，LP等模型

對偶技術

KKT條件

基於圖神經網路的文字分類

：當使用語法分析工具處理文字之後，一段文字便可以成為一個圖，接下來就可以使用圖卷積神經網路來做後續的分類工作

涉及到的知識點

：

語法分析

圖神經網路

基於圖神經網路的閱讀理解

：一般的閱讀需要讓機器閱讀多個文章並對提出的問題給出答案。在閱讀理解中抽取關鍵的實體和關係變得很重要，這些實體和關係可以用來構造一個圖。

涉及到的知識點

：

命名識別，關係抽取

圖神經網路

Heterogeneous Graph

Bandits在推薦系統的應用案例

：Bandits應用在順序決策問題的應用中有易於實現、計算效率高、解決冷啟動問題、資料標註相對要求不高（一般只需部分標註作為reward，如使用者點選）等優點。本案例講解bandits如何應用在新聞推薦的系統中做基於內容的推薦。

涉及到的知識點

：

Exploration & Exploitation

Epsilon Greedy

Upper Confidential Bounder

LineUCB

使用機率程式設計工具來訓練貝葉斯模型

：類似於Pytorch，Tensorflow，機率程式設計工具提供了對貝葉斯模型的自動學習，我們以LDA等模型為例來說明這些工具的使用。

涉及到的知識點

：

機率程式設計

主題模型

MCMC和變分法

股票投資組合最佳化

：在投資組合最佳化中，我們需要根據使用者的風險承受能力來設計並組合資產。在本專案中，我們試著在二次規劃的框架下做一些必要的修改如加入必要的限制條件、必要的正則來控制組合的稀疏性、加入投資中的先驗等資訊，最後根據預先定義好的評估標準來引導模型的學習

涉及到的知識點

：

二次規劃

不同的正則使用

基於限制條件的最佳化

先驗的引入

如果對課程感興趣，請聯絡

新增課程顧問小姐姐微信

報名、課程諮詢

03 授課導師

李文哲

：貪心科技創始人兼CEO，人工智慧和知識圖譜領域專家，曾任金融科技獨角獸公司的首席科學家、美國亞馬遜的高階工程師，先後負責過聊天機器人、量化交易、自適應教育、金融知識圖譜等專案，並在AAAI、KDD、AISTATS等頂會上發表過15篇以上論文，並榮獲IAAI，IPDPS的最佳論文獎，多次出席行業峰會發表演講。

楊棟

：香港城市大學博士， UC Merced博士後，主要從事於機器學習，圖卷積，圖嵌入的研究。先後在ECCV， Trans on Cybernetics， Trans on NSE， INDIN等國際頂會及期刊上發表過數篇論文。

04 直播授課，現場推導演示

區別於劣質的PPT講解，導師全程現場推導，讓你在學習中有清晰的思路，深刻的理解演算法模型背後推導的每個細節。更重要的是可以清晰地看到各種模型之間的關係！幫助你打通六脈！