如果機器能像動物一樣學(xué)習(xí)與進化會如何？

這是李飛飛團隊的最新研究。

在過去6億年中，動物在復(fù)雜的環(huán)境中學(xué)習(xí)與進化成各異的形態(tài)，又利用進化的形態(tài)來學(xué)習(xí)復(fù)雜的任務(wù)。如此周而復(fù)始的學(xué)習(xí)與進化，造就了動物的認(rèn)知智慧。

但其中環(huán)境復(fù)雜性、進化形態(tài)和智能控制的可學(xué)習(xí)性之間的關(guān)系原理仍然難以捉摸。

本中提出了一種深度進化強化學(xué)習(xí)計算框架DERL。它可以演化不同的形態(tài)，在復(fù)雜的環(huán)境中學(xué)習(xí)一些具有挑戰(zhàn)性的運動、操縱任務(wù)。

最終利用DERL，研究人員證明了環(huán)境復(fù)雜性、形態(tài)智能和控制的可學(xué)習(xí)性之間的幾個關(guān)系。

通過學(xué)習(xí)和進化來實現(xiàn)的形態(tài)智能

創(chuàng)建適應(yīng)性的形態(tài)，在復(fù)雜的環(huán)境中學(xué)習(xí)操縱任務(wù)是具有挑戰(zhàn)性的，存在雙重困難。

第一種，在大量可能的形態(tài)組合中進行搜索。第二種，通過終生學(xué)習(xí)評估適應(yīng)性所需要計算時間。

因此，此前的工作要么在有限的形態(tài)空間中進化，要么專注于尋找固定的形態(tài)最佳參數(shù)，亦或是就在平坦的地形中學(xué)習(xí)。

為了克服這些實質(zhì)性的限制，本文提出了深度進化強化學(xué)習(xí)（Deep Evolutionary Reinforcement Learning，DERL）計算框架。

本文提出了一種高效的異步方法，用于在許多計算元素之間并行化學(xué)習(xí)和進化基礎(chǔ)計算。

如圖（b）所示，進化的外循環(huán)通過突變操作優(yōu)化機器形態(tài)，比如高度、位置、箱子的大小等屬性。

而內(nèi)部的強化學(xué)習(xí)循環(huán)則用來優(yōu)化神經(jīng)控制器的參數(shù)。

還引入了一個UNIMAL，即UNIversal aniMAL形態(tài)設(shè)計空間，如圖（d）所示，它既具有高度的表現(xiàn)力，又豐富了有用的可控形態(tài)。

而復(fù)雜環(huán)境由三個隨機生成的障礙物組成：山丘、臺階和碎石。模型必須從初始位置（圖e綠色物體）開始，并將一個盒子移動到目標(biāo)位置（紅色方塊）。

此外，DERL創(chuàng)建了體現(xiàn)型的模型，不僅可以在較少的數(shù)據(jù)進行學(xué)習(xí)，還可以泛化解決多個新任務(wù)，從而緩解了強化學(xué)習(xí)的樣本效率低下。

DERL的運作方式是模仿達爾文進化過程中幾代模型在形態(tài)上的搜索、一生中的神經(jīng)學(xué)習(xí)交織在一起的過程，通過智能控制來評估一個給定形態(tài)解決復(fù)雜任務(wù)的速度和效果。

總共有8個測試任務(wù)，涉及了穩(wěn)定性、敏捷性和操縱性的測試，來評估每個形態(tài)對強化學(xué)習(xí)的促進作用。

研究人員在每個環(huán)境的3次進化運行中挑選出10個表現(xiàn)最好的形態(tài)。然后，每個形態(tài)從頭開始訓(xùn)練所有8個測試任務(wù)。

最終選出了在不同環(huán)境下演化出的最佳模型形態(tài)。

結(jié)果發(fā)現(xiàn)，通過鮑德溫效應(yīng)，模型適應(yīng)性可以在幾代的進化過程中從其表型學(xué)習(xí)能力迅速轉(zhuǎn)移到其基因型編碼的形態(tài)上。

（鮑德溫效應(yīng)：沒有任何基因信息基礎(chǔ)的人類行為方式和習(xí)慣，經(jīng)過許多代人的傳播，最終進化為具有基因信息基礎(chǔ)的行為習(xí)慣的現(xiàn)象。）

這些進化后的形態(tài)學(xué)又賦予了模型更好更快的學(xué)習(xí)能力，以適應(yīng)新任務(wù)。

團隊猜測，很可能是通過增加被動穩(wěn)定性和能量效能來實現(xiàn)的。

此外還證實了環(huán)境復(fù)雜性、形態(tài)智能和可學(xué)習(xí)性控制之間存在著以下的關(guān)系。

首先，環(huán)境復(fù)雜性促進了形態(tài)智能的進化，以一種形態(tài)促進學(xué)習(xí)新任務(wù)的能力來量化。

其次，進化時會迅速選擇學(xué)習(xí)速度較快的形態(tài)，這一結(jié)果構(gòu)成了長期以來猜想的形態(tài)學(xué)鮑德溫效應(yīng)的首次證明。

第三，實驗表示， 鮑德溫效應(yīng)和形態(tài)智能的出現(xiàn)都有一個機理基礎(chǔ)，即通過物理上更穩(wěn)定、能量效率更高的形態(tài)的進化，從而可以促進學(xué)習(xí)和控制。

團隊介紹

這篇文章李飛飛團隊領(lǐng)銜，由來自斯坦福大學(xué)計算機科學(xué)系、應(yīng)用物理系、吳蔡德神經(jīng)科學(xué)研究所等團隊共同研究。

第一作者是Agrim Gupta，斯坦福大學(xué)二年級博士生，致力于研究計算機視覺。

論文鏈接：

https://arxiv.org/abs/2102.02202