在現代的生活和生產流程中,處處都離不開機器人。從工廠里制造產品的機械臂,到家用掃地機器人,都是機器人賦能生活的場景體現。你有沒有想過,當有一天,你無需學會編程,只需告訴機器人:“請加熱我的午餐”,它就會自己找到微波爐。這是不是很神奇?

而最新的研究結果顯示,憑借著寫論文、寫代碼等強大功能沖擊了整個科技界的,則有可能驅動機器人實現這一暢想,使人機交互直接邁入新時代。

新型人機交互模式_機器人模型chatgpt_如何開展人機交互的設計

+機器人走到哪一步了?

人類目前仍然嚴重依賴手寫代碼來控制機器人。以往每次想開發一個新產品,或者讓現有的機器執行一個新功能,都需要一個高級工程師編寫代碼,同時盡可能編寫測試覆蓋所有場景。

而微軟在最新發表的論文《機器人 :設計原則和模型能力( for : and )》中提出的一套新的實驗框架,就在探索如何改變這一現實,實現用驅動機器人,進行更自然的人機交互。

如何開展人機交互的設計_機器人模型chatgpt_新型人機交互模式

的是一個生成式文本模型,通過對話形式提供了出色的交互能力,既能進行文本創作,也能撰寫代碼。微軟的研究目的便是觀察是否能夠超越文本,思考物理世界以幫助機器人完成任務。

? “訓練”機器人

如何開展人機交互的設計_新型人機交互模式_機器人模型chatgpt

實驗證明,可以用來幫助機器人學習和理解自然語言指令,使得人類員工能夠更加輕松地與機器人交互,而不需要專業的編程或機器人控制知識。例如,當機器人被用于配送和物流領域時,可以幫助機器人更好地理解用戶需求和指令,使得機器人能夠更加智能地完成配送和物流任務。目前國內就已有迎賓機器人宣布接入,以此推動產品對話更加流暢。

而其中的關鍵難題是教如何使用物理定律、適應操作環境,以及了解機器人的物理行為如何改變世界狀態,并以此來解決指定的任務。

倫敦大學學院(UCL)名譽教授和計算機科學家彼得·本特利博士(Dr. John )在接受采訪時表示,人類在未來用AI工具如來控制機器人是完全可行的路徑。

? AI大語言模型+機器人或成新趨勢

如何開展人機交互的設計_新型人機交互模式_機器人模型chatgpt

谷歌當然也不甘其后,聯合柏林工業大學的團隊于本周一重磅推出了史上最大視覺語言模型——PaLM-E。作為一種多模態具身視覺語言模型 (VLM),PaLM-E不僅可以理解圖像機器人模型chatgpt,還能理解、生成語言,而且竟然還能將兩者結合起來,處理復雜的機器人指令。在以前,機器人通常需要人工的協助才能完成長跨度任務。但現在,PaLM-E通過自主學習就可以搞定了。

可見,如同讓“訓練”和驅動機器人一樣,AI大語言模型與機器人技術的結合或成為未來研究的重要趨勢之一。

新型人機交互模式_機器人模型chatgpt_如何開展人機交互的設計

如何驅動機器人?

據介紹,現代機器人技術依賴于一種閉環體系。在這個體系中,需要先對任務進行編程,同時監測機器人的行為,再相應地調整程序,編寫新的代碼和規范來糾正機器人的行為。這個過程緩慢、昂貴且低效,因為不僅需要具有深厚機器人知識的高技能用戶,而且需要用戶參與多次交互才能使機器人正常工作。

而按照微軟的設想,可以解鎖一種新的機器人范式——將某項工作的人類語言描述轉換成機器人可讀的代碼。這意味著在此過程中機器人模型chatgpt,即使是非專業技術用戶也可以像專業工程師那樣,用人類語言提供原始任務描述,觀察機器人行為,并用人類語言提供關于機器人行為的反饋,然后會將其轉化為代碼以改善機器人行為。

機器人模型chatgpt_如何開展人機交互的設計_新型人機交互模式

首先,用戶需要設定能夠采用的一系列API(應用程序接口)或功能編碼庫。這個庫可以根據特定機器人的類型進行設計,并為高級 API 用描述性名稱命名,讓 可以更順利地推理它們的行為。

接下來,根據可訪問的API或功能編碼,用戶可以描述對工作的預期目標或需要進行約束的內容。如說明高級庫中的哪些函數可用,或者 應該如何組織它的答案,包括使用特定的編程語言等。

最后,用戶在用模擬器評估撰寫的代碼后,可以用自然語言提供反饋意見。當用戶對解決方案感到滿意時,就可以將最終的代碼部署到機器人上。

機器人模型chatgpt_如何開展人機交互的設計_新型人機交互模式

+機器人能做什么?

一個有趣的示例是,當用木塊搭建微軟logo時,面臨著橋接文本域和物理域的挑戰。而在這項研究中,已經能夠實現不僅從其內部知識庫中調用微軟的logo,還能用SVG(可縮放矢量圖形)的代碼“繪制”這個logo,然后利用上面學到的技能來確認現有的機器人動作流程和可以搭建它的物理形式。

如何開展人機交互的設計_機器人模型chatgpt_新型人機交互模式

研究結果顯示,通過讓生成計算機代碼,可以達成控制機器人的效果,并實現許多應用場景。如控制一臺真正的無人機的全部功能,完成導航領域的復雜機器人部署,指引無人機清點超市貨架、盤點存貨、操作機械臂,以及基于API(應用程序接口)的物體識別和遠程操作,如搜索等,還能幫助實現讓人形機器人更像“人”的愿景。

機器人模型chatgpt_新型人機交互模式_如何開展人機交互的設計

通過給 編寫算法機器人模型chatgpt,可以讓無人機在不撞上障礙物的情況下,在空中達到目標。只需要告訴模型,它操控的這架無人機有一個前向距離傳感器, 立即能夠為算法編碼了大部分關鍵構件。且在這個人機交流過程中, 僅通過自然語言反饋就能進行局部代碼修改。

當用戶的指令含糊不清時, 會提出澄清問題,并為無人機編寫復雜的代碼結構,例如鋸齒形圖案,以便可視化地檢查貨架。

機器人模型chatgpt_新型人機交互模式_如何開展人機交互的設計

+機器人還能應用于模擬的工業檢測場景,例如可以在 模擬器中使用進行模擬監測,實驗結果顯示該模型能夠有效地解析用戶的高級意圖和幾何線索,以準確地控制無人機。

有能力適應各種物理表現形式,通過對話進行閉環推理,并解決機器人技術中的各類“零點翻譯問題”(Zero-shot,指不借助中間語的直接翻譯。如谷歌曾經的翻譯系統都依賴英語做中間語,先將源語言翻譯為英語,再將英語翻譯為目標語)。由于機器人的很多相關技術的成熟度相對更高,有多個開源或閉源的編程庫存在,可幫助設計機器人在認知和行動領域的基本行動,如物體檢測和分割、映射、運動規劃、控制和抓取等。

新型人機交互模式_機器人模型chatgpt_如何開展人機交互的設計

+機器人仍面臨諸多挑戰

? 技術仍面臨挑戰

事實證明, 本身可以做很多事情,但它仍然需要一些幫助。就像是以往取得過一些驚人成果的“深藍”或“阿爾法狗”,它們都是專家特化型AI,都只會下國際象棋或圍棋。如果要學會一項新技能,就必須更換新的數據庫,類似手機刷機或電腦重裝系統。而當前的要想融入機器人技術,也面臨著差不多的情況。

例如現階段來看,雖然能夠生成計算機代碼,但控制機器人的問題在于,計算機代碼可能需要為特定的硬件量身定制才能正常工作。目前使用的是它已經學習到的代碼示例,但它可能暫時無法做到及時更新,兼容不了最新的硬件。

所以,科學家 John 博士表示,目前不太可能與人類開發人員相提并論。它只是提供了一個簡單的捷徑,可以幫助人們學習基礎知識,但它缺乏作為開發人員的基本能力。

機器人模型chatgpt_新型人機交互模式_如何開展人機交互的設計

? 輸出內容仍需評估

就目前而言,還存在很多漏洞,在功能性、保障性,以及安全性上缺乏基本的能力。因此,該研究團隊也表示, 的輸出不應該在沒有仔細分析的情況下直接部署在機器人上。在未來現實部署之前,有必要通過在模擬環境中獲得實驗結果,從而對算法進行評估,并采取必要的安全預防措施。

機器人模型chatgpt_如何開展人機交互的設計_新型人機交互模式

結語

用驅動機器人是前所未有的大膽設想,目的是讓機器人技術從科學實驗室走入千家萬戶,實際地賦能人們的日常生活。基于這一美好愿景,未來,+機器人的相關研究與應用仍需要進行長期的努力。

免責聲明:本文系轉載,版權歸原作者所有;旨在傳遞信息,不代表本站的觀點和立場和對其真實性負責。如需轉載,請聯系原作者。如果來源標注有誤或侵犯了您的合法權益或者其他問題不想在本站發布,來信即刪。