https://arxiv.org/abs/2307.06148 下載：https://arxiv.org/pdf/2307.06148.pdf

大型語言模型 （LLM） 在通過生成信息增強(qiáng)日常生活方面取得了巨大成功，而 LLM 的個性化可以進(jìn)一步促進(jìn)其應(yīng)用，因?yàn)樗玫嘏c人類意圖保持一致。在實(shí)現(xiàn)個性化生成服務(wù)方面，協(xié)作式云邊緣方法聽起來很有前途，因?yàn)樗兄诋悩?gòu)分布式通信和計(jì)算資源的有效編排。論文中，在討論了幾種候選云邊協(xié)作技術(shù)的優(yōu)缺點(diǎn)后，作者提出了 NetGPT 能夠根據(jù)其計(jì)算能力在邊緣和云端部署合適的 LLM。此外，邊緣LLM可以有效地利用基于位置的信息進(jìn)行個性化的提示完成，從而有利于與云LLM的交互。在邊緣和云端部署了具有代表性的開源LLM（如GPT-2-base和LLaMA模型）后，基于低秩自適應(yīng)的輕量級微調(diào)，提出了NetGPT的可行性。隨后，作者強(qiáng)調(diào)了原生人工智能 （AI） 網(wǎng)絡(luò)架構(gòu)向 NetGPT 遷移所需的實(shí)質(zhì)性基本變化，特別強(qiáng)調(diào)通信和計(jì)算資源的更深入集成以及邏輯 AI 工作流程的仔細(xì)校準(zhǔn)。此外，鑒于邊緣 LLM 預(yù)測趨勢和推斷意圖的驚人能力，我們展示了 NetGPT 的幾個副產(chǎn)品優(yōu)勢，這可能會導(dǎo)致智能網(wǎng)絡(luò)管理編排的統(tǒng)一解決方案。簡而言之，作者認(rèn)為 NetGPT 是一種很有前途的原生 AI 網(wǎng)絡(luò)架構(gòu)，提供了超越個性化生成服務(wù)外更多服務(wù)。

論文提出了一種基于大型語言模型（LLMs）的本地AI網(wǎng)絡(luò)架構(gòu)NetGPT，旨在超越個性化生成服務(wù)。通過有效的云邊協(xié)作，作者在邊緣和云端部署了代表性的開源LLMs（如GPT-2-base和LLaMA模型），并評估了它們的協(xié)同性能。此外，作者還強(qiáng)調(diào)了NetGPT所需的重大架構(gòu)變化，并展示了基于邊緣LLMs的人氣預(yù)測和意圖推斷的性能。綜上所述，NetGPT是一種有前景的本地AI網(wǎng)絡(luò)架構(gòu)，超越了個性化生成服務(wù)。

本論文提出了一種基于大型語言模型（LLMs）的本地AI網(wǎng)絡(luò)架構(gòu)NetGPT，旨在超越個性化生成服務(wù)。通過有效的云邊協(xié)作，我們展示了NetGPT在個性化生成服務(wù)方面的可行性，并部署了代表性的開源LLMs（如GPT-2-base和LLaMA模型）在邊緣和云端，評估了它們的協(xié)同性能。此外，我們還強(qiáng)調(diào)了NetGPT所需的重大架構(gòu)變化，并通過展示流行度預(yù)測和意圖推斷的性能，提出了一種可能的網(wǎng)絡(luò)優(yōu)化的統(tǒng)一AI解決方案。然而，NetGPT的研究仍處于初級階段，還有許多問題需要解決，如在終端上實(shí)現(xiàn)推理和微調(diào)、適應(yīng)無線環(huán)境動態(tài)性的在線學(xué)習(xí)、提高LLMs的嚴(yán)謹(jǐn)性以及開發(fā)基于LLMs的物理層等。綜上所述，NetGPT是一種有前景的本地AI網(wǎng)絡(luò)架構(gòu)，超越了個性化生成服務(wù)。

NetGPT是一種AI本地網(wǎng)絡(luò)架構(gòu)，旨在通過協(xié)作的云邊方法實(shí)現(xiàn)個性化生成服務(wù)。NetGPT通過有效的云邊LLM協(xié)同作用，展示了NetGPT在邊緣和云端部署一些代表性的開源LLMs（例如GPT-2-base模型和LLaMA模型），并采用低秩適應(yīng)性參數(shù)高效微調(diào)技術(shù)評估它們的協(xié)同性能的可行性。NetGPT通過深度C＆C集成和邏輯AI工作流等實(shí)質(zhì)性架構(gòu)變化，能夠協(xié)調(diào)適當(dāng)大小的功能LLMs在邊緣和云端協(xié)同工作。具體而言，NetGPT可以利用收斂的C＆C在邊緣部署較小的LLMs，而在云端部署較大的LLMs，從而有意義地實(shí)現(xiàn)協(xié)作云邊計(jì)算，以提供個性化內(nèi)容生成服務(wù)。

圖 1. 實(shí)現(xiàn) NetGPT 邊緣協(xié)作的候選方法的圖示。

NetGPT是一種AI本地網(wǎng)絡(luò)架構(gòu)，旨在通過協(xié)作的云邊方法實(shí)現(xiàn)個性化生成服務(wù)。NetGPT通過深度C＆C集成和邏輯AI工作流等實(shí)質(zhì)性架構(gòu)變化，能夠協(xié)調(diào)適當(dāng)大小的功能LLMs在邊緣和云端協(xié)同工作。具體而言，NetGPT可以利用收斂的C＆C在邊緣部署較小的LLMs，而在云端部署較大的LLMs，從而有意義地實(shí)現(xiàn)協(xié)作云邊計(jì)算，以提供個性化內(nèi)容生成服務(wù)。 深度集成通信和計(jì)算資源的重要性在于，它可以提高網(wǎng)絡(luò)資源的利用率和服務(wù)質(zhì)量。通過更深入的集成，網(wǎng)絡(luò)可以更好地協(xié)調(diào)和管理分布式計(jì)算和通信資源，從而提高網(wǎng)絡(luò)的效率和性能。這對于實(shí)現(xiàn)個性化生成服務(wù)非常重要，因?yàn)檫@需要協(xié)調(diào)和管理分布式計(jì)算和通信資源，以確保服務(wù)的質(zhì)量和效率。因此，NetGPT通過深度C＆C集成和邏輯AI工作流等實(shí)質(zhì)性架構(gòu)變化，能夠協(xié)調(diào)適當(dāng)大小的功能LLMs在邊緣和云端協(xié)同工作，從而提供更好的個性化生成服務(wù)。

圖2.面向NetGPT的協(xié)作云邊緣計(jì)算框架。

本文的創(chuàng)新點(diǎn)在于提出了一種AI本地網(wǎng)絡(luò)架構(gòu)NetGPT，它通過協(xié)作的云邊方法實(shí)現(xiàn)個性化生成服務(wù)。NetGPT能夠協(xié)調(diào)適當(dāng)大小的功能LLMs在邊緣和云端協(xié)同工作，從而提供更好的個性化生成服務(wù)。此外，NetGPT還能夠有效利用位置信息，以提高邊緣LLMs的個性化提示完成效率。

圖 3. NetGPT 的性能展示，用于個性化生成服務(wù)，具有邊緣 LLM 輔助的快速完成功能。

意圖推斷是用來感知客戶的實(shí)時需求，以便在替換手動配置過程之前，能夠更好地應(yīng)用基于模板的服務(wù)于垂直業(yè)務(wù)。具體來說，意圖推斷可以幫助NetGPT更好地理解用戶的意圖和需求，從而生成更加個性化的輸出。在實(shí)驗(yàn)中，研究人員使用GPT-2模型進(jìn)行意圖推斷，并發(fā)現(xiàn)它可以顯著提高生成服務(wù)的質(zhì)量。

圖 . 用于意圖推斷的 Edge LLM。