论文分享
GenAINet通信大模型
随着ChatGPT和Sora取得的显著成就，生成式人工智能（GAI）受到了越来越多的关注。GAI的应用不仅限于内容生成领域，其强大的学习和泛化能力使其还广泛用于解决无线通信场景中的问题。来自吉林大学的孙庚教授团队联合南洋理工大学、广东工业大学、新加坡科技研究局和北京邮电大学讨论了GAI在提升无人机（UAV）通信与网络性能方面的关键应用。首先回顾了GAI的关键技术以及无人机网络的重要作用。展示了GAI如何改善无人机系统的通信、网络和安全性能。此外，提出了一种基于GAI的先进无人机网络新框架，并在该框架下展示了一个基于无人机的频谱图估计和传输速率优化的案例研究，以验证GAI增强无人机系统的有效性。最后，讨论了一些重要的未来研究方向。(本推文内容由论文作者提供）
Generative AI for Advanced UAV Networking
Geng Sun1,2, Wenwen Xie1, Dusit Niyato2, Hongyang Du2, Jiawen Kang3, Jing Wu1, Sumei Sun4, and Ping Zhang5
1College of Computer Science and Technology, Jilin University, China
2College of Computing and Data Science, Nanyang Technological University, Singapore
3School of Automation, Guangdong University of Technology, China
4Institute for Infocomm Research, Agency for Science, Technology and Research, Singapore
5State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, China
原文链接：
https://arxiv.org/abs/2404.10556
本文分享仅用于技术交流，未经许可禁止用于商业用途。
一、引言
从基于规则的算法到先进的学习模型，人工智能（AI）能够解决的任务变得日益复杂，这使得其在解决工业、商业和日常生活中的问题方面展现出巨大的潜力。传统的AI方法，如判别式人工智能（DAI）或预测性人工智能（PAI），通过利用深度神经网络从大规模数据集中学习特定范式，以处理分类和预测任务。尽管这些AI方法为现代数据驱动环境提供了基础，并在处理动态需求方面表现良好，但它们仍然面临若干问题，例如，依赖于广泛标注的数据集。
幸运的是，生成式人工智能（GAI）的出现缓解了DAI和PAI所面临的局限性，标志着AI发展进入了一个新阶段。具体而言，GAI能够从训练数据中学习概率分布，而不是类边界，然后基于学习到的分布生成可靠的新样本。与传统AI方法相比，GAI的优势可以总结如下：
-
数据增强：GAI能够基于学习到的分布生成新数据。该过程可以扩展训练集，有助于增强模型的泛化能力，并解决数据集稀缺的问题。
-
潜在空间表示：GAI能够在训练过程中将输入数据映射到潜在空间，从而有助于学习训练样本的潜在结构和特征。值得注意的是，传统AI方法中通常缺乏这种精细控制通。
-
创造力：鉴于GAI强大的生成能力以及在无监督学习中的卓越表现，GAI 在探索性数据分析和新领域应用中具有明显的优势。
得益于上述优势，GAI在处理复杂任务中的重要性逐渐显现。特别是ChatGPT和Sora的巨大成功激发了GAI研究，并催生了包括人机交互、图像处理和视频生成在内的多种应用。值得注意的是，除了在内容创作方面表现出色外，强大的生成和探索能力使其在处理复杂的通信和网络优化问题上具有印象深刻的潜力，例如天线阵列优化。
然而，关于GAI在UAV通信和网络中的应用研究较少。目前，DAI、凸优化和博弈论通常被用于解决UAV优化问题。然而，由于UAV的移动性和环境的高度动态性，这些传统方法在处理UAV网络问题时可能存在局限性。此外，诸如DAI等学习方法可能无法充分捕捉数据的潜在结构和特征，从而导致对问题的理解不够全面，以及在应对未知情况时的能力较弱。
GAI显示出解决上述问题的巨大潜力。特别是，GAI所展示的强大学习和泛化能力可以用来优化UAV网络的资源管理问题，以提高通信性能。例如，考虑到UAV的资源有限，GAI可以根据从目标区域部分收集的数据准确推断整个目标区域的状况，从而进行合理的资源分配和轨迹规划。尽管将GAI整合到UAV通信和网络中提供了显著的优势，但仍有一些问题需要进一步讨论：
-
Q1: 为什么 GAI 适合无人机通信和联网？
-
Q2: GAI 可以处理哪些无人机通信和网络问题？
-
Q3: GAI 如何处理这些问题？
因此，我们提供了一个系统化的教程以回答上述问题。据我们所知，这是首次系统性地展示GAI在解决UAV通信和网络优化问题中的应用。我们的贡献总结如下：
-
我们首先介绍 GAI 的一些具体技术和应用。随后，展示了UAV的作用和特点。最后，我们说明了 DAI 的局限性，并简要介绍了用于UAV通信和联网的 GAI
-
我们从通信、网络和安全的角度讨论了GAI在解决与UAV相关问题方面的潜力。
-
我们提出了一个利用GAI的UAV通信和网络的新框架。此外，我们构建了一个案例研究来展示基于所提框架的GAI增强UAV启用的频谱感知和通信的有效性。
二、GAI及其应用
GAI基于从大规模训练数据集中获得的大量通用知识，执行满足用户需求的任务。GAI主要依赖以下关键AI技术：
-
大规模语言模型（LLM）：LLM基于大量文本数据进行训练，以学习各种语言模式和结构，从而实现对自然语言的理解和生成。凭借出色的理解和推理生成能力，LLM被广泛应用于文本生成和人机交互等领域。
-
Transformer：Transformer是一种序列到序列的模型，采用自注意力机制，能够同时处理输入序列中各个位置的信息。因此，Transformer在自然语言处理（NLP）领域取得了显著成功，如处理机器翻译和文本摘要等任务。
-
生成式对抗网络（GAN）：GAN由生成器和判别器组成。具体而言，生成器负责生成与原始数据相似的数据，而判别器则用于判断数据的真实性。目前，GAN在视频处理、网络安全等领域具有广泛的应用。
-
变分自编码器（VAE）：VAE是一种生成模型，由编码器和解码器组成。VAE的训练过程依赖于特定的损失函数，该损失函数能够衡量重构数据与原始数据之间的差异，同时考虑潜在空间的分布特征。因此，VAE在信号处理和异常检测等任务中具有显著的优势。
-
生成扩散模型（GDM）：GDM通过一系列可逆变换将简单的噪声分布转换为目标数据分布。在GDM的训练过程中，噪声逐渐添加到原始数据中，然后学习逆扩散过程，以从噪声中构建期望的数据样本。GDM常用于图像处理、数据增强与恢复、问题优化等领域。
目前， GAI在各个领域衍生出了大量应用，并取得了令人瞩目的成果。接下来，我们将从人工智能生成内容（AIGC）和人工智能生成一切（AIGX）的角度，简要介绍一些GAI应用。
-
AIGC：AIGC指通过GAI生成满足用户需求的内容，主要包括文本、图像、视频和音频等媒体内容的生成。例如，基于LLM的chatGPT可以与用户进行互动，并根据用户的提示生成相关的文本内容，如翻译、摘要和文章写作等。
-
AIGX：随着GAI的发展，AIGX进入了一个新阶段，即将GAI应用于处理其他领域的更复杂问题，并生成更加复杂的数据类型，而不仅仅局限于媒体内容。例如， GDM可以用于无线网络优化，如最大化传输速率、通信容量和能效等。
三、基于GAI的无人机频谱图估计框架
图 1 基于GAI的无人机频谱图估计框架
如图1所示，我们提出了一种基于GAI的无人机频谱估计图生成器（SEMG），其包含以下组件：
-
交互部分：在输入层，用户（例如，无人机操作员）根据任务需求向GAI代理提供原始提示，包括文本、图像、音频和视频等。随后，采用提示工程技术来优化这些提示。在决策层，用户可以准备与其需求相关的新鲜或专有数据。需要注意的是，以上准备的数据将被向量化、索引并存储在向量数据库中。接下来，利用RAG技术根据用户的查询从向量数据库中检索数据，并选择与用户的查询相关性最高的N个数据条目。随后，将这些被视为背景上下文的选定数据条目与用户的查询结合，形成提示，从而更好地指导LLM生成符合用户需求的适当策略。
-
生成部分：首先，观察环境的当前状态。随后，GDM根据观察到的状态预测噪声并生成解决方案。最后，根据目标函数计算目标值，并根据LLM在交互部分设计的目标函数和损失函数分别更新扩散模型的网络。
四、实验结果
4.1 案例研究1
-
场景描述：UAV被派遣到目标区域的部分位置测量信噪比（SNR）数据。随后，采用GDM优化UAV的测量轨迹，以便基于有限的测量信息更准确地预测整个目标区域的频谱图。
-
结果分析：用户与GAI代理之间的交互过程如图2的部分A所示。如图所示，GAI代理在与用户交互过程中能够自动设计与真实情况完全一致的网络结构和损失函数。基于设计的网络结构和损失函数，我们可以采用扩散模型生成频谱估计图。图2(a)展示了真实的信噪比（SNR）图。此外，图2(b)和图2©分别展示了我们提出的框架和LSTM生成SNR估计图的过程。与LSTM生成的频谱图相比，扩散模型能够更准确地推断整个目标区域的SNR。此外，我们定义了一个称为“差异”的度量指标，该指标指的是估计频谱与真实频谱之间SNR差距的绝对值。图2(d)展示了我们提出的SEMG和LSTM的估计差异，其中我们的SEMG优于LSTM。这是因为扩散模型能够准确捕捉频谱数据的分布。因此，上述结果验证了SEMG在UAV辅助频谱估计中的有效性。
图 2 案例1的实验结果
4.2 案例研究2
-
场景描述：在该案例中，UAV既充当频谱估计器，又充当数据传输器，我们的目标是利用GDM生成UAV的优化轨迹，以同时实现高精度的频谱图和高传输速率。考虑到UAV的能源受限特性，有必要探讨能源消耗对频谱估计和传输性能的影响。
-
结果分析：图3展示了UAV用于频谱估计能源消耗百分比对频谱估计精度和传输性能的影响。随着UAV分配给频谱估计的能源增加，频谱估计图与真实图之间的差异逐渐减少。这是因为更多的能源分配给频谱检测会导致更准确的频谱估计。然而，UAV是能源受限的空中平台，将更多的能源用于频谱估计意味着用于数据传输的能源减少。因此，传输速率的曲线在分配给频谱估计的能源增加时呈下降趋势。然而，当分配给频谱估计的能源过低时，频谱估计图的质量较差会影响数据传输速率的优化。需要注意的是，我们提出的基于GDM的方法优于深度确定性策略梯度（DDPG），这表明GDM特别适合于资源有限的无人机系统。这是因为GDM能够更好地建模状态与动作之间的复杂映射。此外，GDM能够生成多样且高质量的样本，这有助于策略网络探索更广泛的动作范围。这种增强的探索能力可以发现传统DDPG方法可能遗漏的更优策略。
图 3 案例2的实验结果
五、结论
本文系统地介绍了GAI如何优化UAV通信和网络。具体而言，我们首先介绍了GAI的基本原理以及UAV的多重角色。接着，从通信、网络和安全三个角度讨论了GAI在UAV上的应用。随后，我们提出了一个新颖的GAI框架，用于UAV通信和网络，并通过UAV辅助频谱图估计和传输速率优化的案例研究来验证该框架的有效性。最后，提出了三个关键的未来研究方向，以进一步提升GAI在UAV系统中的应用。我们希望本文能够激发研究人员在UAV网络等无线网络领域提出更多的GAI方法。
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。