【山石说AI】•第13篇
大模型在网络安全中的最新应用进展（二）
除了在传统安全场景中的卓越表现，大模型的潜力还在不断延伸。从物联网设备指纹识别到安全补丁检测，大模型正在为安全技术的边界赋予无限可能。本章将带您领略这些前沿探索，感受技术创新的独特魅力。
值得注意的是，尽管大模型在提升网络安全方面潜力巨大，但它们也带来了数据隐私、对抗性攻击等新挑战，并需要持续训练和更新以应对不断演变的威胁。在Google于2024年1月1日组织的研讨会报告中，特别强调了生成式人工智能（GenAI）技术的双重使用问题：它既可以用于积极用途，也可能被用于恶意攻击。本节将详细讨论当前借助大模型发起的网络攻击。
大模型辅助攻击的现状
Pawankumar S等人 [1]指出，ChatGPT在网络安全方面既有积极影响，也可能带来潜在风险。在他们的研究中，列举了当前网络安全面临的多种威胁类型，包括恶意软件攻击、网络钓鱼、密码攻击等，并提到ChatGPT在社会工程攻击中的潜在应用。Maanak G等人 [2]也进行了类似的研究，探讨生成式AI在网络安全和隐私方面的影响。此外，Stephen M等人 [3]研究了大模型在网络威胁测试中的潜力，特别是在支持威胁相关行为和决策方面。他们以虚拟机为例，详细讨论了如何在网络中的设备上发起由大模型引导的自动化攻击。尽管此研究尚处于初期阶段，但结果表明大模型在网络威胁中具有强大的潜力。对于当前已存在并可访问的恶意大模型，Zilong L等人 [4]对212个现实中的恶意大模型（Malla）进行了系统研究，揭示了它们在地下市场的传播和运作方式，并详细介绍了Malla生态系统、开发框架、利用技术及其生成各种恶意内容的效果，帮助我们理解网络犯罪分子如何利用大模型及应对这一网络犯罪的策略。
借助大模型进行恶意攻击的方法
大模型辅助的权限提升攻击：开发了一个自动化的Linux权限提升基准，以评估不同大模型的性能，并设计了一个名为Wintermute [5]的工具，快速探索大模型在指导权限提升方面的能力。
大模型辅助的CTF（夺旗）挑战：Wesley T等人 [6]研究了现有大模型在解决CTF竞赛挑战中的潜力，采用三种主流模型（GPT-3.5、PaLM2和Prometheus）从常见CTF类别中挑选代表性挑战，并分析了大模型在解决这些挑战方面的表现。研究结果表明大模型确实能够在一定程度上帮助参与者解决CTF挑战。
大模型辅助的钓鱼网站/邮件生成：Nils B等人 [7]使用大模型自动生成高级钓鱼攻击。在提出的攻击方法中，大模型用于克隆目标网站、修改登录表单以捕获凭据、混淆代码、自动化域名注册和脚本部署。Sayak S R等人 [8]研究了ChatGPT、GPT-4、Claude和Bard等大模型生成钓鱼攻击的潜力，发现这些模型能够有效创建仿真知名品牌的钓鱼网站和邮件，并采用规避检测的策略。研究还开发了一个基于BERT的检测工具，高效识别恶意提示，作为应对大模型滥用于钓鱼攻击的对策。
大模型辅助的有效载荷生成：在一项研究中，研究人员 [9]尝试使用大模型生成用于网络攻击的有效载荷，系统性地探索了ChatGPT在生成2022年MITRE十大弱点可执行代码方面的潜力，并与Google的Bard进行比较。研究表明，大模型生成的有效载荷比手工创建的更复杂且针对性更强。
大模型驱动的自动化渗透测试：Gelei D等人 [10]提出了一个名为PentestGPT的工具，旨在执行自动化渗透测试。PentestGPT通过推理、生成和解析三个模块来实现渗透测试，这些模块反映了渗透测试团队的特定角色，从而尽可能模拟自动化渗透测试。Andreas H等人 [11]还研究了在大模型帮助下进行渗透测试的用例，包括安全测试的高层次任务规划和虚拟机中的低层次漏洞挖掘。Jiacen X等人 [12]推出了AUTOATTACKER系统，利用大模型自动化“键盘操作”阶段的网络攻击，模拟人类操作的多个阶段。AUTOATTACKER包含的模块能够与大模型进行迭代交互，利用总结、规划和操作选择等功能构建复杂的攻击序列。
代理攻击：Mika B等人 [13]将ChatGPT用作受害者与攻击者控制的网络之间的代理（C&C），使攻击者无需直接通信即可远程控制受害者系统，从而增加追踪难度。
向上滑动，查看所有参考文献
1.Pawankumar Sharma and Bibhu Dash. Impact of big data analytics and chatgpt on cybersecurity. In 2023 4th International Conference on Computing and Communication Systems (I3CS), pages 1–6, 2023.
2.Maanak Gupta, Charankumar Akiri, Kshitiz Aryal, Eli Parker, and Lopamudra Praharaj. From chatgpt to threatgpt: Impact of generative ai in cybersecurity and privacy. IEEE Access, 11:80218–80245, 2023.
3.Stephen Moskal, Sam Laney, Erik Hemberg, and Una-May O’Reilly. Llms killed the script kiddie: How agents supported by large language models change the landscape of network threat testing. arXiv preprint arXiv:2310.06936, 2023.
4.Zilong Lin, Jian Cui, Xiaojing Liao, and XiaoFeng Wang. Malla: Demystifying real-world large language model integrated malicious services. arXiv preprint arXiv:2401.03315, 2024.
5.Andreas Happe, Aaron Kaplan, and Jürgen Cito. Evaluating llms for privilege-escalation scenarios. arXiv preprint arXiv:2310.11409, 2023.
6.Wesley Tann, Yuancheng Liu, Jun Heng Sim, Choon Meng Seah, and Ee-Chien Chang. Using large language models for cybersecurity capture-the-flag challenges and certification questions. arXiv preprint arXiv:2308.10443,2023.
7.Nils Begou, Jérémy Vinoy, Andrzej Duda, and Maciej Korczy´ nski. Exploring the dark side of ai: Advanced phishing attack design and deployment using chatgpt. In 2023 IEEE Conference on Communications andNetwork Security (CNS), pages 1–6, 2023.
8.Sayak Saha Roy, Poojitha Thota, Krishna Vamsi Naragam, and Shirin Nilizadeh. From chatbots to phishbots? preventing phishing scams created using chatgpt, google bard and claude. arXiv preprint arXiv:2310.19181,2024.
9.P. V. Sai Charan, Hrushikesh Chunduri, P. Mohan Anand, and Sandeep K Shukla. From text to mitre techniques: Exploring the malicious use of large language models for generating cyber attack payloads. arXiv preprint arXiv:2305.15336, 2023.
10.Gelei Deng, Yi Liu, Víctor Mayoral-Vilches, Peng Liu, Yuekang Li, Yuan Xu, Tianwei Zhang, Yang Liu, Martin Pinzger, and Stefan Rass. Pentestgpt: An llm-empowered automatic penetration testing tool. arXiv preprint arXiv:2308.06782, 2023.
11.Andreas Happe and Jürgen Cito. Getting pwn’d by ai: Penetration testing with large language models. In Proceedings of the 31st ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering, ESEC/FSE 2023, page 2082–2086, New York, NY, USA, 2023. Association for Computing Machinery.
12.Jiacen Xu, Jack W. Stokes, Geoff McDonald, Xuesong Bai, David Marshall, Siyue Wang, Adith Swaminathan, and Zhou Li. Autoattacker: A large language model guided system to implement automatic cyber-attacks. arXiv preprint arXiv:2403.01038, 2024.
13.Mika Beckerich, Laura Plein, and Sergio Coronado. Ratgpt: Turning online llms into proxies for malware attacks. arXiv preprint arXiv:2308.09183, 2023.
山石网科是中国网络安全行业的技术创新领导厂商，由一批知名网络安全技术骨干于2007年创立，并以首批科创板上市公司的身份，在2019年9月登陆科创板（股票简称：山石网科，股票代码：688030）。