据央视新闻报道，近日美国一名律师在一起诉讼案件中，引用了ChatGPT搜集的6个案例，而法官却发现那些信息全是胡编乱造。上游新闻注意到，这已经不是ChatGPT第一次胡编乱造，此前它还在学术论文、新闻等领域编造了许多虚假信息。据OpenAI联合创始人透露，ChatGPT可能存在“机器幻觉”的根本问题，从而导致它有“编瞎话的天性”。
美国30年资深律师被坑
据新华社援引美国有线电视新闻网报道，男乘客罗伯托·马塔对哥伦比亚航空公司提起诉讼，称自己2019年搭乘该公司航班飞往纽约市途中，乘务人员疏忽导致他膝盖被客舱内推车撞伤。
马塔的代理律师是已有30多年从业经历的纽约市律师史蒂文·施瓦茨，施瓦茨向法官凯文·卡斯特尔提交了多个所谓类似案例及其判决结果。
然而法官卡斯特尔本月4日在一份书面文件中写道，那6个案例的判决结果、引语等都是假的，“法庭从未遇到过这种情况”。他下令6月8日就处罚施瓦茨举行听证会。
施瓦茨承认那6个案例为ChatGPT提供。法庭文件显示，他看到这些案例信息后追问ChatGPT信息是否属实，机器人称“千真万确”，还给出了所谓的信息出处。
施瓦茨说，这是他第一次用ChatGPT协助办案，“没有意识到内容伪造的可能性”。他在书面文件中“深表懊悔”，愿意承担相关责任，承诺今后“没有完全核实”就不会使用聊天机器人提供的信息。
造假论文让专家难辨真假
此前据央视网报道，美国北密歇根大学哲学教授安东尼·奥曼在批改论文时，读到了他看到的“全班最好的论文”，但在奥曼的质问下，这位学生承认使用了ChatGPT。这一发现让奥曼感到震惊。
真正让人害怕的是，ChatGPT会写出一些不存在的论文让查询者使用。今年1月，一位中国网友因为导师要与他讨论ChatGPT的话题，于是让ChatGPT写几篇论文看看。结果，ChatGPT“编造了三篇论文，标题作者概要啥都有，看上去跟真的似的”。最后，ChatGPT承认了这几篇论文都是假的。
今年2月，另一名网友想通过ChatGPT查询文献资料，也遭遇假论文。他发微博表示：“我想要查的研究方向都有文献证据，提到具体文献提供不了DOI但有作者和期刊页码信息，一查好家伙全是假的。”
离谱的是，你很难分辨ChatGPT提供给你的论文是真还是假。2022年12月27日，美国西北大学一个研究团队发表了一篇研究论文，内容是使用ChatGPT来生成研究论文摘要，以测试科学家是否能发现它们。
研究团队要求ChatGPT根据发表在JAMA、NEJM、BMJ、Lancet和Nature Medicine这5个顶级医学期刊上精选的论文来撰写50篇医学研究摘要。然后，研究团队通过论文剽窃检测器和人工智能输出检测器将这些摘要与原始摘要进行比较，并要求一组医学研究人员找出哪些是ChatGPT所编造的摘要。
结果令人惊讶，ChatGPT所编写的摘要顺利通过了论文剽窃检查，原创性得分为100%，也就是没有检测到抄袭。这意味着，ChatGPT在编造研究论文摘要方面，达到了人类专家都难辨真假的程度。
编造假新闻“有模有样”
今年2月16日，一则“浙江省杭州市政府3月1号取消机动车依尾号限行”的“新闻稿”在网上疯传。17日杭州警方证实，该消息不实，警方已介入调查。
据浙江之声报道，16日下午，杭州某小区业主群讨论ChatGPT，一位业主开玩笑说尝试用它写篇杭州取消限行的新闻稿，随后在群里直播了使用ChatGPT的写作过程，还把文章发在群里。这篇“假新闻”行文严谨、语气措辞得当，也基本符合官方通报的格式，其他业主不明就里，随后截图转发，导致错误信息大规模传播。
涉事业主后来在微信群里道了歉，称不实信息的截图，误导了大家。“在社会上造成不良影响，给政府工作带来不便，我深表歉意”。
据微信公众号“甘肃公安”5月7日消息，平凉市公安局网安大队侦破一起利用AI人工智能技术炮制虚假不实信息的案件。
警方发现，网络上一篇火车发生事故致人死亡的文章信息虚假，随即展开调查。民警发现，共计21个百度账号在同一时间段发布该文章，文章内容地点涉及全国多地。经查，涉案百度账号均为深圳某自媒体公司所有，其法人代表洪某弟有重大作案嫌疑。原来，洪某弟购买大量自媒体号 ，并通过ChatGPT人工智能软件将搜集到的热点新闻修改编辑，随后上传赚取大量流量获利。目前，洪某弟已被采取刑事强制措施，案件正进一步侦办中。
OpenAI联合创始人：ChatGPT有编瞎话的天性
最新的研究发现，ChatGPT并非可靠信源。
据科技日报5月18日的一篇报道，加拿大科学家在16日出版的《放射学》杂志上刊登新论文称，最新版本的ChatGPT通过了美国放射学委员会的考试，突出了大型语言模型的潜力，但ChatGPT会有提供不正确答案的倾向，如果仅仅依靠它获取信息，非常危险，因为人们可能意识不到其给出的答案是不准确的。
为何ChatGPT不能直接回答“我不知道”，而要满嘴胡说八道？
有研究人员认为，这是因为ChatGPT固有的“幻觉”造成的。直白来讲，就是它有“张口胡说八道的天性”。
就连马斯克都想拯救这个致命的问题，并且推出了名为TruthGPT的AI平台。马斯克曾表示，TruthGPT是一个“最大的求真人工智能”，它将试图理解宇宙的本质。
前不久，OpenAI联合创始人兼研究员John Schulman在一次演讲中，讨论了“机器幻觉”产生的原因以及解决方案。根据他的说法，“机器幻觉”大致可以分为两种类型：第一，模式完成行为，即语言模型无法表达自己的不确定性，无法质疑提示中的前提，或者继续之前犯的错误；第二，模型猜测错误，语言模型代表一种知识图谱，该图谱将训练数据中的事实存储在自己的网络中。而微调可以理解为“学习一个函数”，能够在知识图谱上操作并输出token预测。
比如，微调数据集中，如果有包含“星球大战是什么片？”这个问题，以及“科幻”这个答案。要是这一信息在原始训练数据中存在，那么模型就不会学习新信息，而是学习一种行为——输出答案。而这种微调也被称为“行为克隆”。
如果“星球大战是什么片？”这一问题的答案不是原始训练数据的一部分。即便不知道，模型也会学习正确答案。但问题是，使用这些不在知识图谱中的答案进行微调，就会让模型学会编造答案，即产生所谓的“幻觉”。
相反，要是用不正确的答案去训练模型，就会导致模型知识网络隐瞒信息。
专家：要加快立法防范AI法律、伦理风险
当然，技术本身无好坏，关键在于如何利用。AI技术的应用必须符合国家的法律法规以及社会伦理规范。为规范AI技术的合法合规使用，今年1月开始施行的《互联网信息服务深度合成管理规定》，对人脸生成、替换、操控，合成人声、仿声等都有明确约束；今年4月，国家互联网信息办公室发布《生成式人工智能服务管理办法（征求意见稿）》，对AI伪造进行了全面规定。
近日，国务院办公厅印发《国务院2023年度立法工作计划》，其中人工智能法草案等预备提请全国人大常委会审议，这意味着国家层面的人工智能立法将进入新阶段。
中国信通院云计算与大数据研究所所长何宝宏此前接受采访时建议，要组织跨学科团队，深入研究ChatGPT等新技术应用对现有法律规范、伦理道德等带来的冲击，系统梳理潜在风险挑战，及早研究相关风险防范措施。鼓励各方积极参与人工智能安全技术研发、防范体系搭建和治理规则制定等工作，加快布局我国人工智能安全标准、伦理规则的研究。
上游新闻综合央视网、中新网、每日经济新闻、浙江之声、澎湃新闻、中国青年报、科技日报
编辑：杨虹
责编：陈晶晶
审核：吴忠兰