近日，美国OpenAI公司发布的首个视频生成模型“Sora”给国内外信息产业带来震撼影响，同时也引发了人们对生成式AI技术被用于深度伪造内容，可能加剧错误和虚假信息网络（网络行业分析报告）传播的担忧。在生成式AI技术迅速发展的当下，伪造视频、图片、语音用于不法目的的行为时有报道。已有多家媒体报道称，生成式AI技术已被用于深度伪造领域，并被用于误导选民、干扰选举、抹黑名人、造谣诽谤、电信诈骗、色情敲诈等不法行为中。
当前，国内外生成式AI技术快速发展，从事该领域研究、开发、应用的新生企业如雨后春笋般涌现，AI手机的开发更是如火如荼。需要看到的是，生成式AI技术的快速发展具有两面性。一方面是该技术有创造性，能为影视制作、文娱创作、游戏制作、音乐工业等提供全新生产力，促进文化产业繁荣发展；另一方面是该技术具有破坏性，能快速廉价地实现以假乱真、移花接木、无中生有等特定诉求，为不法分子大开方便之门。
如能有效限制生成式AI技术的破坏性，更能有利于生成式AI技术的创造性发挥，在保障这一新生事物行稳致远的同时，也能够使之成为国家经济增长中的新质生产力之一。为此，笔者建议从多个层次扎牢防范风险的篱笆。
在生成式AI大模型的开发过程中，监管机构应督促相关上市公司尽快设立两类审查制度，切实管控好底层代码和训练样本。
一类审查用于生成式AI大模型的底层代码。对于从事生成式AI大模型的开发型企业，应在内部建立起对底层代码审查制度，其底层代码对监管机构及内部审查机构透明化可查阅，鼓励头部开发企业在底层代码开源可见、主动对外披露方面多做工作。一类审查用于生成式AI大模型的样本训练环节。对于从事生成式AI大模型的训练型企业，应在内部建立对训练样本审查制度，其训练样本的来源、脱敏、数据清洗等关键环节应设置检查点，从而避免敏感信息、个人信息被用于样本训练，进而生成深度伪造内容。
在生成式AI大模型的安装及应用过程中，应尽快建立实名认证制度和指令鉴别机制。通过建立实名认证制度，可确保安装在个人计算机、服务器、手机、智能移动终端的生成式AI大模型客户端与用户实名捆绑，确定生成式AI大模型的指令发出人、指令接受人、内容流向清晰可见，在内容生成流程上实现可追溯、可监控、可预防。
通过建立指令鉴别机制，可在生成式AI大模型的客户端就及时拒绝并剔除非法指令，提前鉴别出有明显违法倾向性的提示词指令，从而预防生成式AI大模型被用于深度伪造的不法目的。