随着人工智能技术的快速迭代发展,AI大模型工业(工业行业分析报告)应用场景不断丰富。“中国AI大模型工业应用指数”旨在及时跟踪国内外AI大模型技术发展态势,挖掘大模型潜在工业应用场景,系统评估通用人工智能与工业融合的进展与成效。
指数体系由大模型基础应用能力与行业应用能力构成。大模型基础应用能力包含文生文、图生文等领域的准确性、稳定性能力;大模型的行业应用能力包含民爆、电力、石化、钢铁、医药等重点行业大模型在研发设计、生产制造、运维管理等环节具体场景的应用有效程度。
经过多轮测评与专家研讨,在基础应用能力方面,率先发布中国AI大模型文生文准确性与稳定性指数,其中准确性指数反映了国内外头部AI大模型在工业领域文本生成的精准程度。总体上,国内大模型准确性指数为78,国际大模型准确性指数为76,国内顶级大模型在工业领域文本生成的准确性已具备竞争力;在行业知识层面,我国在多个行业如电力、建材、纺织的知识储备已经具备一定领先优势;细分能力层面,国内模型在语句能力和专业知识掌握上比国外模型更加优秀,在数理能力还有待提升。稳定性指数代表模型在一定外部扰动下持续给出正确回答的能力,反映模型在复杂环境下的鲁棒性。总体上,国内大模型稳定性指数为71分,低于国际的74分;在行业知识层面,电力和采矿等行业知识储备有待提升;在细分能力层面,国内大模型需要在顺序变换和逻辑扰动等领域需进一步加强。
在行业应用能力方面,率先发布中国AI大模型民爆行业应用指数,针对大模型在民爆行业安全防控场景开展应用评测。总体上,国内大模型行业应用指数为84分,国际为93分,国外大模型仍具备领先优势;在场景细分能力上,国内大模型在人员行为监测、事故监测、危险车辆监测细分场景与国外大模型有一定的差距,国内模型仍有较大进步空间。