近日，软件工程领域国际顶级学术会议ISSTA 2026在美国举行。我院助理教授任潇宁作为第一作者、以西安交通大学为第一署名单位完成的论文《Code-MUE: Measuring Code LLMs’ Uncertainty through Execution-based Semantic Interaction Graphs》荣获杰出论文奖。

该论文聚焦代码大模型的不确定性度量问题，为识别生成代码的潜在风险提供了新方法。随着大模型在代码生成与程序修复等任务中的广泛应用，如何评估生成代码的可靠性日益受到关注。然而，生成代码“看起来合理”并不意味着其功能正确。针对同一任务，模型可能生成多种代码实现：部分代码虽然写法不同，却具有相同的功能；部分代码仅存在一个运算符的差异，却可能产生截然不同的运行结果。因此，仅依赖文本相似度评估模型输出的稳定性，难以准确反映代码在功能行为上的关键差异。

针对上述问题，研究提出了Code-MUE框架，以代码的实际运行行为为依据度量模型输出的不确定性。该方法针对同一任务生成多个候选程序，在一组自动构造的输入上执行这些程序，并依据运行结果的一致性构建语义交互图，进一步利用图熵量化候选程序在功能行为上的分歧程度。该方法无需访问模型内部参数或预测概率，也无需预先标注输入对应的正确输出，因此适用于仅提供调用接口的代码大模型。

该研究为AI辅助编程中的代码质量控制提供了新的风险评估依据。对于功能行为分歧较大的生成结果，可优先开展进一步测试或人工复核，从而辅助识别潜在的软件质量风险。需要指出的是，低不确定性并不直接意味着代码正确，相关度量仍需与软件测试和验证方法相结合，以进一步保障生成代码的可靠性。

任潇宁，西安交通大学软件学院助理教授，入选我校“青年优秀人才支持计划”。获中国科学技术大学计算机科学与技术学院博士学位，曾赴东京大学开展一年的访问研究。主要从事人工智能软件质量保障研究，重点关注人工智能模型与智能软件的测试、可靠性及安全性。近年来，以第一作者身份在软件工程领域国际顶级期刊与会议（TOSEM、ICSE、ASE、ISSTA）发表多篇学术论文。

ISSTA（ACM SIGSOFT International Symposium on Software Testing and Analysis）是软件测试与分析领域具有重要国际影响力的顶级学术会议，也是中国计算机学会（CCF）推荐的A类国际学术会议。会议汇聚全球软件工程领域的专家学者，围绕软件测试、程序分析、软件可靠性及智能软件工程等前沿方向，交流最新研究进展与创新成果。

大会设立的杰出论文奖（Distinguished Paper Award）旨在表彰具有突出学术价值和创新贡献的优秀研究成果。

编辑：张乐琪

审核：原 盛