PersonaAI称三项AI智能体技术超学术基准

IT时代网11月9日消息,AI 企业 PersonaAI 9 日宣布,其应用于 AI 智能体平台的三项核心技术——本体自动构建、函数调用与故障诊断,性能均超过国际学术论文所报告的水平。公司计划把这些技术与小语言模型结合,强化在金融、公共机构等高安全要求行业的业务。

此次验证采用与国际学术论文相同的性能指标和公开评测数据,由获韩国实验室认可体系认可的第三方检测机构 WiseStone 执行。

本体技术用于把企业工作知识结构化,供 AI 理解。团队以 2024 年 NeurIPS 发表的《End-to-End Ontology Learning with Large Language Models》为基准,评测 140 个维基百科案例与 400 个 arXiv 案例,衡量系统提取关键概念、构建层级与关系结构的准确度。结果显示八个指标在两个领域全部超过论文基线,其中 arXiv 概念语义对齐的 Continuous F1 为 0.3675,比论文的 0.2439 高 50.7%;衡量关系结构差异的 Motif Distance 为 0.0178,低于论文的 0.0439,数值越低表示越贴近正确结构。

函数调用技术让 AI 直接执行外部程序或内部系统功能。团队以 2025 年 ICLR 发表的《ToolACE: Winning the Points of LLM Function Calling》为基准,在 Berkeley Function Calling Leaderboard v4 上评测 200 个项目。PersonaAI 的函数调用准确率为 70.5%,比论文的 50.0% 高 20.5 个百分点。公司方面表示,这项评估考察的是实际执行结果是否与正确答案一致,而不只是 AI 是否在口头上给出正确的函数建议。

故障诊断技术分析时序指标,定位客服延迟、服务器过载或外部系统连接错误等问题的成因。团队以 2025 年 ACM TOSEM 发表的 ThinkFL 研究为基准,评测公开 RCAEval 基准中的 520 个故障案例。把真实成因列为首位候选的比例由论文的 34.04% 提升至 86.54%,正确成因进入前三候选的比例由 58.46% 提升至 96.54%。

PersonaAI 表示,本体负责理解企业知识,函数调用据此执行任务,故障诊断则识别运行中的系统问题成因,三项能力构成智能体进入企业任务场景的基础。公司正结合小语言模型把业务拓展至金融与公共机构,目标是在互联网接入受限的封闭网络中也构建面向企业数据和法规优化的 AI,近期已向韩国互联网振兴院与 KB 证券提供解决方案。

编辑:林一舟

THE END