国内外生成式AI大模型执行情报领域典型任务的测试分析

摘要：

[目的/意义]面对AI进步与ChatGPT类大模型发展为情报领域带来的前所未有之变革,文章多方面分析国内外生成式AI大模型执行情报领域典型任务的有效性与可靠性,为高效利用其能力助力情报工作提供参考.[方法/过程]文章结合情报领域多方面工作内容设计问题,分别在Gpt-3.5-Turbo与ChatGLM-6B大语言模型上进行测试、对照与提示工程探索,采用专家打分法进行测评,详细分析评价大语言模型的9项能力水平.[结果/结论]大语言模型在执行多数典型情报任务上都展现出了较强能力,运用好提示工程能大幅提升大语言模型的优势能力,结合外部工具可以有效弥补大语言模型自身的短板,充分挖掘大语言模型潜力将带来情报工作效率的巨大提升.

关键词：生成式AI、大语言模型、测试分析、情报任务、ChatGPT

所属期刊栏目：44

分类号：TP391;TN912.34;G351

在线出版日期：2023-11-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：6-17