中國信通院生成式AI首輪評測正式啟動

發布時間:2023-09-06

作者:NGAI

評測背景

近期,ChatGPT火爆出圈、熱度不減,強大的語言理解和生成能力是引起廣泛關注的重要原因。根據中國信通院對ChatGPT展開的生成能力評測結果,ChatGPT支持創意寫作、命題寫作、摘要生成、代碼生成等多種任務,寫作任務上在學術、新聞、詩歌、散文、戲劇等領域均有涉及。隨著ChatGPT成為語言生成的新里程碑,生成式人工智能也進入了新一輪的發展熱潮。生成式人工智能基于大規模預訓練模型、對抗學習、擴散模型等技術,已逐漸拓展文本、圖片、視頻、3D模型等多模態生成能力,通過新聞寫作、圖片創作、代碼生成等應用形態在商業營銷、藝術設計、程序開發等眾多場景中已經開始應用,成為提升生產力的重要工具。在其快速發展的同時,引發的生成不可控、版權爭議、惡意濫用等問題亟待關注,其可信治理、工程化工具、管理維護等方面仍存在一定的挑戰。

參考標準

中國信息通信研究院(以下簡稱“中國信通院”)聯合百度、華為云、網易、??低?、商湯、中國移動研究院、中國聯通研究院、福建中煙、天津大學、南京郵電大學等來自產、學、研、用的40余家參編單位構建了生成式人工智能標準評測體系,共同編制標準《生成式人工智能技術及產品評估方法 第1部分:技術能力》、《生成式人工智能技術及產品評估方法 第2部分:產品能力》,針對文本、圖片、視頻、代碼等多種模態的生成能力形成多維度評價指標。為進一步促進生成式AI技術和應用發展,現正式啟動生成式AI首輪評測。
圖片

評測內容

本次評測面向涉及生成式AI技術的產品及應用,圍繞技術能力、產品能力兩大模塊開展相關評測,參評方可根據自身情況選擇參評模塊,評測結果綜合功能、性能指標進行評級。

技術能力:考察生成式AI技術的實現水平,圍繞文本、圖片、視頻、音頻、代碼等多種生成模態,通過主觀指標和客觀指標評估,包括30余個指標項。

產品能力:考察生成式AI產品的基礎功能、服務能力和綜合能力,包括生成配置、作品管理、定制開發、服務方式、易用性、合規性等20余個指標項。

圖片

時間安排

1、評測報名:即日起開始;

2、評測執行:2023年3月至2023年7月底;

3、專家評審:2023年8月;

4、證書頒發:2023年8月底可信AI成果發布會(擬)。

評測聯系人

張老師,19852822678,

zhangdan3@caict.ac.cn

吳老師, 15927505636,

wusiqi@caict.ac.cn