中國信通院第八批自然語言處理評測正式啟動

發布時間:2023-09-06

作者:NGAI

評測背景

2021年11月,國務院辦公廳頒發《關于全面加強新時代語言文字工作的意見》,指出要全面推動自然語言處理技術發展的決策部署,加強語言技術成果轉化及推廣應用,統籌推進人工智能場景創新,著力解決人工智能重大應用和產業化問題。近年來,隨著ChatGPT等大模型的出現,進一步推動和加速了自然語言處理技術產品落地,從智能文檔、對話式AI、智能客服等多個維度滿足政企單位的語言服務需求,助力企業數字化和智能化轉型。

相關工作

為助推NLP產業可信發展,中國信息通信研究院(以下簡稱“中國信通院”)自2018年開始,圍繞NLP方向有序開展技術跟蹤、產業研究、標準研制、評估測試等工作。在技術研究方面,2022年,中國信通院發布《客服中心智能化技術和應用研究報告》,深度剖析客服中心轉型現狀和問題挑戰,提出發展建議和典型范式。此外,中國信通院順利開展客服中心案例征集工作,共接受34個企業申報的59個應用案例,遴選37項優秀案例進行發布和解讀。在標準研制方面,中國信通院目前在研或發布國際標準1項、行業標準8項、團體標準10項。其中,國際標準ITU-T F.746.16已在2022年10月召開的國際電信聯盟第十六研究組全體會議上順利結項。

圖片

在評估測試方面,中國信通院緊密圍繞自然語言處理標準體系,全方位評估自然語言處理產品能力。目前,中國信通院可信AI評測體系已開展7輪自然語言處理方向評測,累計服務企業30余家,測試自然語言處理產品50余項。

圖片

評測內容

2023年上半年,中國信通院將繼續建設和完善自然語言處理標準和評測體系,依據《自然語言處理技術及產品評估方法》《客服中心智能化等級評估方法》《智能客服系統服務等級評估方法》等系列標準,開展如下評測:

圖片

時間安排

評測報名:即日起開始

評測執行:2023年3月至2023年6月

專家評審:2023年6月

成果發布:2023年7月可信AI峰會(擬)

評測聯系人

陶老師,18951766189,

taoqiuyu@caict.ac.cn

張老師,15722924458,

zhangxueqiang@caict.ac.cn