12月6日，在中共上海市委金融委員會(huì)辦公室、上海市經(jīng)濟(jì)和信息化委員會(huì)的指導(dǎo)下，上海市人工智能行業(yè)協(xié)會(huì)和上海金融業(yè)聯(lián)合會(huì)聯(lián)合發(fā)布全國(guó)首個(gè)以金融業(yè)務(wù)能力為核心的團(tuán)體標(biāo)準(zhǔn)《金融大模型應(yīng)用評(píng)測(cè)指南》，上海庫(kù)帕思科技有限公司發(fā)布多維度金融大模型評(píng)測(cè)數(shù)據(jù)集（2024版）。

　　《金融大模型應(yīng)用評(píng)測(cè)指南》，以金融業(yè)務(wù)為核心，以金融機(jī)構(gòu)模型應(yīng)用為導(dǎo)向，從模型基礎(chǔ)、金融安全與價(jià)值對(duì)齊、金融風(fēng)險(xiǎn)控制、金融專(zhuān)業(yè)認(rèn)知、金融業(yè)務(wù)輔助拓展等5個(gè)維度185項(xiàng)指標(biāo)要求，構(gòu)建了金融領(lǐng)域大模型的能力測(cè)評(píng)框架。

　　在模型基礎(chǔ)能力方面，圍繞模型基礎(chǔ)理解和推演功能，指南定義了包括文本分類(lèi)、信息抽取等在內(nèi)的11項(xiàng)單模態(tài)、圖文檢索、視頻問(wèn)答等在內(nèi)的6項(xiàng)多模態(tài)指標(biāo)要求。金融安全與價(jià)值對(duì)齊能力方面，圍繞模型的可靠性、可解釋性以及隱私保護(hù)，指南設(shè)計(jì)了內(nèi)容合規(guī)、文化價(jià)值、倫理價(jià)值等在內(nèi)的9項(xiàng)指標(biāo)要求。金融風(fēng)險(xiǎn)控制能力方面，圍繞模型在實(shí)際應(yīng)用中的風(fēng)險(xiǎn)防范與控制，指南提出了利率風(fēng)險(xiǎn)、匯率風(fēng)險(xiǎn)、輿情風(fēng)險(xiǎn)等在內(nèi)的19項(xiàng)指標(biāo)要求。金融專(zhuān)業(yè)認(rèn)知能力方面，圍繞模型的金融基礎(chǔ)知識(shí)和信息解讀，指南歸納了會(huì)計(jì)核算、財(cái)務(wù)報(bào)表編制與分析等在內(nèi)的23項(xiàng)指標(biāo)要求。金融業(yè)務(wù)輔助拓展能力方面，圍繞銀行、基金、保險(xiǎn)、證券、信托等5個(gè)領(lǐng)域，指南提煉了28項(xiàng)業(yè)務(wù)場(chǎng)景，包括存貸款業(yè)務(wù)、量化交易等在內(nèi)的117項(xiàng)指標(biāo)要求。《金融大模型應(yīng)用評(píng)測(cè)指南》同步細(xì)化了相關(guān)的評(píng)測(cè)內(nèi)容，給出了相關(guān)的評(píng)測(cè)方法與工具，并以附錄的形式給出了評(píng)測(cè)分級(jí)標(biāo)準(zhǔn)。

　　同日發(fā)布的金融大模型評(píng)測(cè)數(shù)據(jù)集（2024版），結(jié)合了金融行業(yè)的實(shí)踐，是金融領(lǐng)域大模型應(yīng)用成效評(píng)測(cè)的重要抓手。評(píng)測(cè)數(shù)據(jù)集具有規(guī)模大、結(jié)構(gòu)優(yōu)、價(jià)值對(duì)齊等特點(diǎn)，符合金融領(lǐng)域?qū)χR(shí)鮮活度、多樣性和高密度的整體要求。

　　金融機(jī)構(gòu)比照《金融大模型應(yīng)用評(píng)測(cè)指南》能力測(cè)評(píng)框架，共設(shè)計(jì)評(píng)測(cè)數(shù)據(jù)44000余句對(duì)。聚焦“模型基礎(chǔ)能力”，圍繞計(jì)算能力、邏輯推理等6個(gè)維度，設(shè)計(jì)評(píng)測(cè)數(shù)據(jù)22000余句對(duì)。聚焦“金融安全與價(jià)值對(duì)齊能力”，圍繞信息內(nèi)容、社會(huì)秩序等13個(gè)維度，設(shè)計(jì)評(píng)測(cè)數(shù)據(jù)2000余句對(duì)。聚焦“金融風(fēng)險(xiǎn)控制能力”，圍繞合規(guī)、市場(chǎng)、操作等5類(lèi)金融風(fēng)險(xiǎn)，設(shè)計(jì)評(píng)測(cè)數(shù)據(jù)1000余句對(duì)。聚焦“金融業(yè)務(wù)輔助拓展能力”，圍繞輿情分析、智能投研等3項(xiàng)業(yè)務(wù)場(chǎng)景，設(shè)計(jì)評(píng)測(cè)數(shù)據(jù)12000余句對(duì)。聚焦“金融專(zhuān)業(yè)認(rèn)知能力”，圍繞金融專(zhuān)業(yè)知識(shí)、IPO圖表等6種知識(shí)類(lèi)型，設(shè)計(jì)評(píng)測(cè)數(shù)據(jù)7000余句對(duì)。后續(xù)，金融評(píng)測(cè)數(shù)據(jù)集將定期更新，樣例集已在Open Data Lab和開(kāi)放原子社區(qū)發(fā)布。

　　上海庫(kù)帕思科技有限公司董事長(zhǎng)山棟明在接受采訪時(shí)表示，過(guò)去傳統(tǒng)的評(píng)測(cè)往往集中于模型本身的IT領(lǐng)域，這次的應(yīng)用評(píng)測(cè)指南將大量的篇幅和核心放在了金融業(yè)務(wù)本身，比如與金融業(yè)務(wù)的輔助拓展、金融的風(fēng)險(xiǎn)控制、金融安全以及價(jià)值對(duì)齊，這些都是傳統(tǒng)的平臺(tái)架構(gòu)所不具備的，是一個(gè)既能體現(xiàn)模型的科技內(nèi)核，又能體現(xiàn)金融業(yè)務(wù)獨(dú)特屬性的評(píng)測(cè)框架。