·蚂蚁金融大模型基于蚂蚁自研基础大模型,针对金融产业定制,底层算力集群达到万卡规模。目前,蚂蚁金融大模型已在蚂蚁集团的财富、保险平台上全面测试。
蚂蚁集团在2023 Inclusion·外滩大会上发布金融大模型。
9月8日,蚂蚁集团在上海举办的2023 Inclusion·外滩大会上发布金融大模型。澎湃科技(www.thepaper.cn)了解到,这款大模型基于蚂蚁自研基础大模型,针对金融产业定制,底层算力集群达到万卡规模。目前,蚂蚁金融大模型已在蚂蚁集团的财富、保险平台上全面测试。
蚂蚁集团介绍称,蚂蚁基础大模型平台具备万卡异构集群,其中千卡规模训练利用率(MFU)为40%,集群有效训练时长(在分布式计算环境中进行机器学习模型训练的时间)占比90%以上,RLHF(基于人类反馈的强化学习)在同等模型效果下训练吞吐性能相较于业界方案提升3.59倍,推理性能相较于业界方案提升约2倍。根据SemiAnalysis此前揭秘GPT-4的文章,OpenAI在GPT-4的训练中使用了约25000个英伟达A100 GPU(图形处理器),训练了90到100天,利用率(MFU)约为32%至36%。
“通用大模型无法在专业严谨的领域直接商用,特别是金融服务对错误的容忍度很低,金融大模型要确保领域知识和专业逻辑的严谨性,才能真正落地带来产业价值。知识力、专业力、语言力以及安全力,保障四大能力是前提条件,也是金融大模型要解的产业真命题。”蚂蚁集团副总裁、金融大模型负责人王晓航介绍,基于金融场景中的大量实践,蚂蚁金融大模型形成了“大模型+知识+服务”驱动的架构,这套架构已经在蚂蚁内部金融智能化场景上内测。
王晓航表示,蚂蚁金融大模型在万亿量级Token的通用语料基础上,注入千亿量级Token(文本中的最小单位,一个单词或一个标点符号)金融知识,并从300+真实产业场景中提取了共60万+高质量指令数据,形成了金融专属任务性能优化的数据资产。
据介绍,8月底,蚂蚁金融大模型已通过证券从业资格、保险从业资格、执业医师资格、执业药师资格等专业试题测试。
当天,蚂蚁集团发布了基于金融大模型能力的两款产品:智能金融助理“支小宝2.0”,服务金融产业专家的智能业务助手“支小助”。据透露,支小宝2.0版本已在内测,将在完成相关备案工作后上线。