，ai 创业公司 mosaicml 近日发布了其语言模型 mpt-30b，该模型具有 300 亿参数，训练成本“仅有其他同类竞品模型的零头”，有望促进行业逐步降低此类模型训练成本，扩大 ai 模型在更广泛领域的运用。
mosaicml 公司的首席执行官兼联合创始人 naveen rao 表示，mpt-30b 的训练成本为 70 万美元，远低于 gpt-3 等同类产品所需的数千万美元训练成本。此外，由于 mpt-30b 的成本较低，体积较小，它也可以更快速地被训练，并且更适合部署在本地硬件上。
据悉，mosaicml 使用了 alibi 和 flashattention 技术来优化模型，可以实现更长的文本长度和对 gpu 计算的更高利用率。mosaicml 也是少数几个能够使用 nvidia h100 gpu 的实验室，相比以往成果，当下每块 gpu 的吞吐量增加了 2.4 倍以上，可带来更快的完成时间。
除了让 ai 技术更容易获得之外，mosaicml 还专注于提高数据质量并提高模型性能。他们目前正在开发一款工具，可以帮助用户在预训练过程中分层加入特定领域的数据，以确保训练中开业实现多样化和高质量的数据组合。
mosaicml 公司表示，将模型扩展到 300 亿参数只是第一步，接下来他们将以降低成本为前提，推出体积更大、质量更高的模型。
it之家注意到，目前开发者可以从 hugging face 下载并使用开源的 mpt-30b 基础模型，开发者还可以在本地硬件上使用自己的数据，对模型进行微调。
-
为进一步提高金融消费者的风险意识，提升防范电信诈骗能力，构建和谐、绿色的金融环境，6月21日，农发行浏阳支行组织开展守住钱袋子护好幸福家为主
-
，it之家早前报道过，美国知名问答平台reddit执意要求对api收费，导致网站上爆发了声势浩大的抗议，该网站也因此关闭了许多讨论版块。不过
-
美国商务部宣布成立ai公共工作组，应对生成式人工智能潜在风险
感谢it之家网友雨雪载途的线索投递！ ，美国商务部部长吉娜?雷蒙多日前宣布，美国国家标准与技术研究院(nist)将成立一个新的人工智能(a
-
中欧基金策略周报：政策预期出现一定分化
一周市场回顾 上周沪深300指数下跌2.51%，上证综指下跌2.30%，深证成指下跌2.19%，创业板指下跌2.56%；分行业来看，本周涨
-
摩米士推出新款usb-c扩展坞：8合1、一键息屏，229.9元
，摩米士推出新款usb-c扩展坞，可以搭配笔记本电脑、平板电脑或手机使用，目前已上架电商平台。 摩米士usb-c扩展坞型号为dh18，机身
-
国产超导磁共振首次拿下欧洲市场“签证”，美的旗下万东医疗获国内首张mdr
，美的集团宣布，旗下万东医疗超导磁共振成像系统获得由欧盟公告机构——德国莱茵tuv集团签发的ce证书，成为中国第一个获得欧盟新医疗法规下超导
-
天长新型城镇化提质升级补短板项目纬三路顺利通过竣工验收
6月19日，由中国十七冶城建分公司承建的天长新型城镇化提质升级补短板项目宿扬高速以西区域路网工程纬三路顺利通过竣工验收。 项目位于天长市石
-
记者25日从商务部获悉，《自贸试验区重点工作清单》于近日印发，明确未来3年相关自贸试验区拟自主推进实施164项重点工作，每个自贸试验区重点工
-
感谢it之家网友太原李宗盛的线索投递！ ，火影上架众颜u4笔记本电脑新配置，目前已上架电商平台开启预约。 该款笔记本电脑搭载r7-784
-
自存款保险工作开展以来，我行能够按照人民银行要求高度重视、前期部署，积极参与完成组织筹备和宣传工作并形成报告，现将情况反馈如下: 在大厅设
