MosaicML发布了一个拥有70亿参数的模型 MPT-7B-8

近日，MosaicML发布了一款名为MPT-7B-8K的巨型模型，其拥有超过70亿个参数。据悉，MPT-7B-8K模型是基于深度学习技术开发而成，旨在通过训练大规模数据，提高机器学习的性能和效果。这款模型的发布对于机器学习领域来说具有重要意义，它将为各种应用场景带来更高精度的预测能力和更快的计算速度。同时，MPT-7B-8K模型的巨大参数规模也对计算资源提出了挑战，试图在普通计算平台上运行该模型可能会面临一些困难。然而，随着计算技术的不断进步，相信这一问题将在未来得到解决。MosaicML的发布无疑为机器学习行业注入了新的活力，相信它将在未来的发展中起到重要的推动作用。

据悉，该模型一次可以处理 8000 字文本，相当擅长处理长文重点摘要和问答，还能在 MosaicML 平台上根据特定任务，进一步微调相关配置。

据悉，系列模型采用了 150 万个 Token，并以 256 块 H100 GPU 花 3 天完成模型训练而成。MosaicML 本次发布了 3 个版本模型，包括 MPT-7B-8k、MPT-7B-8k-Instruct 和 MPT-7B-8k-Chat。