背景
近些年,nlp 应用方面有所突破,bert,gpt,gpt—3 等超大模型横扫各种 nlp 测试后,人们发现参数量越大的模型,在算法方面表现越好,于是纷纷开始迅速向大模型方向发展,模型体积爆炸式增长而大模型训练给现有的训练系统带来的主要挑战为显存压力,计算压力和通信压力
the size of language model is growing at an exponential rate
火山引擎大模型训练框架 vegiantmodel
针对这个需求,字节跳动 aml 团队内部开发了火山引擎大模型训练框架 vegiantmodel基于 pytorch 框架,vegiantmodel 是以 megatron 和 deepspeed 为基础的高性能大模型训练框架
同时支持数据并行,算子切分,流水线并行 3 种分布式并行策略,同时支持自动化和定制化的并行策略,基于 byteccl 高性能异步通讯库,训练任务吞吐相比其他开源框架有 1.2x—3.5x 的提升,提供了更友好,灵活的流水线支持,降低了模型开发迭代所需要的人力,可在 gpu上高效地支持数十亿至上千亿参数量的大模型,对带宽要求低,在私有化部署无 rdma 强依赖。
其中,byteccl 为字节跳动自研的 byteps 的升级版,针对 a100/v100 等各种机型拓扑做了分层规约优化,并支持了 allgather,alltoall 等更全面的通讯原语。。
vegiantmodel 性能表现硬件配置
为了展示 vegiantmodel 的性能,vegiantmodel 团队使用了自建机房的物理机,分别在 a100 和 v100 机型上做了测试,实验配置分别如下:
v100 测试:每个机器 8 张 tesla v100 32g 型号 gpu,网络带宽 100ga100 测试:每个机器 8 张 ampere a100 40g 型号 gpu,网络带宽 800g模型和对照组选择
vegiantmodel 选择了 gpt—13b 模型进行评估,seq length 是 256, global batch size 是 1536gpt 为目前市面上最为流行的 transformer based 语言模型性能对照组选择了开源社区最流行的 megatron 和 deepspeed
测试结果v100/tcp :100gb/s tcp 网络带宽,4 机,每机 8 张 tesla v100 32g gpuv100/rdma:100gb/s rdma 网络带宽,4 机,每机 8 张 tesla v100 32g gpua100/tcp:800gb/s tcp 网络带宽,4 机,每机 8 张 tesla a100 40g gpua100/rdma:800gb/s rdma 网络带宽,4 机,每机 8 张 tesla a100 40g gpu模型:gpt—13bmegatron:v2.4,tensor—model—parallel—size 设置为 4, pipeline—model—parallel—size 设置为 4deepspeed:v0.4.2,使用 deepspeedexamples 开源社区中默认的 zero3 的配置运行环境统计值:throughtput
从上述数据可以看出:
vegiantmodel 性能更优:无论是在高带宽还是低带宽的场下,vegiantmodel 在 v100 和 a100 上均胜出 megatron 和 deepspeed,最高可达 6.9 倍提升vegiantmodel 对网络带宽要求低:vegiantmodel 在带宽变化对吞吐的影响相对最小 ,而 deepspeed 是对带宽要求最高的,最高可达将近 5 倍的差距
vegiantmodel 为什么比 megatron 和 deepspeed 更快。9月6日,广汽集团在与投资者互动时透露,广汽埃安全系车型订单充足,工厂满负荷生产。目前广汽埃安已正在进行工厂扩建,计划于2022年初实现产能翻倍,年产能将在原有10万辆的基础上,扩充至20万辆。原因如下:
byteccl 高性能异步通讯库支持定制化的并行策略,可以将性能优化推到极致在支持数据并行,算子切分,流水线并行 3 种分布式并行策略时,vegiantmodel 会综合考虑到跨机的带宽,自动调整 toplogy 的 placement
vegiantmodel 现已在 github 上开源,地址如下:
。郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。