基于Ray的大模型对齐训练框架，PPO流程封装得完整，显存优化上下了功夫。

火山引擎开源的强化学习训练框架，混合并行做得细，适合大模型RL阶段的训练任务。

国外很火的大模型微调工具，写个yaml配置就能开训，各种LoRA变体支持得全。

英伟达开源的大模型并行训练框架，张量并行流水线并行配齐，训百亿参数模型的常用选择。

HuggingFace做的强化学习微调工具库，PPO、DPO开箱即用，跟Transformers搭着用很顺手。

HuggingFace的招牌库，几万个预训练模型即下即用，微调大模型的起点基本都在这。

伯克利出来的分布式计算框架，调参、强化学习、大模型训练都能并行铺开，生态很活跃。

Python机器学习入门标配，分类回归聚类几行代码搞定，文档里的例子多到看不完。

Apache旗下的深度学习框架，亚马逊当年力推过，Gluon接口简洁，现在社区还在维护。

谷歌做的数值计算库，自动微分配合XLA编译，搞科研写新算子的人特别爱用。