使用 fastsafetensors 加载模型权重

使用 fastsafetensors 库可以通过利用 GPU 直连存储将模型权重加载到 GPU 内存中。更多详情请参阅他们的 GitHub 仓库。

要启用此功能，请使用 --load-format fastsafetensors 命令行参数