使用 fastsafetensors 加载模型权重¶
使用 fastsafetensors 库可以通过利用 GPU direct storage 将模型权重加载到 GPU 内存中。有关更多详细信息，请参阅他们的 GitHub 仓库。要启用此功能，请将环境变量 USE_FASTSAFETENSOR 设置为 true
使用 fastsafetensors 库可以通过利用 GPU direct storage 将模型权重加载到 GPU 内存中。有关更多详细信息，请参阅他们的 GitHub 仓库。要启用此功能，请将环境变量 USE_FASTSAFETENSOR 设置为 true