快速下载huggingface模型与数据集

本文为您详细介绍如何通过第三方学术加速服务从HuggingFace下载模型和数据集，平台已内置大部分主流模型数据集，详情可以参考如何获取常用模型和数据集。

免责声明

本文为您介绍第三提供的公开的学术加速服务，用于从HuggingFace高效下载所需的模型和数据集。平台不提供此服务，无法保证服务的可用性和可靠性。

注意：开发机系统盘只有50GiB，模型数据集尽可能不要存储在系统盘中。

选择存储目录，因部分模型数据集较大，请提前规划好存储路径，建议使用共享存储卷挂载路径/data作为模型下载路径。

注意：有些项目需要登录，需要添加--token参数：huggingface-cli download --token hf_*** --resume-download meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf

huggingface-cli 是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。

pip install -U huggingface_hub

export HF_ENDPOINT=https://hf-mirror.com

huggingface-cli download --resume-download DeepSeek-R1 --local-dir gpt2

注意：有些项目需要登录，添加--hf_username--hf_token参数：hfd meta-llama/Llama-2-7b --hf_username YOUR_HF_USERNAME --hf_token hf_***

wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh

export HF_ENDPOINT=https://hf-mirror.com

./hfd.sh DeepSeek-R1