前言
随着大模型的发展,越来越多人员参与到大模型炼丹和实践中,但HuggingFace在国内无法方便访问,带来不少问题。
如果你可以访问国外网站等方式访问HuggingFace,那优先还是推荐 HuggingFace Hub。当前,前提是网络质量较好,能够满足需求。
小编这里推荐四种方法助你快速实现模型及数据集的下载:
方法一:网页下载
在本站搜索,并在模型主页的中下载文件。
方法二:huggingface-cli
是 Hugging Face 官方提供的命令行工具,自带完善的下载功能。
1. 安装依赖
2. 设置环境变量 Linux
Windows Powershell
建议将上面这一行写入 。 3.1 下载模型
3.2 下载数据集
可以添加 参数禁用文件软链接,这样下载路径下所见即所得,详细解释请见上面提到的教程。
方法三:使用 hfd
是本站开发的 huggingface 专用下载工具,基于成熟工具 ,可以做到稳定下载不断线。
1. 下载hfd
2. 设置环境变量 Linux
Windows Powershell
3.1 下载模型
3.2 下载数据集
方法四:使用环境变量(非侵入式)
非侵入式,能解决大部分情况。huggingface 工具链会获取环境变量来确定下载文件所用的网址,所以可以使用通过设置变量来解决。
不过有些数据集有内置的下载脚本,那就需要手动改一下脚本内的地址来实现了。
小节
huggingface 上的模型与数据集的下载方式有很多种,这里小编只为推荐了hf-mirror镜像站的使用方式,后面还有其他其他几种方式,小编会陆续放出,同学们可以根据自己的实际情况自行选择。