当前位置:网站首页>如何批量下载hugging face模型和数据集文件
如何批量下载hugging face模型和数据集文件
2022-08-11 11:05:00 【iioSnail】
本文内容
目前网上关于下载hugging face模型文件大多都是一个一个下载,无法做到批量下载,但有些模型或数据集包含文件太多,不适用一个一个下载。本文将会介绍如何使用git进行批量下载。
Git代理配置
由于Hugging Face的部分模型和数据集在国外服务器,不使用代理比较慢,所以要先配置git代理。全局代理配置方式:
git config --global https.proxy http://127.0.0.1:1080
只对clone使用代理的配置方式:
git clone XXX.git -c http.proxy="http://127.0.0.1:1080"
下载模型或数据集
- 首先到你需要下载的数据集或模型文件下,复制url.
到你所要下载模型或数据集文件后,去掉后面的/tree/main
,然后增添.git
,之后使用git
下载就可以了。
- 到控制台命令执行如下命令:
git clone https://huggingface.co/datasets/glue.git
输出
PS D:\temp> git clone https://huggingface.co/datasets/glue.git
Cloning into 'glue'...
remote: Enumerating objects: 121, done.
remote: Counting objects: 100% (121/121), done.
remote: Compressing objects: 100% (101/101), done.
Receiving objects: 91% (111/121)te: Total 121 (delta 54), reused 0 (delta 0), pack-reused 0
Receiving objects: 100% (121/121), 29.76 KiB | 3.31 MiB/s, done.
Resolving deltas: 100% (54/54), done.
Updating files: 100% (14/14), done.
Filtering content: 100% (10/10), 20.08 KiB | 6.00 KiB/s, done.
成功下载文件。
Hugging Face的数据集和模型还提供了不同的版本,要下载其他版本只需要使用git的
-b
参数下载对应的分支即可。
边栏推荐
猜你喜欢
Simple implementation of a high-performance clone of Redis using .NET (seven-end)
Revelations!The former Huawei microservice expert wrote 500 pages of practical notes on the landing architecture, which has been open sourced
LeetCode · Question of the Day · 1417. Reformatting String · Simulation
chrome无痕浏览模式中使用插件
小目标绝技 | 用最简单的方式完成Yolov5的小目标检测升级!
悠漓带你玩转C语言(详解操作符1)
齐话存储未来,诠释分布式缘起
chrome is set to dark mode (including the entire webpage)
Neuropathic pain classification picture Daquan, neuropathic pain classification
『独家』互联网 BAT 大厂 Android高级工程师面试题:174道题目让你做到面试无忧
随机推荐
黑马瑞吉外卖之分类信息的分页查询
从零开始配置 vim(12)——主题配置
[Ext JS]11.14 SimXhr.js?_dc=1659315492151:65 Uncaught TypeError problem analysis and solution
chrome插件开发入门-保姆级攻略
C# 调用高德地图API获取经纬度以及定位【万字详解附完整代码】
7 天找个 Go 工作,Gopher 要学的条件语句,循环语句 ,第3篇
1.TCP/IP基础知识
发布静态资源
本地开发好的 SAP UI5 应用部署到 ABAP 服务器时,中文字符变成乱码的原因分析和解决方案
宝塔一键部署WordPress(含宝塔添加站点、阿里云安全组配置、阿里云子域名解析)
1. 类与对象——什么是对象
php获取微信小程序码并存储到oss
App Clip 苹果小程序开发须知
『独家』互联网 BAT 大厂 Android高级工程师面试题:174道题目让你做到面试无忧
国产数据库有没有在国外的应用案例?
突破次元壁垒,让身边的玩偶手办在屏幕上动起来!
Incredible, thanks to this Android interview question, I have won offers from many Internet companies
Neural network visualization has 3 d version of the, the United States to fall!(open source)
Cholesterol-PEG-FITC, Fluorescein-PEG-CLS, Cholesterol-PEG-Fluorescein water-soluble
SDUT数据库 SQL语句练习(MySQL)