近日,在使用autodl服务器和实验室服务器时,感觉传数据集或者权重非常不方便,常用的方式是通过hf-mirror进行,然而有时即使使用镜像,传输速度也特别慢,或者有的数据集难以获得。
所以记录一下如何使用https://github.com/qjfoidnh/BaiduPCS-Go.git去进行数据集的传输(有时候可以在百度网盘的分享中找到非官方的数据集)
首先是下载和安装:
# 1. 下载最新版(以 Linux amd64 为例,macOS 请替换为 darwin-amd64)
wget https://github.com/qjfoidnh/BaiduPCS-Go/releases/download/v3.9.5/BaiduPCS-Go-v3.9.5-linux-amd64.zip
# 2. 解压
unzip BaiduPCS-Go-v3.9.5-linux-amd64.zip
# 3. 进入目录并赋予执行权限
cd BaiduPCS-Go-v3.9.5-linux-amd64
chmod +x BaiduPCS-Go
# 4. 运行
./BaiduPCS-Go
然后是登录方面,使用cookies登录,可以参考以下链接:使用BaiduPCS-Go在服务器中实现百度网盘数据的上传与下载 – 知乎
也可以用bduss登录:
# 方式1:交互式登录(输入用户名密码)
./BaiduPCS-Go login
# 方式2:使用 BDUSS 登录(推荐,从浏览器 Cookie 获取)
./BaiduPCS-Go login -bduss=你的BDUSS值
最后是常用指令和下载:
./BaiduPCS-Go ls # 列出文件
./BaiduPCS-Go cd /我的资源 # 切换目录
./BaiduPCS-Go download 文件名 # 下载文件
./BaiduPCS-Go upload 本地文件 网盘路径 # 上传文件