已解决
【Hugging Face】管理 huggingface_hub 缓存系统
来自网友在路上 160860提问 提问时间:2023-10-10 08:38:24阅读次数: 60
最佳答案 问答题库608位专家为你答疑解惑
摘要
这篇文档介绍了Hugging Face Hub的缓存系统。该系统旨在提供一个中央缓存,以便不同版本的文件可以被下载和缓存。缓存系统将文件组织成模型、数据集和空间等不同的目录,每个目录包含特定类型的文件。系统确保如果文件已经下载并更新,除非明确要求,否则不会再次下载。
这篇文档还提到了一些关于缓存系统的具体信息,例如缓存目录的结构、文件夹中包含的文件类型以及如何检查和删除缓存。此外,文档还介绍了如何使用Hugging Face CLI工具来扫描和删除部分缓存。
从这篇文档中,你可以得到以下要点:
- Hugging Face Hub的缓存系统旨在提供一个中央缓存,以便不同版本的文件可以被下载和缓存。
- 缓存系统将文件组织成模型、数据集和空间等不同的目录,每个目录包含特定类型的文件。
- 缓存系统使用符号链接来共享相同的文件,以节省磁盘空间。
- 可以使用Hugging Face CLI工具来扫描和删除部分缓存,以释放磁盘空间。
- 可以自定义缓存目录,并可以通过环境变量或参数来指定。
- 缓存系统还支持检查和删除缓存中的文件。
- 除了Hugging Face Hub的缓存系统之外,下游库还可以使用cached_assets_path()方法来缓存与HF相关的其他文件。
- Hugging Face Hub的缓存系统使用符号链接来提高效率,但并非所有计算机都支持符号链接。
- 可以使用huggingface-cli工具的scan-cache命令来扫描缓存并获取报告。
- 可以使用huggingface-cli工具的delete-cache命令来删除部分缓存。
99%的人还看了
相似问题
猜你感兴趣
版权申明
本文"【Hugging Face】管理 huggingface_hub 缓存系统":http://eshow365.cn/6-18274-0.html 内容来自互联网,请自行判断内容的正确性。如有侵权请联系我们,立即删除!
推荐回答
- Nacos 架构原理2023/12/02
- 15、 深度学习之正向传播和反向传播2023/12/02
- CSS 多主题切换思路2023/12/02
- 盘点40个Android游戏Game源码安卓爱好者不容错过2023/12/02
- LeetCode 8 字符串转整数2023/12/02
- 使用Docker Compose搭建CIG监控平台2023/12/02
- 匿名结构体类型、结构体的自引用、结构体的内存对齐以及结构体传参2023/12/02
- Docker篇之利用docker搭建ftp服务器可实现多用户上传2023/12/02
- 开源软件license介绍与检测2023/12/02