当前位置:首页 > 编程笔记 > 正文
已解决

【Hugging Face】管理 huggingface_hub 缓存系统

来自网友在路上 160860提问 提问时间:2023-10-10 08:38:24阅读次数: 60

最佳答案 问答题库608位专家为你答疑解惑

摘要

这篇文档介绍了Hugging Face Hub的缓存系统。该系统旨在提供一个中央缓存,以便不同版本的文件可以被下载和缓存。缓存系统将文件组织成模型、数据集和空间等不同的目录,每个目录包含特定类型的文件。系统确保如果文件已经下载并更新,除非明确要求,否则不会再次下载。

这篇文档还提到了一些关于缓存系统的具体信息,例如缓存目录的结构、文件夹中包含的文件类型以及如何检查和删除缓存。此外,文档还介绍了如何使用Hugging Face CLI工具来扫描和删除部分缓存。

从这篇文档中,你可以得到以下要点:

  • Hugging Face Hub的缓存系统旨在提供一个中央缓存,以便不同版本的文件可以被下载和缓存。
  • 缓存系统将文件组织成模型、数据集和空间等不同的目录,每个目录包含特定类型的文件。
  • 缓存系统使用符号链接来共享相同的文件,以节省磁盘空间。
  • 可以使用Hugging Face CLI工具来扫描和删除部分缓存,以释放磁盘空间。
  • 可以自定义缓存目录,并可以通过环境变量或参数来指定。
  • 缓存系统还支持检查和删除缓存中的文件。
  • 除了Hugging Face Hub的缓存系统之外,下游库还可以使用cached_assets_path()方法来缓存与HF相关的其他文件。
  • Hugging Face Hub的缓存系统使用符号链接来提高效率,但并非所有计算机都支持符号链接。
  • 可以使用huggingface-cli工具的scan-cache命令来扫描缓存并获取报告。
  • 可以使用huggingface-cli工具的delete-cache命令来删除部分缓存。

99%的人还看了

猜你感兴趣

版权申明

本文"【Hugging Face】管理 huggingface_hub 缓存系统":http://eshow365.cn/6-18274-0.html 内容来自互联网,请自行判断内容的正确性。如有侵权请联系我们,立即删除!