Как преобразовать любую модель HuggingFace в формат файла gguf?

Hugging Face стал синонимом современных моделей машинного обучения, особенно в области обработки естественного языка. С другой стороны, формат файлов GGUF, хотя и менее известен, служит для конкретных целей, требующих преобразования моделей в этот формат.

В этой статье подробно описано, как преобразовать любую модель Hugging Face в GGUF, чтобы ваши модели можно было использовать на разных платформах и в разных приложениях.

Содержание

Что такое формат файлов GGUF?
Как преобразовать любую модель Huggingface в формат файла gguf
Шаг 1. Загрузите модель Hugging Face
Шаг 2. Настройка Llama.cpp
Шаг 3. Преобразование модели в формат GGUF
Что такое формат файлов GGUF?
Формат файлов GGUF — это специализированный тип файлов, используемый в некоторых средах машинного обучения и обработки данных. Он предназначен для инкапсуляции данных и конфигурации модели таким образом, чтобы обеспечить быструю загрузку и высокую эффективность в определённых сценариях или на платформах. Понимание того, как преобразовать данные в этот формат, может иметь решающее значение для развёртывания моделей Hugging Face в средах, требующих совместимости с GGUF.

Как преобразовать любую модель Huggingface в формат файла gguf
Преобразование Hugging Face модели в формат GGUF (универсальный формат Георгия Герганова) включает в себя ряд шагов с использованием инструментов из Hugging Face Hub и библиотеки Llama.cpp. Этот процесс преобразования упрощает развертывание моделей в локальных системах или в средах, где эффективность и скорость имеют решающее значение.

Вот пошаговое руководство, как этого добиться:

Шаг 1. Загрузите модель Hugging Face
Существует два основных способа загрузки модели Hugging Face. Вы можете воспользоваться Hugging Face Hub, репозиторием различных моделей машинного обучения, или библиотекой Transformers, библиотекой Python для работы с моделями Hugging Face.

Мы используем библиотеку `huggingface_hub` для загрузки модели. Например, мы преобразуем «microsoft/Phi-3-mini-128k-инструкция» модель от Hugging Face.

from huggingface_hub import snapshot_download

model_id = «microsoft/Phi-3-mini-128k-instruct» # Replace with the ID of the model you want to download
snapshot_download(repo_id=model_id, local_dir=»phi3″)
Шаг 2. Настройка Llama.cpp
Клонируйте репозиторий Llama.cpp:
git clone https://github.com/ggml-org/llama.cpp
Перейдите в llama.cppкаталог:

cd llama.cpp
Установите необходимые зависимости:

pip install -r requirements.txt
При этом устанавливаются все библиотеки Python, необходимые для преобразования моделей.

Шаг 3. Преобразование модели в формат GGUF
Запустите скрипт преобразования:

python llama.cpp/convert-hf-to-gguf.py ./phi3 —outfile output_file.gguf —outtype q8_0
./phi3: Путь к каталогу с моделью.
output_file.gguf: Имя выходного файла, в который будет сохранена модель GGUF.
q8_0: Указывает тип квантования (в данном случае — квантованное 8-битное целое число).
Выполнив эти действия, вы сможете преобразовать модель Hugging Face в формат GGUF и воспользоваться преимуществами GGUF для развертывания моделей машинного обучения на базе центрального процессора. Для запуска модели на локальных устройствах требуется программное обеспечение, такое как ollama, lmstudio и т. д. Эти файлы помогают эффективно хранить модель и ускоряют вывод данных.