Skip to main content

KoboldCPP: instalación y uso

Esta guía explica cómo configurar y compilar KoboldCPP optimizado para ROCm en Fedora, utilizando el fork koboldcpp-rocm. Está diseñado para aprovechar GPUs AMD con soporte para ROCm.

Instalación y configuración en Fedora

1. Clonar el repositorio

Primero, clona el repositorio de KoboldCPP-ROCm y accede al directorio:

git clone https://github.com/YellowRoseCx/koboldcpp-rocm.git
cd koboldcpp-rocm

2. Instalar herramientas necesarias

Ejecuta el siguiente comando para instalar las herramientas y librerías necesarias:

sudo dnf install rocm-*

Nota: Si utilizas un shell como zsh, ejecuta este comando en un entorno bash para evitar problemas con el autocompletado:

bash -c 'sudo dnf install rocm-*'

3. Instalar librerías de desarrollo específicas

Instala las librerías de desarrollo que necesitas para compilar KoboldCPP con soporte ROCm:

sudo dnf install rocblas-devel hipblas-devel

4. Crear un alias para actualizar KoboldCPP

Puedes crear un alias para compilar KoboldCPP con tus especificaciones de hardware. Por ejemplo:

alias updatekobold="make clean && make -j24 LLAMA_HIPBLAS=1 GPU_TARGETS=gfx1100"
  • -j24: Indica el número de núcleos de tu CPU para paralelizar la compilación. Ajusta el número según los núcleos disponibles en tu sistema.
  • GPU_TARGETS=gfx1100: Especifica el objetivo de tu GPU. Puedes identificar el objetivo de tu GPU utilizando el siguiente comando:
rocminfo | grep "Name" | grep "gfx"

Ejemplo de salida:

Name:                    gfx1100                            
Name:                    amdgcn-amd-amdhsa--gfx1100

En este caso, la salida corresponde a una AMD 7900XTX.

5. Actualizar y compilar KoboldCPP

Cuando haya actualizaciones en el repositorio, sigue estos pasos para mantener tu instalación al día:

  1. Accede al directorio del proyecto:

    cd koboldcpp-rocm

  2. Actualiza el repositorio:

    git pull

  3. Compila de nuevo el proyecto:

    make clean && make -j24 LLAMA_HIPBLAS=1 GPU_TARGETS=gfx1100

Mantente atento a las actualizaciones en el repositorio de YellowRoseCx, ya que pueden incluir correcciones y mejoras importantes.

6. Ejecutar la interfaz gráfica de KoboldCPP

Para utilizar la interfaz gráfica de KoboldCPP, ejecuta el siguiente comando desde el directorio del proyecto:

python koboldcpp.py

Nota sobre errores de tkinter:
Si al ejecutar la interfaz gráfica te encuentras con errores relacionados con tkinter, puedes probar a instalarlo con este comando:

pip install ntk

Esta solución me ha funcionado en mi caso, pero si persisten los problemas, puedes enviarme un mensaje y trataré de ayudar.

Características adicionales de KoboldCPP

  • API para conectarse a otros frontends:
    KoboldCPP incluye una API que permite conectarse con otros frontends de procesamiento de texto. Esto amplía su funcionalidad al integrarlo con herramientas externas.

  • KoboldLite:
    Además, KoboldCPP incluye una interfaz llamada KoboldLite, que permite probar los modelos de texto que cargues de forma sencilla. Es una forma rápida de experimentar con los modelos directamente.

Trabajando con modelos .gguf

KoboldCPP está diseñado para ejecutar modelos en formato .gguf. Puedes descargar modelos compatibles desde plataformas como Hugging Face. Escoge el modelo adecuado según el uso que vayas a darle. Una vez descargado, puedes cargar el modelo en KoboldCPP para comenzar a trabajar con él.

Nota importante

Esta guía se basa en mi experiencia personal instalando y configurando KoboldCPP en Fedora. Aunque me ha funcionado, puede que en otros casos no lo haga debido a diferencias en hardware o configuración del sistema. Por ello, recomiendo revisar siempre las instrucciones oficiales del repositorio de YellowRoseCx, donde encontrarás la documentación más actualizada y detallada.

Back to top