llama.cpp

set CMAKE_ARGS=-DLLAMA_CUBLAS=on pip install --upgrade --verbose --force-reinstall --no-cache-dir llama-cpp-python==0.2.39