cianfen的部落格

想在自己電腦安裝可以執行的類 GPT, 可以選擇Meta 出的LLAMA 2, 輸出也能有一定的水準, 

想要嚐鮮也好, 或是研究也好. 一般電腦windows 也是可以執行的. OOBABOOGA 的自動化程度很高, 安裝門檻低. 可以試試. 

1. https://github.com/oobabooga/text-generation-webui download 解壓到 d:\APP\.   --> d:\app\oobabooga_windows

2. 在D:\APP\oobabooga_windows 目錄中, 執行start_windows.bat  (double click 就可以執行). 或先 cmd --> 在DOS box 中執行 start_windows.bat

log 

,,,,

What is your GPU

A) NVIDIA

B) AMD (Linux/MacOS only. Requires ROCm SDK 5.4.2/5.4.3 on Linux)

C) Apple M Series

D) None (I want to run models in CPU mode)

Input> A       <- 輸入A 如果有卡Nvida, 沒有則選D 只使用CPU

Collecting package metadata (current_repodata.json): done

Solving environment: done

.....      <- 續安裝, 等待

bin D:\APP\oobabooga_windows\installer_files\env\lib\site-packages\bitsandbytes\libbitsandbytes_cuda117.dll

2023-09-10 14:16:34 INFO:Loading the extension "gallery"...

Running on local URL:  http://127.0.0.1:7860   <- 打開chrome , 貼上http://127.0.0.1:7860 and enter

To create a public link, set `share=True` in `launch()`.

3. 接著要download model 以及相關的檔案後, 就可以使用.

    download model 的方法

       a. 打開網頁: http://127.0.0.1:7860

          選 Model Tag,

       紅框中: 如果是NVIDIA GPU, 選用GPTQ format, CPU only  要選 GGML 格式. 

             ex: 輸入 localmodels/Llama-2-7B-Chat-GPTQ        <-- NVIDIA

                   [   或localmodels/Llama-2-7B-Chat-GGML        <-- CPU

                          https://huggingface.co/localmodels/Llama-2-7B-Chat-ggml/blob/main/llama-2-7b-chat.ggmlv3.q4_0.bin   CPU file 按download 可下載  ]

                   按下 橘色"Download"

4. 在model 的 None 下拉式選單, 看能不能有選項

選完後按下 load

5. 如果沒有問題, 就可以直接使用了,

按下最左上的Chat

再輸入你想問的問題,  按下 橘色"Generate"

其他model: 

THUDM/chatglm2-6b  清大中文

TheBloke_Llama-2-7B-chat-GPTQ

===== 分隔線 ===== 

以下可能遇到的問題, 以及處理方式, 未整理, 不要看..

llama-2-7b
TheBloke_Llama-2-7B-chat-GPTQ

python src/transformers/models/llama/convert_llama_weights_to_hf.py     --input_dir D:\APP\llama-main\llama-2-7b --model_size 7B --output_dir D:\APP\llama-main\llama-2-7bX