Doplnění k LocalAI. Existuje repozitář s přehledem odzkoušených modelů. Modely se natahují přes API endpoint /models/apply.
Příklad pro stažení jazykového modelu gpt4all-j:
> curl http://localhost:8080/models/apply -H "Content-Type: application/json" -d '{ "url": "github:go-skynet/model-gallery/gpt4all-j.yaml", "name": "gpt4all-j" }'
Dotaz na LocalAI:
> curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{ "model": "gpt4all-j", "messages": [{"role": "user", "content": "How are you?"}], "temperature": 0.1 }' | jq
{
"object": "chat.completion",
"model": "gpt4all-j",
"choices": [
{
"message": {
"role": "assistant",
"content": "I'm doing well, thank you. How about yourself? \n"
}
}
],
"usage": {
"prompt_tokens": 0,
"completion_tokens": 0,
"total_tokens": 0
}
}
