Запусти сервер

  1. Установи локальную модель через Ollama. Если Ollama установлена отдельно, запусти её.
  2. Открой «Настройки → Модели и API → Локальный API» и нажми «Запустить». Порт можно изменить до запуска. Адрес по умолчанию — http://127.0.0.1:1234/v1, фактический адрес виден в поле «Базовый URL».
  3. Нажми «Скопировать ключ». Клиент должен передавать этот ключ как Authorization: Bearer …. После нового запуска сервера скопируй новый ключ.

Сервер доступен только с этого компьютера и останавливается при выходе из codef. Каждый запрос передаёт собственный список текстовых сообщений.

Узнай имя модели

В примерах замени CODEF_KEY своим ключом. В Windows можно вызвать curl.exe. 

curl -H "Authorization: Bearer CODEF_KEY" http://127.0.0.1:1234/v1/models

Возьми точное значение id из списка установленных моделей и подставь его вместо MODEL_ID.

Получи ответ

Сохрани тело запроса в request.json в кодировке UTF-8. 

{
  "model": "MODEL_ID",
  "messages": [
    {"role": "user", "content": "Напиши короткое приветствие."}
  ]
}

Затем отправь запрос из той же папки.

curl -H "Authorization: Bearer CODEF_KEY" -H "Content-Type: application/json" --data-binary "@request.json" http://127.0.0.1:1234/v1/chat/completions

Готовый текст находится в choices[0].message.content. Для получения ответа по частям добавь "stream": true в JSON и параметр -N к команде. Сервер будет отправлять события SSE. Чтобы получить статистику токенов в конце потока, добавь "stream_options": {"include_usage": true}.

Ограничения запросов

Один запрос может содержать до 128 текстовых сообщений и занимать до 256 КиБ. Параметр max_completion_tokens или max_tokens задаёт предел ответа от 1 до 8192 токенов. По умолчанию используется 2048. Сервер принимает до двух одновременных генераций.

Если запрос возвращает ошибку

  • 401 — скопируй ключ из запущенного сервера codef.
  • 404 model_not_found — сверь model с ответом GET /v1/models.
  • Если соединение не устанавливается, сверь порт с адресом в настройках и проверь, запущен ли сервер.