Ru

Запуск LLM сервера на отдельном сервере#

В данном разделе описывается настройка для запуска только LLM сервера на отдельном сервере, без остальных компонентов Sherpa AI Server.

Когда это нужно#

Запуск LLM сервера на отдельном сервере полезен когда:

  • Нужно распределить нагрузку между серверами
  • LLM сервер требует мощных GPU и его лучше вынести на отдельный сервер
  • Требуется масштабирование - несколько LLM серверов для балансировки нагрузки
  • Нужно изолировать LLM сервер от основного приложения

Требования#

  • Сервер с GPU NVIDIA (CUDA 11.8+)
  • Docker и Docker Compose установлены
  • NVIDIA Container Toolkit установлен
  • Модели LLM загружены в директорию llm-server/models/

Настройка#

Шаг 1: Подготовка сервера#

Убедитесь, что на сервере установлены все необходимые компоненты

# Проверьте GPU
nvidia-smi

# Проверьте Docker
docker --version
docker compose version

Шаг 2: Подготовка файлов#

Скопируйте на сервер следующие файлы и директории:

# Необходимые файлы:
# - docker-compose.yml (или docker-compose.main.yml)
# - .env файл с настройками
# - llm-server/models/ - директория с моделями
# - llm-server/templates/ - директория с шаблонами (если используется)

Шаг 3: Комментирование ненужных сервисов#

Откройте файл docker-compose.yml и закомментируйте все сервисы кроме aiserver-llm-server.

Пример: Закомментированные сервисы

services:

  # aiserver-pg:
  #   container_name: aiserver-pg
  #   image: aiserver-pg:latest
  #   ...

  # aiserver-embed:
  #   container_name: aiserver-embed
  #   ...

  # aiserver:
  #   container_name: aiserver
  #   ...

  # Единственный активный сервис:
  aiserver-llm-server:
    container_name: aiserver-llm-server
    image: aiserver-llm-server:latest
    restart: always
    env_file:
      - .env
    ports:
      - 3003:8000
    ipc: host
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [ gpu ]
    volumes:
      - "./llm-server/models:/model-store"
      - "./llm-server/templates:/model-templates"
    networks:
      - llm-net

  # aiserver-code_interpreter:
  #   ...

  # aiserver-whisper:
  #   ...

  # aiserver-bge_reranker:
  #   ...

Шаг 5: Настройка переменных окружения#

Создайте или отредактируйте файл .env с настройками LLM сервера:

# Настройки LLM сервера
LLM_CUDA_VISIBLE_DEVICES=0
LLM_TENSOR_PARALLEL_SIZE=1
LLM_GPU_MEMORY_UTILIZATION=0.90
LLM_COMPLETION_MODEL_NAME=/model-store/meta-llama/Meta-Llama-3-8B-Instruct
LLM_DTYPE=auto
LLM_TRUST_REMOTE_CODE=false
LLM_QUANTIZATION=false
LLM_MAX_MODEL_LEN=8192
LLM_HOST=0.0.0.0
LLM_PORT=8000
LLM_MAX_NUM_BATCHED_TOKENS=16384
LLM_MAX_NUM_SEQS=16
LLM_ENABLE_TOOLS=true
LLM_TOOL_CALL_PARSER=llama3_json
LLM_EXCLUDE_TOOLS_WHEN_NONE=true

Важно:

  • Убедитесь что путь к модели правильный: LLM_COMPLETION_MODEL_NAME=/model-store/название-модели

Шаг 6: Проверка конфигурации#

Перед запуском проверьте конфигурацию:

# Проверьте синтаксис docker-compose файла
docker compose -f docker-compose.yml config

# Проверьте что порт свободен
netstat -tuln | grep 3003

# Проверьте наличие модели
ls -la llm-server/models/

Шаг 7: Запуск LLM сервера#

# Запустите только LLM сервер
docker compose -f docker-compose.yml up -d aiserver-llm-server

# Или запустите все (но будут запущены только незакомментированные сервисы)
docker compose -f docker-compose.yml up -d

# Проверьте статус
docker compose -f docker-compose.yml ps

Ожидаемый результат: Должен запуститься только контейнер aiserver-llm-server.

Шаг 8: Проверка работы#

# Проверьте логи
docker logs aiserver-llm-server

# Проверьте использование GPU
nvidia-smi

# Проверьте доступность API (должен вернуть информацию о модели)
curl http://localhost:3003/v1/models

Ожидаемый результат:

  • Контейнер должен успешно запуститься
  • В логах не должно быть критических ошибок
  • API должен отвечать на запросы
  • GPU должна использоваться для загрузки модели

Подключение с другого сервера#

Если LLM сервер запущен на отдельном сервере, настройте подключение с основного сервера.

На основном сервере#

В файле .env основного сервера укажите адрес LLM сервера:

# Адрес LLM сервера (замените на IP или домен вашего LLM сервера)
LLM_SERVER_URL=http://192.168.1.100:3003
# или
LLM_SERVER_URL=http://llm-server.example.com:3003

Минимальная конфигурация docker-compose#

Пример минимального docker-compose.yml только для LLM сервера:

services:
  aiserver-llm-server:
    container_name: aiserver-llm-server
    image: aiserver-llm-server:latest
    restart: always
    env_file:
      - .env
    ports:
      - "3003:8000"
    ipc: host
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [ gpu ]
    volumes:
      - "./llm-server/models:/model-store"
      - "./llm-server/templates:/model-templates"
    networks:
      - llm-net

networks:
  llm-net:
    name: llm-net
    driver: bridge

Сохраните этот файл как docker-compose.llm-only.yml и используйте:

docker compose -f docker-compose.llm-only.yml up -d

Возможные проблемы#

Контейнер не запускается#

Проблема: Контейнер падает сразу после запуска.

Решение:

  1. Проверьте логи: docker logs aiserver-llm-server
  2. Убедитесь что GPU доступна: nvidia-smi
  3. Проверьте что модель существует: ls -la llm-server/models/
  4. Проверьте права доступа к директории моделей

Модель не загружается#

Проблема: Ошибки при загрузке модели.

Решение:

  1. Проверьте путь к модели в .env: LLM_COMPLETION_MODEL_NAME
  2. Убедитесь что модель загружена: ls -la llm-server/models/
  3. Проверьте логи на ошибки загрузки: docker logs aiserver-llm-server | grep -i error

Недостаточно памяти GPU#

Проблема: Модель не помещается в память GPU.

Решение:

  • Уменьшите LLM_GPU_MEMORY_UTILIZATION в .env
  • Используйте квантованную версию модели (установите LLM_QUANTIZATION=true)
  • Используйте модель меньшего размера

Порт недоступен извне#

Проблема: Не могу подключиться к LLM серверу с другого сервера.

Решение:

  1. Проверьте firewall: sudo ufw status
  2. Проверьте что порт проброшен: docker port aiserver-llm-server
  3. Проверьте сетевые настройки Docker

Мониторинг#

Для мониторинга работы LLM сервера:

# Статус контейнера
docker ps | grep llm-server

# Использование ресурсов
docker stats aiserver-llm-server

# Использование GPU
watch -n 1 nvidia-smi

# Логи в реальном времени
docker logs -f aiserver-llm-server

# Проверка API
curl http://localhost:3003/health
curl http://localhost:3003/v1/models

Оптимизация производительности#

Для оптимизации производительности LLM сервера:

  1. Настройка памяти GPU:

    LLM_GPU_MEMORY_UTILIZATION=0.90  # Используйте максимум доступной памяти

  2. Настройка батчинга:

    LLM_MAX_NUM_BATCHED_TOKENS=16384
LLM_MAX_NUM_SEQS=16

  3. Использование квантования:

    LLM_QUANTIZATION=true  # Для моделей с поддержкой квантования

После выполнения всех шагов у вас должен быть запущен только LLM сервер на отдельном сервере, который можно использовать с основного сервера или других приложений через API на порту 3003.