Требования к серверу Sherpa AI Server#

# Проверьте системные ресурсы
df -h          # Дисковое пространство
free -h        # Оперативная память
nvidia-smi     # GPU (если установлена)

# Обновите систему и установите инструменты
sudo apt update
sudo apt install -y ca-certificates curl tar

# Добавьте официальный GPG-ключ Docker
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Добавьте репозиторий Docker
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# Установите Docker
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

# Добавьте пользователя в группу docker (опционально)
sudo usermod -aG docker $USER

# Проверьте установку
docker --version
docker compose version

# Очистите старые драйверы и установите новые
sudo apt purge 'nvidia-*'
sudo apt autoremove
sudo apt install -y nvidia-driver-580

# Перезагрузите сервер
sudo reboot

# После перезагрузки проверьте GPU
nvidia-smi

# Добавьте репозиторий и установите toolkit
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
  sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit.gpg

curl -fsSL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit

# Настройте Docker для GPU
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

# Создайте директорию для пакетов
mkdir -p nvidia-offline-packages/drivers
cd nvidia-offline-packages/drivers

# Скачайте драйвер через apt download (если доступен репозиторий)
# Сначала добавьте репозиторий NVIDIA (если еще не добавлен)
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update

# Скачайте пакет драйвера
apt download nvidia-driver-580

# Скачайте зависимости драйвера (выполните команду построчно)
# Сначала узнайте список зависимостей:
apt-cache depends nvidia-driver-580 | grep "Depends:" | cut -d: -f2 | tr -d ' ' > /tmp/deps.txt

# Затем скачайте каждую зависимость:
while read dep; do
	apt download "$dep" 2>/dev/null || echo "Пропущена зависимость: $dep"
done < /tmp/deps.txt

# Удалите временный файл
rm /tmp/deps.txt

# Вернитесь в директорию пакетов
cd nvidia-offline-packages

# Создайте директорию для Container Toolkit
mkdir -p toolkit

# Добавьте репозиторий NVIDIA Container Toolkit (если еще не добавлен)
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
  sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit.gpg

curl -fsSL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update

# Скачайте пакет Container Toolkit и все его зависимости
cd toolkit
apt download nvidia-container-toolkit

# Скачайте зависимости Container Toolkit (выполните команду построчно)
# Сначала узнайте список зависимостей:
apt-cache depends nvidia-container-toolkit | grep "Depends:" | cut -d: -f2 | tr -d ' ' > /tmp/toolkit-deps.txt

# Затем скачайте каждую зависимость:
while read dep; do
  apt download "$dep" 2>/dev/null || echo "Пропущена зависимость: $dep"
done < /tmp/toolkit-deps.txt

# Удалите временный файл
rm /tmp/toolkit-deps.txt

# Опционально: Скачайте GPG ключ и файл репозитория (нужны только если планируете использовать apt install вместо dpkg)
# Для оффлайн установки через dpkg -i GPG ключи НЕ требуются
cd ..
mkdir -p keys
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey -o keys/nvidia-container-toolkit.gpg
curl -fsSL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list -o keys/nvidia-container-toolkit.list

# Вернитесь в корневую директорию пакетов
cd nvidia-offline-packages

# Убедитесь, что все файлы на месте:
# - drivers/ - содержит .deb пакеты или .run файл драйвера
# - toolkit/ - содержит .deb пакеты Container Toolkit
# - keys/ - содержит GPG ключи и файлы репозитория (опционально, если есть)

# Создайте архив со всеми пакетами
# Если директория keys/ пустая или отсутствует, можно создать архив без неё:
if [ -d "keys" ] && [ "$(ls -A keys)" ]; then
    tar -czf nvidia-packages-offline.tar.gz drivers/ toolkit/ keys/
else
    tar -czf nvidia-packages-offline.tar.gz drivers/ toolkit/
    echo "Внимание: GPG ключи не включены в архив (не обязательны для установки через dpkg)"
fi

# Проверьте размер архива
ls -lh nvidia-packages-offline.tar.gz

# Распакуйте архив
tar -xzf nvidia-packages-offline.tar.gz
cd nvidia-offline-packages

# Проверьте наличие .deb файлов в директории drivers
ls -la drivers/*.deb

# Установите драйверы NVIDIA
cd drivers
sudo dpkg -i *.deb

# Проверьте результат установки
if [ $? -eq 0 ]; then
    echo "Драйверы установлены успешно"
else
    echo "Обнаружены ошибки зависимостей, исправляем..."
    # Если возникли ошибки зависимостей, установите их из кэша или исправьте зависимости
    sudo apt install --fix-broken -y
    
    # Если fix-broken не помог, попробуйте установить зависимости вручную
    # Убедитесь, что все зависимости были скачаны в директорию drivers
    echo "Проверьте, что все зависимости скачаны в директорию drivers/"
    ls -la *.deb
fi

# Перезагрузите сервер для применения драйверов
echo "Перезагрузка сервера через 10 секунд... Нажмите Ctrl+C для отмены"
sleep 10
sudo reboot

# Распакуйте архив (если .run файл был добавлен в архив)
tar -xzf nvidia-packages-offline.tar.gz
cd nvidia-offline-packages/drivers

# Найдите .run файл драйвера (например, NVIDIA-Linux-x86_64-580.XX.XX.run)
ls -la *.run

# Сделайте файл исполняемым
chmod +x NVIDIA-Linux-x86_64-*.run

# Определите какой графический сервер используется (выполните одну из команд):
# Проверка для GNOME/GDM3:
systemctl status gdm3 > /dev/null 2>&1 && echo "Используется gdm3"
# Проверка для LightDM:
systemctl status lightdm > /dev/null 2>&1 && echo "Используется lightdm"
# Проверка для SDDM (KDE):
systemctl status sddm > /dev/null 2>&1 && echo "Используется sddm"

# Остановите графический сервер (выполните ТОЛЬКО одну команду, соответствующую вашему дисплей-менеджеру):
# Для Ubuntu с GNOME:
sudo systemctl stop gdm3
# ИЛИ для Ubuntu с LightDM:
# sudo systemctl stop lightdm
# ИЛИ для систем с KDE:
# sudo systemctl stop sddm
# ИЛИ если графического интерфейса нет, пропустите этот шаг

# Установите драйвер (используйте флаги для автоматической установки)
sudo ./NVIDIA-Linux-x86_64-*.run \
  --silent \
  --no-nouveau-check \
  --no-opengl-files \
  --disable-nouveau

# Проверьте результат установки (должно быть сообщение об успехе)
echo $?

# Если графический сервер был остановлен, запустите его обратно (используйте ту же команду что и для остановки):
sudo systemctl start gdm3  # или lightdm/sddm в зависимости от вашей системы

# Перезагрузите сервер для применения драйверов
sudo reboot

# Проверьте GPU (эта команда должна показать информацию о видеокарте)
nvidia-smi

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 580.XX       Driver Version: 580.XX       CUDA Version: 12.X  |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:01:00.0 Off |                  N/A |
| ...                                                                         |
+-----------------------------------------------------------------------------+

# Вернитесь в директорию пакетов (замените на реальный путь, где вы распаковали архив)
# Например, если архив был распакован в домашней директории:
cd ~/nvidia-offline-packages
# Или если в другом месте, укажите полный путь:
# cd /полный/путь/к/nvidia-offline-packages

# Проверьте что все файлы на месте
ls -la toolkit/*.deb

# Опционально: Установите GPG ключ (НЕ обязательно для установки через dpkg)
# GPG ключи нужны только если:
# 1. Вы планируете использовать apt install вместо dpkg -i
# 2. Вы хотите настроить репозиторий для будущих обновлений (когда появится интернет)
# Для простой оффлайн установки через dpkg -i можно пропустить этот шаг
if [ -f "keys/nvidia-container-toolkit.gpg" ]; then
    echo "Устанавливаю GPG ключ (опционально)..."
    sudo mkdir -p /usr/share/keyrings
    sudo cp keys/nvidia-container-toolkit.gpg /tmp/nvidia-container-toolkit.gpg
    sudo gpg --dearmor /tmp/nvidia-container-toolkit.gpg -o /usr/share/keyrings/nvidia-container-toolkit.gpg
    sudo rm /tmp/nvidia-container-toolkit.gpg
    echo "GPG ключ установлен"
else
    echo "GPG ключ не найден - пропускаю установку (не критично для dpkg -i)"
fi

# Установите Container Toolkit из локальных пакетов
cd toolkit
sudo dpkg -i *.deb

# Проверьте результат установки
if [ $? -eq 0 ]; then
    echo "Container Toolkit установлен успешно"
else
    echo "Обнаружены ошибки зависимостей, исправляем..."
    # Исправьте зависимости если необходимо
    sudo apt install --fix-broken -y
    
    # Если fix-broken не помог, проверьте что все зависимости скачаны
    echo "Проверьте наличие всех зависимостей в директории toolkit/"
    ls -la *.deb
fi

# Настройте Docker для GPU
sudo nvidia-ctk runtime configure --runtime=docker

# Перезапустите Docker для применения изменений
sudo systemctl restart docker

# Проверьте что Docker запущен
sudo systemctl status docker

# Проверьте установку GPU в Docker
nvidia-smi