Net-AI ML Inference Service

Этот сервис отвечает за загрузку весов нейросети на графический ускоритель (NVIDIA GPU), ручной посимвольный инференс (custom decoding loop) и кастомное сэмплирование токенов (samplers.py).

---

Предварительные требования

1. Python 3.11 / 3.13
2. CUDA Toolkit (установленный на хосте для работы PyTorch с видеокартой).

---

Установка зависимостей

Для корректной работы PyTorch с ускорением на GPU NVIDIA (CUDA), рекомендуется сначала установить PyTorch с официального сайта:

# Для CUDA 12.1 (актуальная версия):
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121

Затем установите остальные зависимости из файла requirements.txt:

pip install -r requirements.txt

---

Запуск сервиса

1. Убедитесь, что параметры в .env настроены правильно (DEVICE=cuda).
2. Запустите сервер разработки:

   python -m uvicorn src.main:app --host 0.0.0.0 --port 8001 --reload
   

3. При первом запуске сервис автоматически скачает веса модели (по умолчанию Qwen/Qwen2.5-Coder-1.5B-Instruct или указанной вами в .env модели openbmb/MiniCPM-V-1B) с Hugging Face Hub, сохранит их в локальный кэш и загрузит в видеопамять.

---

Доступные эндпоинты

• POST /generate — Стриминг токенов (Server-Sent Events) с использованием нашего самописного сэмплера.
  • Тело запроса:

    {
      "messages": [{"role": "user", "content": "Привет, ИИ!"}],
      "temperature": 0.7,
      "top_k": 50,
      "top_p": 0.9,
      "max_tokens": 256
    }
    

• GET /status — Информация о состоянии модели, активном ускорителе и количестве выделенной видеопамяти (VRAM) на GPU.