log.118 Portable AI na USB. Robimy "The Internet" z IT Crowd bez Nvidia Spark na dysku SSD SATA

7 Просмотры

Спасибо! Поделитесь с друзьями!

Вам не понравилось видео. Спасибо за то что поделились своим мнением!

Издатель Sep 17, 2026

Koniec z płaceniem za tokeny i uwiązaniem do chmury! Czy da się zabrać własną, lokalną sztuczną inteligencję Ollama + ComfyUI w kieszeń i odpalić ją offline na dowolnym komputerze z USB?
W tym odcinku budujemy w 100% przenośne środowisko AI (Portable AI) oraz robimy wielki benchmark nośników danych:
- Ultraszybki dysk systemowy NVMe PCIe
- Kieszeń USB 3.0 z dyskiem SSD SATA
- Klasyczny, wolny pendrive USB 2.0

W filmie zobaczysz:
- Jak skonfigurować lokalne modele LLM i Ollama na dysku zewnętrznym (zmienne środowiskowe OLLAMA_MODELS, OLLAMA_ORIGINS, ollama_bin)
- Akcelerację sprzętową pod zintegrowaną grafikę Intel Ultra 7 (Intel Arc / NPU) z wykorzystaniem Ollama IPEX (Intel Extension for PyTorch) zamiast Vulkana
- Modyfikację skryptów w Pythonie i YAML, aby przenosić modele LLM (GGUF) bez ponownego pobierania dziesiątek gigabajtów danych
- Test odczytu sekwencyjnego dużych wag modeli GGUF vs test tysięcy małych plików w ComfyUI / Stable Diffusion
- Pomiary transferu w CrystalDiskMark i realny wpływ prędkości dysku na czas ładowania modelu do pamięci RAM / VRAM

https://llm.aidatatools.com/
pip install llm_benchmark
https://github.com/aidatatools/ollama-benchmark/blob/main/llm_benchmark/check_models.py

00:00 – Pomysł na własny hosting AI bez chmury
00:46 – Wybór nośnika: Dlaczego pendrive jest za wolny?
01:34 – Przygotowanie sprzętu: Kieszeń USB 3.0 i dysk SSD SATA
02:11 – Konfiguracja Ollama IPEX pod grafikę Intela i zmiana zmiennych środowiskowych
03:12 – Optymalizacja LM Benchmark: Zakomentowanie pobierania i własny plikYAML
05:02 – Uruchomienie testów i weryfikacja zużycia zasobów
05:52 – Automatyczne parsowanie logów za pomocą AI
06:45 – Wyniki testów LLM (pliki GGUF): NVMe vs USB 3.0 vs Pendrive
08:34 – Test ComfyUI: Wpływ 100 000 małych plików na czas uruchamiania
10:43 – Podsumowanie i wnioski: Czy warto hostować AI z dysku USB?

llm_benchmark run --custombenchmark=g:\temp\llm_benchmark\benchmark_models_3gb_ram.yml --ollamabin D:\ollama-ipex-llm-2.3.0b20250725-win/ollama

benchmark_models_3gb_ram.yml:
version: 2.0
models:
- model: phi4-mini:latest
- model: qwen2.5:3b
- model: qwen3:4b
- model: qwen3:8b
- model: llama3.1:8b

#sztucznainteligencja #llm #ollama #usb #comfyui #programowanie #preppers