https://pwning.systems/posts/llm-memory-program-analysis/

После неожиданного context overflow примерно через 4 часа моего 8-часового прогона я всё-таки закончил эксперимент и потом разобрал логи за оба запуска -…

классическая проблема с headroom , для Llama.cpp и подобных с long context лучше сразу делать headless inference на отдельном GPU, чтобы UI не мешало.

https://www.reddit.com/r/LocalLLaMA/s/NgUZR5of5c