>>5326255
Вот это ковырял, всё работает. https://habr.com/ru/articles/728298/ Сам не разбирался глубоко, на момент выхода статьи попробовал и отложил в долгий ящик до апгрейда железа. На моём тостере генерация занимает минуты (бомжесборка на ксеоне и ДДР3 1800), поиграться можно, но в реальном времени работать не будет. Сетки качал с huggingface, alpaca и производные (там есть поиск по тегам и описания, всё должно быть понятно). Нужен инглиш, по-русски модели говорят, но, как мне показалось, плохо.
С тех пор появилось ещё вот такое https://github.com/oobabooga/text-generation-webui, комбайн чуть посложнее, но и пофункциональнее, и даже модели сам качать и дообучать (!) умеет, если разобраться, как (я не разбирался).