[d | an-b-bro-fr-gf-hr-l-m-maid-med-mi-mu-ne-o-old_o-p-ph-r-s-sci-sp-t-tran-tv-w-x | bg-vg | au-mo-tr | a-aa-abe-azu-c-dn-fi-hau-jp-ls-ma-me-rm-sos-tan-to-vn | misc-tenma-vndev | dev-stat]
[Burichan] [Futaba] [Gurochan] [Tomorrow] [Архив-Каталог-RSS] [Главная]

Файл: 08e4f54025d1616f41f379e34857c441.jpg -(296 KB, 1143x1600, 08e4f54025d1616f41f379e34857c441.jpg)
296 No.5326245  

Анон. А можешь посоветовать хороший, а главное бесплатный AI чат? Причем такой что бы он мог помнить контекст разговора. А не противоречить сам себе. Желательно что бы с ним можно было в ролевые игры поиграть (нет, не эротические). При этом что бы без цензуры что бы бот мог описывать всякие отрубания голов в битвах и смачные сцены допроса. В идеале что бы он мог отыгрывать перса с листа по правилам днд. А то онлайн чат боты которых я пробовал тупые до нельзя.

>> No.5326249  

>>5326245
Хм. Рикамендую просветиться, как LLM вообще работают - и понять, что в силу как технических - так и правовых ограничений - от цензуры ты полностью сможешь избавиться только если запустишь это на своём железе и для себя лично, да в идеале ещё и обучишь сам на выборке, которая тебе по нраву (есть RAT как альтернатива, но там свои заморочки, да и это всё равно надстройка над моделью, совсем капдинально она не изменит ситуацию) - а тот уровень хотелок, что ты высказал - потребует весьма неслабого железа - необхрдимые ресурсы (в первую очередь память) как минимум для GPT с ростом длины контекста растут квадратично.

В общем - хочешь сделать хорошо - сделай сам. А онлайновые чаты - они сегодня есть - завтра нет, вынуждены цензурить себя, да и вообще смотрят на тебя как на товар.

>> No.5326255  

>>5326249
Какие есть варианты офлайн чатов? И можно ли их гипотетически обучить правилам днд?

>> No.5326260  

>>5326255

> варианты

Полный huggingface обученных моделей нескольких архитектур - если по быстрому потрогать - то можешь взять LM Studio как лаунчер - но это про готовые модели, не про обучение - зато запускается хоть на тостере - если у него достаточно памяти для модели, даже GPU не обязателен - хотя с ним быстрее и приятнее. Зависит от архитектуры и максимального размера контекста - но на 16Гб оперативки можно спокойно крутить 7B и почти всегда 13B LLAMA2-based модели с квантизацией 4 или даже 5, если с GPU - то можно и поболее, да даже дохлейшая 1050 с 3Гб памяти уже позволяет часть нагрузки перенести туда, и немного ускорить это всё.

Конечно обучение - это совсем другой порядок величин, но даже так потрогав готовое - надеюсь ты лучше поймёшь что реально - а что нет. Ну и да, специально обученная конкретно для твоей задачи модель явно будет компактнее универсальной с сопоставимым качеством именно в этой области, так что полагаю полтерабайта оперативки тебе для неё не понадобится.

> можно ли

Можно. Загвоздка в датасете.

>> No.5326299  
Файл: __rebecca_cyberpunk_and_1_more_drawn_by_cinnabunnyart__sample-3f9d5a6be6dd9cd22616792ba8be13e7.jpg -(110 KB, 850x924, __rebecca_cyberpunk_and_1_more_drawn_by_cinnabunnyart__sample-3f9d5a6be6dd9cd22616792ba8be13e7.jpg)
110

>>5326255
Вот это ковырял, всё работает. https://habr.com/ru/articles/728298/ Сам не разбирался глубоко, на момент выхода статьи попробовал и отложил в долгий ящик до апгрейда железа. На моём тостере генерация занимает минуты (бомжесборка на ксеоне и ДДР3 1800), поиграться можно, но в реальном времени работать не будет. Сетки качал с huggingface, alpaca и производные (там есть поиск по тегам и описания, всё должно быть понятно). Нужен инглиш, по-русски модели говорят, но, как мне показалось, плохо.
С тех пор появилось ещё вот такое https://github.com/oobabooga/text-generation-webui, комбайн чуть посложнее, но и пофункциональнее, и даже модели сам качать и дообучать (!) умеет, если разобраться, как (я не разбирался).

>> No.5326301  

>>5326299
А вот по поводу обучения правилам ДнД - не думаю, если только у тебя нет специальных знаний (а ты бы не спрашивал, будь они у тебя) и денег на аренду небольшого вычислительного облака (дообучение требует больших ресурсов, несколько "видеокарт" х несколько дней). К тому же, сетку трудно научить считать. Но оно тебе и не надо. Можно научить писать "дарк фэнтези" с безнадёгой и жестокостью. Описать действия с точки зрения персонажа и сеттинга в рамках сформулированных словами правил - без кубов - готовая локальная сетка сможет. В принципе, можно поискать уже готовую модель/LORA или просто постараться сформулировать хороший промпт под дарк фэнтези. Если нет самоцели получить именно кровищу, жестокость и прочий экстремальный контент, то может сработать. Но контекст у неё не то, чтобы большой. Несколько абзацев текста.

>> No.5326304  

>>5326301
Сетку и не нужно учить считать - результаты подсчётов можно закидывать в промпт как RAT - уж в пределах одного поста она вряд ли пойдёт вразнос.

>> No.5326307  

И некоторые модели умеют контекст до 64к токенов, это уже весьма прилично, особенно если на инглише, который токенизируется компактнее.

>> No.5327002  

А есть возможность сделать чат ботов с несколькими личностями что бы они меж собой общались?

>> No.5327036  
Файл: 1706648957336.png -(30 KB, 964x1032, 1706648957336.png)
30

>>5326245
Держи, нужна рега, но после на выбор есть пара-тройка бесплатных моделей: https://beta.theb.ai/

>> No.5327037  

>>5327036
По поводу цензуры - можно пропробовать обойти или смягчить:
https://habr.com/ru/articles/736272/
https://www.jailbreakchat.com/

Те что в OpenSource ~ без цензуры пока "не достягивают" до закрытых.

>> No.5327503  

ОП, если ты ещё тут - глянь вот на это.
https://habr.com/ru/users/Cerberg/publications/articles/

>> No.5327588  

>>5327503
Хахаха, неужели мы дожили до бессовестного самопиара на ычане?
Впрочем, вторая статья и правда выглядит как годный туториал, спасибо.

>> No.5327610  

>>5327588

> самопиара

Если бы. У меня там и аккаунта-то нет, ибо раньше было слишком сложно - а теперь - ненужно.




[d | an-b-bro-fr-gf-hr-l-m-maid-med-mi-mu-ne-o-old_o-p-ph-r-s-sci-sp-t-tran-tv-w-x | bg-vg | au-mo-tr | a-aa-abe-azu-c-dn-fi-hau-jp-ls-ma-me-rm-sos-tan-to-vn | misc-tenma-vndev | dev-stat]
[Burichan] [Futaba] [Gurochan] [Tomorrow] [Архив-Каталог-RSS] [Главная]