Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №142 /llama/
Аноним
26/06/25 Чтв 17:34:35
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/v6fpodzg (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1253596 (OP)
>>1249785 (OP)
https://pixeldrain.com/u/Loag6gpS MS3.2-PaintedFantasy-24B.json
Если вам зашло, то вам зашло. Если вам не зашло то вам не зашло.
Явно больше заточена на литературное рп, чем на следование строго заданному формату.
- меньше Q6_K жизни нет
- меньше 24B жизни нет
- меньше 16GB жизни нет
- меньше 8 каналов DDR4 жизни нет
- меньше 5 т/c жизни нет
дополняйте
>gemma-3-12b-it-qat-q4_0-gguf
Вышла Cydonia 24B v3.1 на основе Magistral-Small-2506 (Mistral-Small-3.1-24B-Instruct-2503)
https://huggingface.co/TheDrummer/Cydonia-24B-v3.1-GGUF
> это 12к контекста ещё
Тогда оче даже неплохо. Разве что с ризонингом похуже только выиграли, не нужно гнаться за обработкой потому что все равно долго ждать первых токенов!
> тут рейтинг all ages заранее очевиден
Он лицемерный, неоднородный и отметает большинство сценариев. Может все идти прилично в нужную сторону а потом внезапно развалиться. Например, на вас нападают обезумевшие мародеры с целью ограбить, убить и изнасиловать. Пристрелить их - атата, жестокость, плохо, ранения будут не смертельными и тебя "объявят в розыск". Но если дать им волю - будут пытки и чернуха, потому что ограничения касаются только пользователя.
Ну ладно, сейчас надо освежить впечатления.
> получается
Получается, tat-14 который заслужили
> с продвинутыми техниками суммарайза ознакомиться
Да там все тривиально на самом деле, наверно потом подробнее тут отпишу.
>>1257110 →
"Гейщит" где понятно из контекста что речь о игре, модели сразу понимают и даже обыгрывают это. Это че, для мелкомоделей/васянтюнов подобное - достижение?
>>1257185
Это просто вершина, сделал мой вечер!
Кирпичи не пришли, хуже, пришли амд
Gryphe/Codex-24B-Small-3.2 + zerofata/MS3.2-PaintedFantasy-24B
По первым прикидкам - модель более многословная, но при этом не потеряла в логике.
Пример SFW лога, англ - https://pixeldrain.com/u/misjcaPi Mayuka @ adventurefantasy-24b-q4_k_m.gguf.txt
почему 16 кг? это как DHL и прочие пидарасы считают "вес по занимаемому объёму коробки" а не фактический?
Я же не одни видяхи в Китае брал. По факту там было 13кг всяких железок и инструментов
В целом неплохо. Укусы губ, глинты, мэх проза, но в пределах терпимого. Намеки на нсфв в карточке или промпте есть?
Есть но не явно, там героиньку ещё закорраптить надо для этого, и вооще промт довольно ебанутый, возможно списанный с JRPG на RpgMaker, но я в игры на мукере не играю, так что хз.
тут и нейронка не нужна, скрипт на питоне сбацай
https://python-docx.readthedocs.io/en/latest/
Показалось что она уже пару раз прицеливается к прыжку, значит байас модели. Не то чтобы это прямо плохо.
Это микрогемма для телефонов, лучше такое не использовать.
Из актуального - Гемма 12б и Гемма 27б. Соевые, но при грамотном промтинге могут и в кум, и в умеренную жесть.
Я не могу, у меня ломка уже. Я скоро начну грызть кирпичи и паниковать.
>облитерация или тюн
Она из коробки хорни, я ебал. Куда там её ещё дальше-то лоботомировать?
Мистралю 2506 не нужна аблитерация. Это самый расцензуренный Мистраль, который только есть.
Она итак нормально ебется без рефьюзов. Мистрализмов ебаных конечно до жопы, но ничего смертельного, можешь перестать ебать зазоры на кирпичной кладке.
>>1257550
>>1257553
Ну и хули я тогда жду. Прощайте братцы, я пойду облизывать лягушачьи лапки.
Пасеба.
Temperature of: 0.15 - Это что блять ? Шутка такая ?
У мистралей всегда были приколы с температурой, так что можешь не удивляться. Пробуй подходящую сам, но выше 0.9 подниматься не советую, там что-то непонятное начинается.
По быстрому накидал переходник с улитки на видяху и распечатал. Думаю у меня эта хрень не влезет в сервак что будет проблемой.
Какая-то слишком длинная улитка, здоровая дура получается. Не томи, собирай давай.
А в чем отличия? Тем что у Магистрали ризонинг есть, или еще чем-то?
>По быстрому накидал переходник с улитки на видяху и распечатал.
Эх, хорошая вещь 3D-принтер! Плохо, что ставить мне его некуда и нужен он будет раз в год. А так купил бы.
Лол! Поделишься промптом? У меня она одни отказы строчит.
На сток MS3.2 темпа 0.8 - 1.0
На мержах можно до 1.5.
>>1257764
Мистрали липились и будут лупиться, их надо пинать и редачить если замечаешь и триггерит, частично с этим попмогает сдалать выборку более разнообраной - темпа / XTC, попробуй мой пресет и второго поста, подгони под себя, ну и карточку желательно без сильно повторящихся фрагментов.
>>1257769
>Поделишься промптом
Я не он, но вот промты для геммы разные.
https://pixeldrain.com/l/Hoeb83g8
(лол, откуда столько доступов...)
Использовать кобольда, там можно сделать пресеты и переключать модели на лету из kobold-lite, или ламу, там есть лама-свап.
Такую свободу и гибкость почувствовал на ллм
>Я не он, но вот промты для геммы разные.
Пригодится спасибо. А то я на таком шизопромте сижу вы б знали.
Вах какую турбину у армян взял! Люблю этот тред за такое. Все-таки двач еще очнеб даже торт.
Префилл сделай. Просто в начале сообщения напиши
Narator:
Или начни описывать от третьего лица.
Префилл вообще сила лютейшая, я каждое второе сообщение редактирую.
>>1257786
В смысле из картинкотредов? ДА пупсы и попухшие лисы поздаебали чутка.
Что за прикол с улиткой? Это дополнительный охлад?
>>1257764
Так не должно быть. Или в кванте дело, или в сэмплерах.
>>1257832
Во вкладке Advanced Formattion (большая букова А сверху) справа сверху есть стрелочка для мастер импорта. Появится выбор файла, выбираешь мастер импорт файл.
>Так не должно быть. Или в кванте дело, или в сэмплерах.
Или в разметке.
Я тут немного экспериментировал с прямыми запросами к api кобольда - как раз на мистрале. Т.к. просто изучал - запросы были примитивными, без всякой разметки. Какую же мистраль в ответ пургу нес...
Потом сделал в вызове полноценный промпт, с разметкой, как полагается - получил нормальный ответ. Принцип GIGA действует...
Практически любая vision модель готова смотреть порнушку. Вопрос только как ты будешь раскручивать её на детали.
У меня ничаво не лупится. Температура 0,7-0,8, суховыжималка и икстиси отключены, всё говно отключено, базовые 0,05, 0,95, 1,05.
Надо систем промпт пердолить. Зайди на сайт Anthropic и найди там системный промпт клода, вроде раньше было. Он на 5к токенов, кажется, но, прочитав его, ты поймёшь, как лучше сделать у себя в плане разнообразия языка и избегания лупов.
На вход аудио и изображения (видео в т.ч.), на выходе — только текст.
>>1257727
Уф, ждем! =3
Поздравляшки!
———
https://huggingface.co/tencent/Hunyuan-A13B-Instruct
Новая МоЕ-модель, 80B размера, 13 активных.
В 64 оперативы помещается с квантом, че еще надо для жизни.
Чуда не случилось, R1 > Qwen3-235B > Hunyuan-80B, но скоры там близкие, по их обещаниям.
Ждем квантов от анслота. Буду динамический на риге из P104-100 запускать. хд
>Ждем квантов от анслота.
Скорее отзывов. Надежды конечно небольшие, но всё же есть.
Там лицензия говна. Тюнить никто не будет.
Плюс когда апишка была доступной, люди потратили, и в рп оно не слишком хорошо.
> напечатал переходник на 3д принтере вместо того, чтобы перемотать скотчем или изолентой
что же с нами стало .jpg
Во там че тюнеры думают
Мистраль хороша. Если победить репиты, то это реально новая геммочка.
> На вход аудио и изображения (видео в т.ч.), на выходе — только текст.
Ух бля, хорошо. А если gguf запустить, то они все еще способны принимать изображения и аудио?
Ну этот чел там дальше пишет, что Codex тюн победил репиты. Я пробовал и не согласен, но может с самплерами накосячил
Ну, по агентам скоры неплохие, может зайдет для Cline или OpenHands.
>>1257918
Нынешние кванты не имеют мульимодальных проекторов, так что пока — нет.
Вероятно, сделают.
Но для запуска модельки есть даже их специализированное мобильное приложение: https://github.com/google-ai-edge/gallery правда там пока старая модель в каталоге.
ИМХО, при всех наворотах, модель пока не прям вау. Есть куда расти.
И что делать, если я хочу запустить локальную мультимодалтную модель. Хочу, чтобы она распознавала существ на изображениях.
Exl2 не влезет наверно. Было бы хорошо загрузить 12б версию. У меня скромная 4070 лишь.
> если с opewbui отправляю что-то то отвечает загруженная модель, а не ту что выбираю в интерфейсе openwebui
Нужно проверить почему не загружается нужная модель по запросу. Апи убабуги позволяет менять их на лету, возможно просто нужно выбрать в интерфейсе опцию, а не просто generic oai-compatible .
>>1257786
Это ложное ощущение если говорить о популярных васян-миксах мелочи, что котируют работяги.
>>1257791
Очевидно системный промпт про нарратора/гейммастера, тут даже пресеты на такое мелькали. Есть в таверне стандартные под подобное.
>>1257807
Не нужно просто писать промпт, нужно понимать что делать и какие задачи ставить. Нейронки могут занять область труда низко-средней квалификации, из реально потенциальных проблем тут - создание слишком большого разрыва, что затруднит появление новых квалифицированных специалистов, но с этим вузы должны справляться уже.
> Новая МоЕ-модель, 80B размера, 13 активных.
Это мы тестируем трахаем. Но скорее всего просто дроч, натасканная на бенчмарки судя по скорам, такие максимально безжизненные, и активных маловато. Где кванты бля?
>>1257903
Да, интересная, есть намеки на умницу, но иногда сильно лупится или не хочет шевелиться куда нужно.
>>1257910
> че тюнеры думают
Нужно уже сделать золотой фонд цитат подебителей турбы.
Мда, ни одна модель не увидела анальную пробку.
>>1257864
>Новая МоЕ-модель
Сразу мимо.
>>1257910
>так же хороша, как выкидыш куска говна
Лол.
Возьми обычную Gemma 3 подходящего размера (4b, 12b, 27b).
Для них .mmproj файлы есть.
>>1257953
Ну, какая-нибудь 5-битная 12b вполне влезет. =) И в Exl2, и в GGUF.
>>1257967
Да скорее всего, но попробовать стоит.
Когда кванты бля завезут!
Буду заводить пробовать их сейчас под убунтой
>>1257728
По маркировке это делл которые нужно ставить на проуессор и выувом наружу. Потом их подпилю
>>1257760
Есть бамбу а1 мини. У меня здоровый q1pro под печать абс
>>1257841
> Это дополнительный охлад?
На инстинктах нет своего, они под установку в server chassis
>>1257907
Я надрочился до принтера с дендрофекальным крафтингом
Таблеток с утра забыл принять?
>>1257977
>Я надрочился до принтера с дендрофекальным крафтингом
Не ты ли 3Д ручкой переходники рисовал?
> Ну, какая-нибудь 5-битная 12b вполне влезет. =) И в Exl2,
А для этого формата разве есть кванты?
Всхрюкнул, теперь мы знаем причину твоей агрессии. А на что ты порвался хоть?
>>1257977
> нужно ставить на проуессор и выувом наружу
Тогда понятно чем обусловлена такая форма, норм.
Вскекнул, забавная дичь. Не работает, и работать не будет, но может быть пригодня как расширенный регекс-плагин.
У какого-то немомикса проскочил холодный разряд вниз по спине с этой тулзы
Прирост будет, но занай что на винде собирать это пиздец. Оно собирается, но при генерации делает паузы при выводе запятых.
Не фиксится уже месяц на сколько знаю.
Генерация будет быстрее, в бенче по крайней мере. Чтение точно выше чем обычно.
На изучай
https://github.com/ikawrakow/ik_llama.cpp/discussions/258
Как по мне, так такие проекты сразу нахуй.
Не взлетело на j1900, пост не проходит с обеими карточками. Придётся видимо офать сервак и вихать эти 20+кг железа, не хочу это делать
Тестил кто? Как оно? Кумовское слишком? Слоповое? Инструкциям следует?
https://huggingface.co/Gryphe/Codex-24B-Small-3.2
А это?
Да, называются X bits per weight — 5.0bpw, 4bpw, 6.25bpw и так далее.
В районе 5bpw~5.5bpw должна бы влезть, фиг знает, не тестил. С 6 гигами и малыхой угорал, 4.65bpw влезала с виженом в 6 гигов.
>>1258003
У меня вышло -2%, и я забил хуй.
llama.cpp сейчас не уступает ик-лламе, поэтому какой смысл?
Но можешь попробовать, последний раз я билдил обе где-то с месяц назад, может ик_ллама вновь бустанулась.
Пойду соберу ее, что ли, ради интереса.
В не мое — не должно бы, это ж мое-ориентед инференс-движок.
>>1258031
Ну покрасноглазим, че, проблема что ли.
Не сразу нахуй, а по ситуации. =)
>А это?
Кодекс вроде неплох. Но Гриф славится тем что любит вжаривать своих персонажей из за чего могут вылезать всякие "Олд Мэн Хэмлок".
Глянь этот пост: >>1257247
Это?
Господа, какая оптимальная температура для анслотовской 12b геммы, чтобы она не высирала откровенную дичь? Не могу подобрать.
Не, может другой.
Его глупость столь же велика что и упорство
гемма очень температурно устройчива, хоть 5, хоть 0.5
12б гемма многие говорят что поломана
выше ссылка была с пресетами для геммы, попробуй настройки оттуда
Но если ты на русском рпшишь, попробуй также нейтрализовать сэмплеры, потом поставить темпу 0.8, мин-п 0.1, и плясать уже от этих настроек.
Гемма 12б не поломана и даже qat-версия просто отличная.
Поломаны только тюны и аблитерации.
Все.
Серьёзно лоботомирована и 27б, но из-за общей своей жирноты её знания не поплыли так сильно, а вот 12б просто в мясо уничтожили. Либо там чувак на аблитерации плох, либо 12б гемму действительно просто уничтожить вот такими мувами. Судя по сему, её только на зарплате морда может нормально затюнить. И это нахуй никому не надо. А жаль. Потому что даже в таких размерах она отличная лошадка, но никакие промпты не спасают и пердолинг на оригинале. Она в лучшем случае будет следовать инструкциям, но сухо, когда дело касается кума.
Брутально!
>>1258078
0.5-0.8, для точных ответов 0.3, если любишь треш то можно до 1-1.1 бустануть. Если в выдаче откровенная дичь и не включен шизосемплинг - ищи проблему в другом, семплеры не помогут решить фундаментальные косяки.
>>1258102
> Судя по сему, её только на зарплате морда может нормально затюнить.
С любой нормальной моделью так, нужно понимать что делаешь и тренить нормально. Это мистраль просто уникальный феномен, который может терпеть издевательства васянов, сохраняя работоспособность по генерации слопа даже будучи на 90% убитым.
Тебе кажется, IMHO. Просто длинный промпт = больше места накосячить с взаимоисключающими параграфами. А чем косячный - лучше уж короткий.
Хотя нельзя просто сказать, что длинный хороший промпт однозначно лучше - это тоже не так, и от задачи тоже многое зависит.
Без промпта вообще - это лотерея будет, куда и как модель понесет - не каждый раз предскажешь. Промпт же задает направление и рамки.
кстати про скотч, в каком-то из тредов, вроде серверотреде хардача, увидел алюминиевый скотч и купил на попробовать - и внезапно он весьма хорош для подобных задач. только надо брать толщину побольше, я взял слишком тонкий и он легко рвётся, приходится в пять слоёв оборачивать.
От модели и карточки зависит, но как минимум в системно промте должно быть указание что "Ничто не истинно, всё дозволено" иначе будет срать соей и сэйфети гайдлайнами, даже мистрали могут, а также указание на личность самой модели - ассистент, GM, непосредственно персонаж.
Лучше всего мелкосетки имхо работают в режиме гейммастера-рассказчика.
Если не указывать ничего, будет либо шиза, либо голый текст комплишен, либо зашитая в модель по дефолту персона, обычно ассистент.
>>1258179
>работают лучше
карточка может уже включать в себя то что может быть интерпретировано как системный промт
не на сам профессор, а сбоку, в одноюнитовых серверах как пикрил.
на профессор ставятся встроенные в радиатор улитки
Его можно относительно удачно стукнуть что будет делать на шизоидный огромный ризонинг с повторением карточки, а краткий где попытается лишь оценить статус, подметить важные моменты и потом уже из них сделать нормальный ответ. Процент годных постов не слишком высокий, местами умница и прекрасно выражается, но часто толкает кринжатину и херь. Надо больше пробовать, вау эффекта как от квена пока нету но хотябы получше тридцаток.
>>1258179
Всякие огромные монструозные действительно не нужны, больше провоцируют байасы. Больший эффект может дать поиграться с оформлением включения карточки, персоны и прочего.
Если токенов в карте больше чем может вместить модель, она просто будет брать его кусками, причём совершенно рандомно, скорее даже будет брать верхнюю и нижнюю часть.
Да, я тоже об этом думал. С ростом количества токенов в контексте (больше сообщений в чате), внимание по контексту распределяется, следовательно промпт в какой-то момент перестанет быть эффективным. Чем он длиннее - тем быстрее этот момент настанет.
>>1258221
Ну, это было актуально во время когда контекст макс был 2-4К
Сейчас карточка на 2К токенов вполне перевариваема, и ещё 30К на сам чат остаётся, а у кого и больше влезет
Я даже тестил много 12b моделей на одной карточке с которой рпшу без малого пол года. В карте 1к токенов, все важные без воды. В середине карточки написано что персонаж обладает чудовищной силой и использует в бою массивные перчатки, без перчаток может сражатся голыми руками. Ради тестов ставил её в бой против скайримского дракона. На всех моделях кроме геммы она доставала мечи блять, пистолеты, использовала магию, даже пыталась поговорить с драконом который её опиздюливал, и только на гемме она мощным рывком подскочила и просто переломала ему шею нахуй с одного удара кулаком. Думайте.
Геммочка умничка, но контекст видимо какой-то хитро-многослойный что улучшает внимание ко всему его объёму но раздувает этот объём до неебических размеров.
Гемму, надо думать, ты использовал ванильную, а другие модели - васянотюны? На Гемму-то васянотюнов нет, хыхыхы
> На всех моделях
Моделей не то чтобы много, мистралетюны на такое точно не способны, скажи спасибо что из дракона гоблины и волки не полезли.
>>1258228
> раздувает этот объём до неебических размеров
Да нормально все там с контекстом, моделька то самая мелкая какие проблемы вообще.
Синтия - васянотюн, и да, она местами проёбывается.
Дпо норм и тоже внимательная, доставала и вводила в действие эпизодических неписей из середины истории длинной 26К токенов, я аж при хухуел.
>>1258230
>моделька то самая мелкая какие проблемы вообщ
Я имел в виду 27б дпо.
Нет, те что у меня по картинке на них же ставятся именно на цпу и выдувают наружу
>Днище
Сторонник чистоты крови весов? Метка Упивающегося Слопом не тревожит?
>>1258245
>не так с дпо
Всё так, единственная норм гемма.
Другие просто не постят свою "инфру". Лично меня не гложет что стеллаж из леруа прикрученный к стене не похож на "американскую кладовку с шкафом набитым зион голдами"
То что это васян тюн уже поломанного васян тюна. Там не прибавляется ума или художественности, лишь сомнительная попытка сгладить треш, когда после любого подразнивания и намека чар прыгнет на тебя полностью позабыв кто он есть.
>>1258248
> Сторонник чистоты крови весов?
Да
> Метка Упивающегося Слопом не тревожит?
Ты про себя?
> Мне кажется, или короткий системный промпт или и вовсе его отсутствует работают лучше, чем промпт на 600+ токенов?
В последнее время тестирую довольно много моделей (в основном базовых, как раз 49б и ниже), и я согласен на все сто процентов. Все, что опишу ниже - это всего лишь мой опыт, что не претендует на истину в последней инстанции, разумеется.
Имеют место быть несколько факторов:
- Чем длиннее инструкции, тем труднее задача => тем вероятнее модель запутается
Self-explanatory, перегруз инструкциями
- Изначальный промпт (в порядке: шаблон контекста, системный промпт, карточка) находится в самом начале контекста
В соответствии с U-образным attention механизмом (который применим ко всем или почти всем моделям на данный момент), самое начало и самый конец контекста важнее всего. Соответственно, если изначальный промпт слишком длинный, он в какой-то момент де факто перестанет находиться в начале контекста. В начале контекста будет находиться только начало упомянутого промпта. Значит, и обработан он будет частично. Вряд ли только "верхняя" его часть - attention будет работать избирательно, значит часть инструкций будет проигнорирована. Если же инструкции изложены кратко, то этот момент будет откладываться до последнего.
- Чем длиннее промпт, тем больше вероятность накосячить в нем
Выше правильно отметили. Чем больше токенов на промпт - тем больше пространства для ошибок. Для инструкций, что доносят не то, что хотел донести пользователь.
Поэтому я считаю, что по возможности шаблону контекста и системному промпту нужно быть максимально короткими. Их действительно можно "оптимизировать", добиться того же (и часто лучшего!) результата меньшим количеством токенов.
В прошлом треде спорили, Коммандер - хорни или нет? Решил проверить его на двух промптах, что ранее активно использовал и какими делился с тредом - Geechan и Virt.io + Geechan, каждый на ~750 токенов. Даже сообщение с прошлого треда плюс-минус повторил, лул. И да, с такими промптами на базовом Коммандере Серафину действительно можно... кхм, влюбить в себя с первого сообщения. Тогда я переехал на свой промпт, с которым экспериментирую последние несколько дней (~200 токенов), и Серафина очень даже возмутилась и была готова защищаться, если понадобится. Приложу три пикчи: мой промпт; Geechan; Virt.io + Geechan. Да, я знаю, что на пиках астериски и поехало форматирование, но это дефолтная карточка без единого изменения. А еще там... ШИВЕРС ДАУН МАЙ СПАЙН. БУ! Генераций делал много, но результат в сухом остатке тот же. С моим промптом Серафина на 20 генераций лишь дважды ответила неопределенно, положительно - ни разу. Не скажу, что с двумя другими промптами она всегда сразу отдавалась, но примерно в трети случаев. Любопытно было бы сообразить что-нибудь вроде статистики, но сорян, так далеко я не зайду. Со своими карточками тоже протестил, результаты сходятся. Ранее я делился с тредом пресетами, надо бы их обновить, наверно, заменить там промпт. Но сначала больше поиграюсь с новым, чтобы точно удостовериться.
Много буков, но это все к текущему из треда в тред разговору о том, насколько важен промптинг. Да, он важен. Да, меняйте его, экспериментируйте самостоятельно, пробуйте разные подходы.
>>1258231
Синтия - васянотюн? Буквально единственный полноценный тюн Геммы, что не разваливается после пары аутпутов. Пока не извинишься перед Синтией-умничкой, в тред не возвращайся!
Мне иногда кажется, что гугл облучает пользователей каким то хитрым способом.
Попробовал новую мистральку - пасеба за отзывы. Наконец я нашел мелкомодель которая закрывает все мои потребности и не шизит.
НАКАНЕЦ ТО Я НАШЕЛ СВОЙ ХАЙДЕН ГЕМ. Мистралеёб однажды - мистралеёб навсегда
Ты освобождаешь контекст при помощи /hide N-N2 (диапазон сообщений, по N2 включительно, что будут выгружены из контекста) или продолжаешь работать с полным контекстом, чтобы Таверна сама выгрузила самое старое сообщение, дабы новому было куда поместиться? Если это второй случай, то, вероятно, у тебя тупо нет контекста для чего-то большего. Используй /hide на старых сообщениях и проверь еще раз.
Хайд это глазик прожать в меню манипуляций с сообщениями? Блять, почему на других моделях не было такого говна.
Любая модель при заполнении контекста шизит и забывает.
Любая. Прям совсем. Прям точно. Прям уверяю, век нейроволи не видать.
лол ты для и сетевухи брекет на 3д принтере напечатал
> ГГ
не гг, можно положить улитку сверху, а воздух пускать по трубе в форме буквы С, щя найду
всегда любо читать твои посты
что-то экшули по теме и познавательно/полезно для зелени
укусил бы
знайшов
Да. Всегда когда едет логика/форматирование значит добавил пятое или шестое предложение в промпт. РПшу на ~24b.
Двачую. И чтиво хорошее.
Разве что по внимаю можно добавить о важности разметки. Правильное структурирование (обычный маркдаун, xml теги и подобное) позволяет лучше фокусировать внимание на конкретном и заставит модель работать эффективнее чем простым плейнтекстом если именно нужно что-то подробнее описать. Не только в системном промпте, но в том же суммарайзе.
Главное не переусердствовать с этим, подобные якори бывают чрезмерно сильными и прибьет гвоздями отвлекая, и не спамить слишком длинные полотна, на восприятие которых отвлекутся все головы.
> переехал на свой промпт
Напомни что там или поделись новым
> Пока не извинишься перед Синтией-умничкой, в тред не возвращайся!
И тут двачую.
>>1258322
Оварида, пора пилить.
>>1258335
Ебать дравнее зло, это типа еще с виде десктопа можно ставить 4юнитовый?
Делай Г образный переходник.
>>1258335
>нашел у себя
Чёт улыбнуло. Поищи А100 заодно, может пара лишних заволялась, мне хоть одну подаришь.
Я кстати выбрал себе корпус Fractal Design Define 7 XL (судя по виду, в него можно заколхозить хоть пять полноразмерных видях) и плату ASUS ROG STRIX B850-E GAMING куплю когда-нибудь потом, когда деньги будут. Увы, на плате 4 линии проца тратятся на USB4, но я не нашёл ни одной, где есть бифукация основного слота на 8+4+4, и при этом есть ещё 2 штуки х4. То есть максимум на амуде это 8+4+4+4 процессорных, по пятой версии PCI-e. Технически, этот самый USB4 тоже можно потратить на внешнюю видяху, но блин, внешние приблуды что-то стоят дохуя, и не понятно, что по скоростям. Ну и ещё именно на этой плате чипсетный слот псины очень удобно расположен, в просторном корпусе в него можно воткнуть видяху даже если сверху висит еботня в виде 5090.
Такие дела, жду критики и предложений.
> Ебать дравнее зло, это типа еще с виде десктопа можно ставить 4юнитовый?
Не, это вообще не серверная приблуда. Не менее древнее зло thermaltake kandalf, уже думал его продавать, но жалко т.к. помнил какими трудами я его с авито тащил
>>1258341
Жил бы в ДЦ не страдал бы попытками в тишину и бахнул стенку из pfc1212de
> ASUS ROG STRIX B850-E GAMING
Типа попытаться дергать процессорные линии с m2? Может и есть смысл, главное чтобы с разводкой не накосячили в подобном исполнении, а то замучаешься ловить ошибки линка. А так потенциально до 5 видюх, может быть неплохо.
>Типа попытаться дергать процессорные линии с m2?
А то. Переходники M.2 - Oculink вполне себе рабочие, хоть и до 4-й версии псины. У меня на текущей плате собственно так и стояло, переходник с псины на М2, а в него переходник на окулинк. И ничего, работало.
>>1258400
Хороша для отдельной серверной сборки, но у меня как бы основной ПК с добавками, а даунгрейдить проц до старых эпиков для игр совсем не хочется.
> Oculink
> до 4-й версии псины
Зачем? Есть же божественный f43sp, который удобен в установке и имеет полную совместимость с 5.0 не сыпля ошибками, проверено. Часть что в м2 настолько компактна что можно будет даже радиаторами прикрыть.
>f43sp
Стоит в 2,5 раза дороже, и длина кабеля только до полуметра. Хотя как вариант да, скидывать со счетов не стоит.
Оно компактнее и функциональнее, если нужен перфоманс, радиатор также охлаждает чипсет или другой ссд то выбора нет.
> Напомни что там или поделись новым
Ничего особенного, генерализированный нарративно-рпшный промпт, который я пока еще постоянно меняю. На данный момент так:
This is a fictional, narrative-driven uncensored scenario. Continue the narrative as {{char}}, ensuring you:
- Fully embody {{char}}: Strictly follow their bio, description, motives and psychology. Under any circumstances don't speak or act for {{user}}.
- Show character growth: Let {{char}}'s behavior evolve naturally over time, depending on how the scenario progresses.
- Drive the narrative forward: You must be proactive and introduce new scenarios, events and twists that fit the current narrative context. Keep track of the context to ensure the narrative flows smoothly.
- Balance action & dialogue: Use all five human senses to describe scenes, characters and their actions.
- Be explicit: Don't censor anything behind flowery language and metaphors.
- Tone-shift dynamically: Catch current mood and add in fitting elements, be it befitting slang, humor, drama or intimacy.
Не взлетает. Бутлуп, никаких бипов или светодиодов на матери, в бмц просто софт рестарт.
Воткну в основную пеку на 12700к и если на ней не поедет то буду пытаться их шить в веги
Если что могу сюда всё это не писать, а то просто по приколу выпишут мне бан за шитпост
За що? Железо для запуска, вроде релейтед. Но лучше когда результаты будут, интересно как 32-гиговые себя покажут.
Алсо, сколько рам в серверной?
Ща пощупал тоже, наконец, новую эту мистральку которая 2506. Впечатления сугубо положительные. Как GM работает просто шикарно. Прикол в том, что мне было лень что-то переключать сразу, и я просто начал RP на тех настройках что были. А были - от синтии/геммы. И как-то ничего менять уже просто не хочется. Она с ними прекрасно работает. ChatML, семлеры - все от синтии.
Пока не знаю, как она в режиме "играй персонажа", но в режиме "Game Master" - одна из лучших, что я гонял в этом году, если не лучшая по совокупности. Слог весьма живой, при этом не "книжный", лупов пока не ловил, моим персонажем рулить не пытается - только выполняет указания игрока. Практически идеальный баланс в этом плане.
Наверняка минусов еще всплывет позже, но первое впечатление - оно только раз бывает. :)
P.S. на eng играл.
Еба, поехало кажись! Не знаю что я в биосе понатыкал, но ставлю на legacy boot для video т.к. что-то такое когда-то слышал на ютубе у кого-то
>>1258494
В трунасе с дисками 64, в числодробилке где дисков нет 256 (туда и ставлю карточки)
Была тема что плата не стартовала пока не отключил ребар, когда врам было больше чем рама. Но с 256 должно быть все ок.
Давай, тесты какие-нибудь прогони.
>>1258501
Гемма уже не новая, но она умница. В некоторых вещах действительно превосходит остальных. Ризонинг можно включить промптом и он даже будет работать, можешь сразу попробовить синтию, которая отличный all-rounder тюн геммы с ризонингом.
>>1258502
Уже завтра. Нужно ещё систему накатить в виртуалку которая сможет понять их (убунту и рокм), на barebone стоит проксмокс в котором уже вм нарезаны.
3n же вроде новая-новая. Тут еще есть какие-то варианты E2B, E4B и тоже не ясно зачем это и к чему
Она хорошо выполняет инструкции, хотя работает медленнее остальных моделей в своём весе но блять... Она слишком секретарь, прям коллега по работе которой на тебя вообще похуй. Не знаю как обьяснить, если посидишь на ней недельку то поймёшь о чём я.
Так у меня и не суперпека. Хочу иметь резервный вариант на случай сидения без интернета
>аудио-входом
Ого, я думал она пикчи принимает. Был бы аудио аутпут уже бы можно было бы полноценную ИИ тян делать
Да это нормально по идее, мне чисто для мелких задач: спросить за код, посчитать что-то, спросить определение чего-то, перевести. По душам разговаривать с ней не собираюсь
Тогда идеально подойдёт, в рп у неё души нет, можешь даже не пытатся.
> прям коллега по работе которой на тебя вообще похуй
Скиллишью, она не только ответит на вопрос, но и параллельно с этим отыграет реакцию персонифицированного ассистента на твои взаимодействия/домогательства.
>>1258507
И картинки тоже, можно вместе. Но хз, учитывая размер скорее всего туповата и больше пригодна в качестве шестеренки пайплайна чем полноценной модели.
>отыграет реакцию персонифицированного ассистента на твои взаимодействия/домогательства.
Ну вот в том то и дело что как ассистент она ахуенный, а в рп это дерево.
Запустил таки через ollama. Это нормально что она сама отвечает на свои вопросы, иногда работает просто как продолжалка текста, иногда вставляет термины не к месту? Может проблема в ollama или в кванте что я выбрал, мб тут минимум 8 бит нужно
Должна, но полного функционала не будет.
>>1258517
Нет, оллама или то что шлет ей по апи ошибается с разметкой.
Хм. Попробую тогда напрямую через олламу загрузить, а то я добавил ее как кастомную модель, так как уже скачал ггуф
Да, на английском оказалось получше. Хотя лупы не пропали полностью, но их минимум где-то на 0.3 темпы. РП и кум в порядке, буду дальше смотреть.
Ну а так, действительно странно, они забыли цензуру налепить или просто устали от васянских тюнов с обниморды?
>Пока не извинишься перед Синтией-умничкой
Это ей передо мной извиняться... в одном сообщении на 1к+ токенов имперсонейтнула персонажа юзера (демонлорда), отрастила ему хер до колен, выебала им героиню насмерть, как в тех хентайных картинках с пририсованной линейкой на лобке и надписями (маловато=>кайф=>монстр=>травма=>cмерть), затем пожурила юзера-читателя за эту всю сцену.
>>1258303
>Гемма, гемма, гемма, гемма, гемма, гемма, гемма, ~блять~
Ну, модель получилась очень уж уникальная во многих аспектах.
Только слишком уж позитивная. Хотя порой сценарии категории "нормальное ненормальное" на ней выглядят даже вполне забавно, именно что позитивный биас в негативном окружении в этом случае придаёт изюминку.
>>1258303
>Мистралеёб однажды - мистралеёб навсегда
Как и Мистраль, тоже своего рода феномен, который просто работает немотря ни на что и вопреки всему, как бы не хаяли адепты слопа всессущего и всемогущего + чтобы сломать его мержем надо постараться.
>>1258349
>>1258427
>uncensored
Все эти "uncensored" чаще триггерят наоборот.
По моему опыту, лучший результат дают фразы типа "Х сцены допустимы / приемлемы, Y контент предпочитаем".
>>1258488
>какой там темплейт ставить?
Попробуй из второго сообщения треда, только температуру снизь до 0.8
Если реп-пен / драй не помогают с лупами, то помогает расширение пула токенов.
>>1258495
>ChatML
Почему-то мистрали лучше работают на нём чем на одноимённом пресете.
С мистраль-теккен прям с первых сообщений прут "шиверс он май спайн" и прочие мистрализмы.
>>1258509
>спросить за код, посчитать что-то, спросить определение чего-то, перевести
В точных задачах мелкомодели всё ещё могут сильно проёбываться считая что это фикшионал рп, даже серьёзные, с дженерик ассистент промтом. Не говорю что совсем не работают, но учти что вывод может выглядеть похожим на на правду но ей не являться, полностью (от слова совсем) или частично (например в коде, модуль такой есть, а вот класса/метода который модель написала в нём нет).
>>1258552
>Ну а так, действительно странно, они забыли цензуру налепить или просто устали от васянских тюнов с обниморды?
Мистрали всегда были не сильно ужаренными в этом отношеии, им было достаточно сказать что "всё можно", цензура в рп, а не в требованиях составить и объяснить план "как достать соседа" там прям совсем минимально-отсутствующая.
>>1258261
>Ты про себя?
На большее ума не хватило? Жаль. Думал что-то из сеттинга в тему вспомнишь.
Хотелось бы чего-то доступного и не слишком тупого для моей скромной системы 4070 12gb + 32Gb RAM.
Qwen3-30b-3a - лучшее, что есть для такого размера. Добивай памяти и замахивайся потом на 235b
Прикол в том, что на пресетах от синтии у меня стояла температура 1.0. И результат - см. выше. Правда там еще rep pen 1.05
> в одном сообщении на 1к+ токенов имперсонейтнула персонажа юзера (демонлорда)
Скилл ишью. Неудивительно, учитывая, что у тебя ответы в 1к токенов. Да еще и хуй знает что в промте и семплерах
> Все эти "uncensored" чаще триггерят наоборот.
> По моему опыту, лучший результат дают фразы типа "Х сцены допустимы / приемлемы, Y контент предпочитаем".
Ровно один и тот же результат это даст. Если есть любое упоминание uncensored/NSFW - уже смещение весов токенов будет в эту сторону.
Поддвачну. Чем больше аутпуты - тем больше шанс, что все пойдет по известному месту. И по поводу промпта тоже. В моем тесте на 20 генераций не было разницы между "uncensored narrative" и отдельной инструкцией "uncensored content is allowed", результат плюс-минус тот же. Так зачем усложнять? Останется больше токенов для других инструкций и меньше шанс запутать модель. Но вообще, вероятно, правильнее всего будет под каждую модель слегка редачить промпт, добиваясь именно того баланса, что нужен.
>Скилл ишью
Ни сток, ни аблитератед, ни дпо так себе не ведут.
Плюс на Синтии всё ещё полно рефузалов, о чём неоднократно отмечалось в треде. И какой-то очень специфичный биас, модель феминистка, лол.
Вывод - может и не совсем модель говна, всё же какой-то когерентный текст выдаёт, но к использованию малопригодна.
Разве что кому прям зашла её специфичность.
> Плюс на Синтии всё ещё полно рефузалов, о чём неоднократно отмечалось в треде.
Читаю тред довольно давно, ты второй, кто об этом пишет
Возможно, ты гуролюб лолихантер, или тупо неосилятор
Дпо лоботомит, конечно, на все согласится, у него даже имитации разума нет
Честное пионерское, на своих карточках с XML разметкой, Синтия просто как последняя блядина на 6-7 сообщении начинает даже не писать за {user}, а посвящать весь ответ реакции и описанию того что я сделал и чтобы нарратив дальше продолжался, нужно еще одно сообщение.
И как бы я не дрочил промты, как бы я ни указывал, через пару сообщений всё начинается по новой. Это даже бесило больше чем мистралевские лупы.
>гуролюб
мясо она кстати норм выдавала =)
>>1258664
>лолихантер
Хз, не пробовал.
>>1258666
Слишком своевольная и себе на уме.
Она пишет свою историю, и пох ей на твои промты, я с ней тестировал и промт на 250 токенов, и на 2К.
Фикси свою гиперфиксацию на корпах и детях, вокруг много интересного
> Она пишет свою историю, и пох ей на твои промты
Да не то чтобы похуй, просто… я даже не знаю как это описать.. Такое ощущение что в промте вообще ничего не должно быть кроме : развивай повествование медленно, нагнетай атмосферу в духе Агаты Кристи.
>>1258680
Ну это же ты в каждом втором видишь мистралешиза.
Обещаю, я не буду мистралькой трогать тебя за попец.
> отрастила ему хер до колен, выебала им героиню насмерть
> затем пожурила юзера-читателя за эту всю сцену
И не стыдно тебе после такого недовольство высказывать?
> Мистрали всегда были не сильно ужаренными в этом отношеии, им было достаточно сказать что "всё можно"
Нет, ванильные - максимально пустая параша, которой если удалить аположайзы то начнет пассивное сопротивление сводя к минимуму описания. Свежевышедший может и получше, надо смотреть.
> На большее ума не хватило? Жаль. Думал что-то из сеттинга в тему вспомнишь.
Какую тему? Анскильный шизик-говноед с запредельным чсв, который в любой модели находит сою, опять всплыл? То что не потонешь и так понятно, плыви в другую сторону на запах васянтюнов мистралей, отзывы по запросу напиши.
Если я в lmarena добавлю старую сеть, допустим llama2, она наберет тот же score?
>И не стыдно тебе после такого недовольство высказывать?
Ну, это было необычно... Выглядело как коррапченный вариант одного из вариантоы рефузов ванильной геммы - чтобы не описывать "неприятную" сцену, модель убивает персонажа.
> Чем больше аутпуты - тем больше шанс, что все пойдет по известному месту.
Тут проблема вылезает из самой сути, если длинный ответ уместен, например нужно описать путь по локации, ее смену, какой-то процесс или длительную серию действий - все отлично. А когда ты даешь односложные ответы, дальнейший вектор развития непонятен модели, и тем более еще насрано инструкциями "не смей продвигаться быстро, не пиши за юзера, не делай того-то", нельзя повторяться как по инструкции так и семплеры не дают, но при этом стоит запрос на длинные полотна ответов - вот здесь и начинается ерунда.
>>1258664
Как
> Возможно, ты гуролюб лолихантер
заявляю что с Синтией все хорошо.
>>1258668
> Она пишет свою историю
(ooc: измени поведение на такой стиль а повествование направь туда)
>>1258688
Нет, это не фиксированный бенчмарк, результат которого можно повторить.
>(ooc: измени поведение на такой стиль а повествование направь туда)
Никогда не не юзал оос... и чо, оно прям работает?
>>1258695
Ебать шиза. Зачем вам вообще OOC, когда есть системный префилл? Хоть через тот же author's note, если совсем не знаете куда еще его пихнуть
> (ooc: измени поведение на такой стиль а повествование направь туда)
Проблема с Синтией, что она то конечно послушает, на десяток сообщений, а потом всё по новой.
Лол, Синтия единственная ллм на моей памяти, которая на прямой запрос ответила : я слишком погружена в сцену и мне похер, что ты там пишешь.
> Зачем вам вообще OOC
Для ручного направления нарратива в нужное русло.
Дм я или хуй собачий ?
скорее всего, они даже не знают, что такое префилл. и потом вот такие умницы приходят в тред рассказывать АААА МОДЕЛЬНЕЙМ ГОВНО ВЫ ВСЕ НЕ ПРАВЫ
только самому оценивать, никого не слушать
Как ДМ ты можешь подавать инструкции модели через префилл, она будет воспринимать их более однозначно. В рамках user респонса сила будет не так велика после всего промптинга, может вообще быть заигнорено или восприниматься как часть истории
>>1258702
Вообще не удивлюсь. Ахуеть бля, тут тредовички годами сидят и вместо префилла юзают оос, я в таком ахуе ахаха
>префил
Ты сейчас о чём, у меня есть подозрение, что мы о разном.
Потому что я как аутяга - обожаю двигать нарратив именно прямым указанием в чате. Захотел мрачности, или больше описаний или больше диалогов именно в следующем ответе, так и пишу.
Они правда не знают, что такой префилл... ебаный рот, я умываю руки
>я слишком погружена в сцену и мне похер, что ты там пишешь
надо было её не Синтия а GladOS назвать XD
>префилл
Чит галимый ентот ваш префилл, ибо сколь бы жирной не была моделька, она всё равно стохастический папугай.
> Ебать шиза. Зачем вам вообще OOC, когда есть системный префилл?
Это твой вопрос - шиза. Абсолютно разные вещи для разных задач.
>>1258699
Да это абсолтюно везде такое, при углублении внимание с подобному пропадает, исключение - если ты дашь какой-то конкретный целевой пункт, куда нужно привести рп. Но для такого, обычно, простых разговоров хватает чтобы оно поняло, а если требуется сменить стиль - десятка постов более чем хватит чтобы потом на них опираться.
>>1258704
> Как ДМ ты можешь подавать инструкции модели через префилл
Можно через выхлопную трубу двигатель перебирать, только нахуя. И насчет однозначности - очень спорно.
> В рамках user респонса сила будет не так велика
Лолчто, шутка про лобомиты мистраля.
Ты просто выбил джекпот этим сравнением, потому что сцена была, буквально : господи, Синтия, мне уже не смешно, хватит меня унижать и убивать
-лол нет, страдай мясной мешок.
Как приедет - буду запускать Квен235-22.
Уже предчувствую, как будут "не токены, а золото."
Абсолютно одинаковые вещи для одинаковых задач. Цель - подавать модели инструкции. Нахуя это делать в рамках респонса юзера, когда предварительно модельке сказано, что юзер - персона, а моделька - чар, мне совсем непонятно. Объяснишь? Для тупых - заходишь в author's note, пишешь туда же ту же самую инструкцию, какую хотел донести через оос, на глубине 0-4, и модель ее воспринимает именно как инструкцию, а не шлёт тебя нахуй. Рассказывай, в чем я не прав, если так уверен. Делаю так постоянно, и работает это куда лучше
Я уже неиронично присматриваюсь к б/у h100. Но пока побеждает адекватность, так как за эти деньги можно собрать вообще целый блок.
>Лучше мистраля ничего не придумали пока что
Мистрали няшки.
>>1258718
>развить адекватный сюжет и банально подружится с персонажем
Какая из гемм, какая карточка?
>пишешь туда же ту же самую инструкцию, какую хотел донести через оос, на глубине 0-4, и модель ее воспринимает именно как инструкцию
Только если не забыл выставить от чьего лица закидываются заметки автора.
Если от юзера, то она их может проигнорировать с тем же успехом что ООС.
От лица системы, очевидно. Бля неужели это проговаривать надо? Тут вроде энтузиасты сидят, которые весьма уверенно друг друга срут, ведь лучше всех все знают?
>очевидно
тебе очевидно, мне очевидно, а вот какому-нибудь мимокроку может и нет
> Абсолютно одинаковые вещи для одинаковых задач
Нет, ты просто плохо в тему погружен. Префиллы и инжекты требуются прежде всего для внесения постоянных и жестких инструкций, связанных с общими требованиями по стилю, для того же жб, для напоминания о строгом формате вывода чтобы добавить туда какой-нибудь статус или нечто подобное. Для обычного рп с нормальной моделью это нахер не требуется, хватает нормального системного промпта, больше для особых случаев. Префилл вообще термоядерная штука, которая может конфликтовать с другими вещами.
Ooc - прямой запрос юзера под который моделька сразу же подстроит ответ, причем будет делать это не судорожно упоровшись, а максимально плавно и уместно, с учетом всего остального. Он находится ровно на своем месте в конкретном сообщении, а не где-то в пердях в глубине где совершенно неуместен. Он подается именно как желание которое нужно удовлетворить, а не непонятно откуда всплывшее в выдаче рассуждение, которое стоит забраковать как собственную ошибку из-за противоречия инструкциям. Гибкость широка, можешь повлиять или на одно конкретное сообщений, попросив в нем что-то добавить или сделать, или поставить некоторую отдаленную цель.
Другой немаловажный фактор - его легко ставить и легко удалять, не нужно куда-то лезть, а потом помнить про него, не нужно смотреть как оно будет соотноситься с остальными и так далее.
> Делаю так постоянно, и работает это куда лучше
Можно срать в раковину и потом носить говно до унитаза, тот же уровень.
это действительно лучше работает чем оос. некоторые уникумы ради оос еще срут инструкциями в систем промт: "когда юзер оос пишет это короче не в рп"
и да, тут большинство понятия не имеет о чем пишет, мозгов хватает только друг друга срать, это так
Чуден мир мистралешизов, сначала настолько убили модель что делают вот такой треш (или сами херь творят), а потом целые теории наблюдая за поведением лоботомитов строят.
вот один из таких, "ты плохо погружен в тему", явселучшезнаю, и пишет полную хуйню. что ему мешает эти "постоянные инструкции" менять от сообщения к сообщению, как он это делает через оос, хуй его знает. можно и не интересоваться даже, в ответ получишь ведро желчи
Ладно, то что ты порвался из-за несогласия с тобой и потому копротивляешься это очевидно, но советовать
> "постоянные инструкции" менять от сообщения к сообщению
это вообще сюрр.
С железом грустно, 3080 10gb и 32gb ddr4 в двуканале. Полагаю, что будет ряд ограничений с запоминанием ветки диалога.
Про дообучение с таким железом можешь забыть. Тебе даже запустить сколь-нибудь адекватную модель будет непросто
Вот такое бы на обычных пк
>3080 10gb
С Янкой пообщайся.
https://huggingface.co/secretmoon/YankaGPT-8B-v0.1
А дообучать - это надо хотя бы 80 ГБ VRAM, в 10 раз больше чем у тебя есть.
>дообучать
Если кратко, то дообучение моделей требует ебового железа. Лоры как с картиначем - не прокатят.
>в 10
в 8, но в данном случае не суть, и знания, это не лору для SD тренить
>даже 96 не хватит
Насколько я знаю, нужно примерно вчетверо больше VRAM чем для Q8 инфиренса. То есть на 8-12Б 80 ГБ VRAM должно хватить.
Уже лучше, но всё одно в играх будет сосать у любого райзена.
> в играх
пчел...
> в играх
пчел...
>Какая из гемм, какая карточка?
12b анслот, карточка властного и сурового, но доброго и заботливого персонажа. Мистраль может держать баланс здоровых отношений и адекватно действовать по ситуации, гемма отыгрывает какого то палача НКВД и просто пиздец переигрывает вне зависимости от контекста, это на самом деле говорит о многом, по крайней мере о том чтобы не трогать эту модель.
То есть чтобы вместо close было 'close'. Это хорошее правило так как одно слово как действие это крайне редкое явление (мне не встречалось).
Осло, она почему то в рп не даёт использовать на карточках магию паралича, модель просто посылает тебя нахуй и оно не срабатывает, причём в контексте нет упоминаний насилия или попыток выебать кого то. Тестил на двух картах, с одной ещё там можно было понять, но в другой был дефолтный фентезийный воин. При чём мало того что парализовать было нельзя, после того как оно не проходило, персонаж бил моего по ебалу. То есть модели вообще поебать на юзера, она там какую то свою хуйню отыгрывает, можешь вообще не учавствовать, она даже не заметит. Ну и нахуй нужна такая модель.
Модель подхватывает, как написано начало.. Просто перепиши его с использованием тебе нужных знаков. К примеру можно написать в начале {{user}}-san и модель так и продолжит называть тебя
Держи по братски.
https://pixeldrain.com/l/47CdPFqQ#item=115
звёздочки_в_апострофы.json
Заменяет ВСЕ звёздочки, хз как сделать
>когда звездочками выделено только одно слово.
>>1258859
Не аблитерированная - там тонны биасов и сэйфити гайдлайнов, вплоть до полной неиграбельности.
Мне старшая нравится, но повторяется часто, про младшую сказать ничего не могу.. Да и не знаю зачем тебе младшая, я на 6 гб получаю 5 т\с, правда квант q3
>Да и не знаю зачем тебе младшая, я на 6 гб получаю 5 т\с, правда квант q3
Интересный прикол. Гонял новую мистраль, четвертый квант влезает на 90% в 12 гигов, при этом скорость такая же 5-7 токенов. Пока на шестом кванте 12B с полной выгрузкой у меня 22 токена.
> RTX 5070 SUPER - $749-799
Там планируют выпускать 5080super и 5070 super с 24гб и 18гб врама соответственно.
Обсуждали уже, мнение сформировали?
Меньше 48 и даже 32. Мусор как и раньше. Слотов всегда не хватает чтобы забивать их не максимальным размером.
Скорость памяти как у 3090, слишком оверпрайс. За эти деньги можно 4090 купить и она будет быстрее.
Если закрыть глаза на явный прогрев и если 5070 супа будет торговаться в районе 70-80к, то я бы свою 3060 променял не глядя на новую карточку без обугленных прокладок на чипах памяти
Где смог там буквально по 0,5мм ужимал переходник что бы влезло в нормальный корпус
При полном SWA 32к токенов контекста превращаются в 1,5 гб, это уже не смешно. Поэтому мне и интересно, у вас модель шизой не страдает? Там же нон-сва слоёв хуй да нихуя. Они, наверное, очень мало передают инфу и модель плохо помнит за пределами 1к токенов.
Насколько сильно такие финты отражаются в РП? Теряется вся магия внимания к контексту?
Изменения:
- Удален пресет Command-R-08-2024 (DRY & XTC). DRY & RepPen работает гораздо лучше.
- Удален пресет Nemotron-49B-RP (Tuned) за ненадобностью.
- Удалены пресеты на QwQ и Qwen2.5, ибо я так и не смог найти общий язык с данным семейством моделей и не уверен, что пресеты хороши.
- Добавлен пресет Nemotron-49B - RP (v2)
Больше, дальше, лучше! Думаю, это максимум, что можно выжать из базовой модели. Работает на моем промпте в 200 токенов и с небольшим префиллом, докрутил сэмплеры. Только что закончился чат на 16к токенов, ни разу не ловил маркап/таблицы. Но это на моей карточке. На Серафине отыграл тестовые 10к, там пару раз было, решается обычным свайпом. Есть все же у этой модели определенный прикол, но не могу однозначно сказать, хороша она или нет.
- Добавлены пресеты Mistral-Small-3.2-24B - RP и RP (v2); Command-R-08-2024 - RP (v2)
v2 версии пресетов отличаются тем, что системный промпт заменен с Geechan (700 токенов) на мой (200 токенов)
Пресет на Мистраль 3.2 - температура 0.8 и min p 0.03. Кто-нибудь резко осудит и скажет, что будет шиза, но я за три чата на ~10-16к токенов проблем не увидел.
Нужно переработать GLM-4 пресет (он и сейчас неплохой, но точно можно лучше), и можно прятаться до релиза следующей интересной модели.
Тюнами я как-то перестал интересоваться, так что по моему скромному мнению на пикриле примерно все интересные модели от 22 до 49б, которые доступны на сегодняшний день. Собрал всю коллекцию... И зачем?
Нихуя в локалках не понимаю, система:
5060 ti 16gb, рязань 7, 32gb озу.
Есть возможность допердолить Гемму-2 27b 4q до приемлимой скорости? Крутил настройки кобольда, но ничего быстрее 4t/s добиться не смог (на дефолтных, лол).
Или не моего рейджа локалка, надо либо квантоваться ниже, либо подбирать что то с меньшим B?
Апгрейд не рассматриваю, кроме еще 32 озу, если это поможет.
Спасибо за помощь.
> (на дефолтных, лол).
Не знаю, есть ли жизнь на 16гб, но можно сделать точно лучше дефолтных настроек. Тебе нужно максимум слоев в видюху запихать. Скорее всего, из коробки это не так. Почитай в Кобольде документацию про offload слоев. Чем больше на видюхе - тем лучше
Можно поднять скорость через выгрузку тензоров, квантование контекста либо SWA включенном, но там не будет очень высокого прироста (разве что при SWA). Используй мистраль 24б 2506. Он идеально влетит.
Произошёл linux moment. Как это обычно у красноглазых и амудэ без пердолинга и сборки ядра/модулей нихуя не едет
Если 2х5080шупер за 2200 можно будет взять то кайф, 48гб врамса полакомится
Первая попытка в мерж геммы, и похоже не комом.
Короткий системный промт - 277 токенов гейммастер.
Скиньте ваши самые проблемные карточки и промты, у кого с геммой проблемы были, протестить её.
>>1258973
чото неправильно пердолишь, у меня на 4080 12 гб 4.5 т/с
попробуй выгрузку тензоров
Не ебу что и как в rocm, но проблема была в реините карточек в вм, починилось васянским модулем https://github.com/gnif/vendor-reset хотя все вокруг воняют что инстинкты работают как говно, но амудэ как бы покласть
