Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №160 /llama/
Аноним
22/08/25 Птн 15:57:35
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1326416 (OP)
>>1323697 (OP)
Твой персонаж не сможет сказать нет, если он не умеет разговаривать .
А ещё кстати, хотя некоторые модели имеют сильный байас в сторону юзера, его можно почти полностью элиминировать в рп когда в рп НЕТ юзера - постов содержащих "я, мне, мой, моё (итд)" вне диалогов, а есть просто ряд персонажей.
И конечно при условии что модели не запрещается писать за кого-то из них.
> Ты глухонемая хорни кошкодевочка которая может только мычать
Мне еще нравится наитупейший хинт :
Если прописать в карточке, что персонаж знает все языки мира, то хоть на китайский переходи, не будет этого : и тут персонаж услышал незнакомые слова.
> А ещё кстати, хотя некоторые модели имеют сильный байас в сторону юзера, его можно почти полностью элиминировать в рп когда в рп НЕТ юзера - постов содержащих "я, мне, мой, моё (итд)" вне диалогов, а есть просто ряд персонажей.
К сожалению, это не так. Всегда пишу от третьего лица, не помогает. Возможно, проблема смягчается, но точно не решается "почти полностью".
Видимо зависит от самих промтов и контекста.
А, ну возможно ещё тема в том что я пишу завершёнными сегментами.
Я на этот случай держу армированный скотч.
>>1329164
Меняй плату на плату с бифукацией. Уже есть варианты на AM5 с 4 подключениями к процу (и ещё парочка чипсетных).
Да я про корпус. Бифуркация и так есть, я же вставил три карточки.
> я же вставил три карточки.
Это не говорит что есть бифуркация. На матери в основной пеке 4 псины и 3 нвме
У меня х8/4/4 + х4, но ссюка места нет... Разве что сверху на корпус класть карточку, но это всрато.
>Уже есть варианты на AM5
Списочек известных материнок АМ5 для четырех видимокарт озвучьте пжалста.
Вот тут ищи, смотри с бифукацией и слотами M2, потом гугли раскладку, в общем, дальше сам
https://docs.google.com/spreadsheets/d/1NQHkDEcgDPm34Mns3C93K6SJoBnua-x9O-y_6hv8sPs/edit?gid=2064683589#gid=2064683589
Как пример Asus ProArt X870E-Creator WiFi, зелёными цифрами обозначил процессорные слоты. Там ещё парочка чипсетных, но это уже слишком далеко.
Такая же табличка для АМ4 говорит, что на моей мамке бифуркации нет. Ебало мое представь теперь.
>Дефолтное поведение интула на двух плашках, почитай про новшества DDR5.
Ну вот у меня 2 плашки, пишет dual channel. Что еще спизданешь про новшества DDR5, долбоеб?
Реквести изменения. Я не писал, что табличка истинна в последней инстанции. Но для первичного поиска это лучше, чем искать обзоры для каждой платы по отдельности.
>>1329209
Почитай про двуранги и одноранги и перестань позориться.
И что за парад калек на 5600? Вы блядь ебанутые, или купили память на её выходе?
У тебя версия новее. Тот чел использует старую версию, не факт, что она корректно обрабатывает особенности DDR5.
А испек сырники. Хорошие сырники на твороге. Пиздатые.
Кушаю сижу. Наверное какой ни будь анон сейчас еще чай пьет с французскими булочками.
Намек понятен ?
Булок не, зато чая бадюль на 8 литров. Алсо почти поставил кубы на виртуалку (остался 1 шаг из инструкции), держу в курсе
А какой у тебя промпт? Что ты подразумеваешь под завершенными сегментами?
Интересно, в какой модели тебе удалось победить байас. Потому что в моем понимании это невозможно. Так же фантастично, как победить слоп, например.
Одна планка заводится нормально.
Вторая планка не хочет заводиться ни соло, ни в паре!
Я 45к отдал за то, чтобы у меня одна планка не пахала или чо але.
ДНС.
Вези новый комплект, чтобы завтра утром был!
>А какой у тебя промпт?
сторителлер переписанный под соавтора
>>1329273
>Что ты подразумеваешь под завершенными сегментами?
Ну, то есть модели надо продолжить историю, а не предложение / отвечать на действия юзверя.
Получается надо было 128 рам брать?
У меня так же - инструкция продолжать нарратив, а не реагировать на действия юзера (персоны). Проблема в том, что байас не заключается в особенном отношении к юзеру. Удалив юзера из уравнения, байас модели никак не меняется. Тестировал и на гм промптах, и CYOA (текстовых приключениях), и рп с формулировкой выше. И даже в режиме продолжения истории, без дополнительных инструкций и сущностей. Модели даже в таком случае буду гнуть свою линию. Потому что байас - результат тех данных и особенностей, что вкладывались в ллмку на этапе тренировки.
Как-то из любопытства пытался начало одного и того же сценария скормить разным ллмкам с единственной инструкцией - продолжить историю, учитывая описание карточки. Персонаж - древний вампир, что тысячелетиями кушал людей. Гемма все свела к тому, что персонаж все это время испытывал душевные терзания на этот счёт и не смог скушать очередного бедолагу; Мистраль показывал что персонаж пытался сопротивляться, но не смог, и голод затмил ему разум; Коммандер во всех подробностях описал сцену пожирания крестьянина и безумную улыбку персонажа; Квены/Квк сравнили охотников и ополчение, что охотились на персонажа. Конечно, свайпил много раз, но суть все та же. Это интересно, советую попробовать.
Молодец, но твой высер к этому треду не имеет отношения, так что без намеков сходи-ка нахуй
Попробуй значительно больше файл подкачки поставить если ты на винде, модель распердится после запуска и нормально будет. MMAP не используй. Mlock попробуй попереключать, может запустится.
>Дефолтное поведение интула на двух плашках
Вот только у меня 4 плашки. Я же писал.
>>1329226
>>1329221
Зачем это делать, зачем, какой смысл, господа амдблядки? Он пишет quad channel потому что у меня 4 плашки, у анона две - у него dual channel. Все просто как простая гайка.
> миксовать ддр5 с файлом подкачки
Пиздец. Нахуй я обновлялся тогда
--no-mmap — чтобы НЕ грузилась в оперативу та часть, которая в видео.
УБИРАЕШЬ --mlock, чтобы не держалась вся модель в оперативе железно.
Для винды так.
А у меня одна не завелась плашка, ебать теперь ждать этого днса неделю, пока он на замену привезет. =( Вот тебе и 128, хули.
Не одно, так другое.
Поменьше контекста поставь. И проверь - правильно ли слои раскидал. Если ты все на рам скинул - конечно он не влезет.
А для чего вообще mmap/mlock сделано? Читал, но нихуя не понял в чем плюсы.
Когда оперативе бьется в потолок, винда может выгрузить часть оперативы. Чтобы не выгружалась модель сделана mlock.
no-mmap в винде и линухе работает по-разному, кек, и очень ситуативно. =)
Но в общем, просто поиграйся с параметрами, должно разбиться: часть модели в видяху, остальная часть в оперативу.
Все, что я вижу, когда включаю - это засирание лишней оперативки.
mlock выглядит интересно, я так понимаю это чтоб предотвратить проеб загруженной модели
mmap все еще непонятен
Комплект из двух штук брал или две по одной. Если не комплект-то это норма.
>Как эти дебилы вообще додумались притащить эту хуйню из бдсм
В БДСМ, даже бархатном, никто не занимается постоянным контролем и вопросами. Практика 3х да, это про предварительную договоренность и сигналы. Если ты во время развлекухи будешь отвлекаться на постоянные вопросы, то ты сломаешь атмосферу.
Не, ты должен следить за партнером, базару нет, но важно не разрушать интимную атмосферу саб/дом.
А по самому вопросу - ну напиши ты, что согласие партнера не требуется, или все по умолчанию согласны.
>гемму в третьем кванте
А не лучше ли будет попробовать A3B квен с выгрузкой неактивных слоев на цпу? Я конечно не знаю, что там на третьем кванте геммы, но звучит не очень многообещающе.
Квен же вроде может в русек? Или я ебнулся...
>не лучше ли будет попробовать A3B квен
Честно скажу, пропустил всю движуху с выходом нового квена. Да и других моделей тоже. Даже не знаю что от него ждать. Помню только, что старый квен с русским вообще дружил очень плохо, да и на инглише иероглифы протекали время от времени.
>звучит не очень многообещающе
Вот сейчас как раз и проверять буду. Если будет совсем лоботомит, возьму четвертый квант.
>>1329410
>Нейронка это же по сути математическая зависимость символов.
Ну так цензура теми же зависимостями и закладывается. Не хочешь чтобы модель генерировала вредоносный или чувствительный контент - пихаешь в датасеты кучи рефьюзов в разных вариациях для разных ситуаций. Это если совсем просто объяснять.
>пихаешь в датасеты кучи рефьюзов в разных вариациях для разных ситуаций
рефузы на уровне претрейна ща вроде только у гопоты и ещё какого-то говна, остальные алайнмент закладывают уже на этапе инстракта
>>1329397
>оделитесь сакральным знанием, какая модель лучше всего может в великий и могучий
Мистраль, Гемма, Мое-квен, Руадапт-квен, Янка.
Да, так и есть. Однажды джейлбрейком пробился до этого индуса, посидели с ним, хорошо поговорили..
>Помню только, что старый квен с русским вообще дружил очень плохо, да и на инглише иероглифы протекали время от времени.
Обновленный не протекает, и вообще неплох... но обожает писать стилем китайских новелл. С кучей образов, иносказаний, и поэзии. При этом, для РП слабоват, IMHO - модель явно пытается сбиваться с РП на полноценный рассказ (с рассказчиком и письмом за всех сразу). Чувствуется - не на РП натскивали. Вот просто писать рассказ с ним вместе - это пожалуйста.
Если я скажу что бегемот был не плох, ты же хуй без логов поверишь.
Верно, мне будет сложно поверить что мистралеподелие было хорошо для РП. И параметров почти в 2 раза меньше чем у квена.
Но тут вкусовщина может быть конечно. Кому-то хочется чтобы модель прыгала на него в первом же сообщении с пустым контекстом.
Никакая лол. И квен тоже говно.
Все современные ЛЛМ, даже пафосные корпы - это исключительно текстовые приключения с кучей но. Но никак не РП.
Когда научатся не проебывать даже базовые расчеты урона, тогда и поговорим.
> Кому-то хочется чтобы модель прыгала на него в первом же сообщении с пустым контекстом.
Сразу видно домоседа. Бабы они такие. Рандомная блядина норовит скакнуть на хуец - это правда жизни.
Кажется, ты не понимаешь что такое LLM и зачем они нужны. Урон, хп и прочее - можно легко не проебывать, просто для этого нужно соотв. RAG и/или агентов накрутить, а не вешать это на LLM.
Урон, как матан лишь пример. Я могу накатать целую пасту, почему РП в текущем виде говно. Только боюсь вам это будет неинтересно, да и смысла в этом нет, так как вне ерп вы все прекрасно и сами видите.
Где ггуфы, блядь.
Ты лучше бы пошел и написал хороший промпт с системой дайс-роллов. Поди даже не знаешь, какие модели могут честно выдавать рандомные цифры, ролеплейщик тьфу.
Еще раз, расчеты это просто пример. Дайсы может кидать даже мику в первом кванте.
О, я подобрал, что хочу сказать :
Нейронка делает безжизненную декорацию пустого мира.
> ролеплейщик тьфу.
Можешь не останавливаться, а сразу переходить на прямые оскорбления. Я не хочу ни в чем тебя переубеждать, если тебе норм, ну значит твои потребности нейронки закрывают.
Я тебе выше написал, что LLM принципиально не закрывают и никогда не закроют многие потребности в РП. И не только в РП. И не должны.
Учись прикручивать к ним разные доп. сервисы, практически всё можно реализовать уже сейчас. Для неосиляторов языков программирования есть nocode платформы, на которых можно всё накрутить. Например n8n.
LДа что уж тут, даже в таверне уже можно многое накрутить.
мимошел
Не обращай внимания. Мистраль очень хорошая модель, легко тюнится, многие с неё начинали. Просто некоторые при переходе на другие модели, которые больше, не могут не завалить пиздак и не написать что нибудь обидное про мистральку.
Ведь они открыли неведомую истину, оказывается модели в которых на несколько миллиардов параметров больше - умнее.
Да не, неплохая модель. Просто тут сидят бояре и они уже знают плюс минус его поведение и он кажется слишком податливым и читаемым. Ну это я со своей колокольни. Модели у них неплохие, но надо добиваться разнообразия за счет промптов. Я думаю как вариант можно использовать рандомизацию за счёт бросков кубика и длинных карточек. Также с контекстом она плохо работает, относительно квена. qwq snowdrop мне кажется для рп все также наиболее годным.
>Аноны можете пояснить почему в треде так срут мистраль?
Не обращай внимания. У них хронический понос - срут на все. По другому не могут.
Выше я обосрал тюны мистраля, а не мистраль сам по себе. Мистраль-лардж охуенен, следующий после квена 235. Но он уже староват, достает шаблонными языковыми конструкциями, циклами, и так далее. Требует сильно больше усилий для такого же результата.
Еще, он существовал как бы одновременно с gpt-4, и был уже тогда сильно хуже. Тут, скорее, есть какие-то неоправданные ожидания.
Мистраль брали как базу для тюнов очень многие. И делали хуевые тюны. Любой тюн делает модель тупее в целом, а я лично люблю когда модель в целом более интеллектуальна, даже если хуже заточена под что-то конкретное.
Всего понемногу. Отчасти потому, что многие здесь гоняют куда более серьезные модели, что в десятки раз больше 24b Мистраля. Они, естественно, дают опыт получше. Отчасти потому, что Мистраль слишком, так сказать, "народный" - альтернатив нет в пределах 12b (Гемма 12b, как я понял, не сыскала популярности), да и 24b тоже. Есть немало людей, что могут запустить 24b Мистраль, но не Гемму 27b в приличном кванте и скорости. Такая "народность" имеет обратную сторону медали - приелось. Многие видят мистрализмы (каждой модели без исключений присущи определенные паттерны) и попросту устали от его слога. В-третьих, Мистраль проще всего тюнить, потому большинство рп/кум тюнов сделаны именно на нем, и они крайне сомнительного качества. Мозгов меньше, чем у оригинальной модели, как минимум. Как максимум - персонажи ведут себя неестественно, инструкций модель хуже слушается. Короче, Мистраль... он как Кобольд. Кто понял - тот понял. Простите.
Неужели всех кто хоть немного разбирался в этом деле прикарманили копораты? Или тренировать современные модели просто не имеет смысла из-за того что они все ужаренные и только тупеют, когда пытаешься им немного параметры подкрутить? Только не пиздите, что теперь мы живем в обществе, где локалки из коробки могут в эротические ролевые и прочее. Раньше тюнили даже жирных 70-120B уебанов, которые с этой задачей итак неплохо справлялись.
> Только не пиздите, что теперь мы живем в обществе, где локалки из коробки могут в эротические ролевые и прочее.
Но ведь так и есть. Mistral Small 3.2, GLM, Квены практически без цензуры из коробки, за исключением самой жести. Какие еще доказательства нужны? Больше еще ничего и не выходило из того, что может заинтересовать ролеплейщиков. Справедливости ради, Мистраль 3.2 тюнят. В узких кругах тюнеров кто-то считает, что модель почти на уровне Лламы 70б, и можно сделать хорошо. Работают над этим прямо сейчас. GLM 32 не разгадали как тюнить, MoE модели тюнить сверхдорого и почти никто не знает как.
Также, возможно, попросту время прошло: все наигрались и замерджили-перемерджили все, что можно. Наложилось еще то, что фабрика слопа ReadyArt прикрылась: их фронтмен ушел со сцены из-за проблем со здоровьем. Но Драммер, например, продолжает работу.
> что теслы пошли нахуй
Тут без вариантов
>>1328801 →
> почему оно автоматически не может найти лучший вариант
Запилить оценку потребления на контекст и буферы, и можно допилить скрипт чтобы иметь полное указание что пойдет куда, заодно приоритетно набивая в первую очередь самые мощные видюхи.
>>1328813 →
Оно если ничего не трогать на интеле в авто на 4800-5200 заводится на минимальном напряжении. Что-то не так.
>>1329151
> мычать
Мурчать!
>практически без цензуры из коробки
Отсутствие цензуры не означает, что модель может хорошо в ролплей. Взять тот же малый мистраль - цензуры там нет, но пишет сухо и периодически пытается слиться с темы. Если не учитывать общее понимание контекста, то по сочности и красочности она проиграет какой-нибудь древнючей L3-8B-Stheno, которая да, тупая, но со своей прямой задачей описывать порнуху справляется лучше. Это то что я имел ввиду.
>возможно, попросту время прошло: все наигрались и замерджили-перемерджили все, что можно
Ну не знаю. Тюнинг это будто как раз та тема, которая всегда будет оставаться актуальной. Странно как раз то, что старички ветераны ушли, а их места никто не занял. Хотя инфы и гайдов стало больше по сравнению с теми временами, когда все тюнили вслепую.
>Но Драммер, например, продолжает работу.
Бобры вообще народ удивительный. За время своих экспериментов наверное под сотни две разных моделей выкатили, из которых удачной было штуки две максимум, не считая итерации цидонии, которые то тупели, то возвращались обратно в норму от версии к версии.
Большой жлм составляет конкуренцию, квенкодер может разыграть лучше (или сфейлить), возможно новый дипсик.
>>1329476
Да норм модель, популярная, мемная. Вот когда носились с васяншизомерджами на основе еще прошлой версии и утверждали что они - манна небесная, вот это был пиздец. Забавно насколько быстро с них спрыгнули на ванильный новый и эйр.
>>1329479
> легко тюнится
Терпит надругательства дольше сохраняя работоспособность, на эту тему было несколько гипотез в том числе с распределениями значений параметров. Хороших тюнов его едва ли существуют.
>>1329554
> что тюнов в последнее время вообще практически никаких не выходит
Их в последний год оче мало. Из более менее настоящих синтия только вспоминается, может еще пара найдется. Остальное - васяновские запекания лор или всратомерджи, с которыми очень тяжело чем-то заниматься если ты не всеядный поех.
> тренировать современные модели просто не имеет смысла из-за того что они все ужаренные и только тупеют
Не совсем. Сейчас модели, которые выпускаются, имеют оче большую "плотность упаковки" и уже шлифованы всяким пост-тренингом. Орочий подход с простой прожаркой слоповым датасетом с поломанной разметкой на них уже не работает, нужен объем, разнообразие, аугментация и само по себе качество датасета. Он и раньше то неоче работал, а тут просто сразу себя являет.
> локалки из коробки могут в эротические ролевые и прочее
Да, именно так и выходит.
> Отсутствие цензуры не означает, что модель может хорошо в ролплей.
Согласен. Но считаю, что все упомянутые модели очень неплохо могут в ролеплей. К тому же, ты сам здесь обсуждаешь количество тюнов, и большинство тюнов именно что "убирают цензуру" - так и указано у них в карточке. А потом один тюн, что это делает, мерджат с другим, с третьим, и пошло-поехало. Адекватных тюнов, которые именно что улучшали ролеплей способности модели, всегда было мало. В основном одни ДАРК ГЕММА БЛЭК МАРКЕТ ЕДИШЕН х ГЕММА АНСЕНСОРЕД миксы, которые будут замерджены с другими мерджами.
> Ну не знаю. Тюнинг это будто как раз та тема, которая всегда будет оставаться актуальной.
Уже как полгода не использую тюны, потому что базовые инструкты лучше следуют инструкциям, неплохо пишут, и у них отсутствует цензура в моих сценариях. Не понимаю, зачем использовать тюны. Если их незачем использовать - незачем и делать. Это не дрова в топку "ряяя васянотюны фу", а такое вот у меня мнение.
> За время своих экспериментов наверное под сотни две разных моделей выкатили, из которых удачной было штуки две максимум
Соглашусь. И считаю, что все, что дальше Кидонии 1.3 и первой 24б, только хуже.
1. Лажу по морде и дискорде таверны - тюны выходят. Но без особого шума.
2. Для MN 24B один из самых известных тюнеров, львиная доля которых сюда и протекала, взял в прошлом месяце самоотвод. Потом немного вернулся, но на прошлой неделе объявил, что таки завязал и на долго. А это от него вот эти все Omega-directive, Broken-Tutu и прочее скандально известное. Другие столько не релизили. Вообще - релизеров тюнов которые столько как он релизят - банально нету. Это он один видимость такой движухи создавал. :) Обычный релизер, хорошо, если тюн в месяц выпустит. А этот просто как из пулемета строчил.
3. Для 12B - там считают, что из него уже выжали практически все, остановившись на MN-12B-Mag-Mell. Теперь, в основном, пробуют только что-то специфичное. Вот, недавно Musa вышла - спецом под адвентюры, от latitude (Ai Dungeon которые).
4. Под больше чем 24B - нужен или солидный риг, или свободные баксы в кармане на аренду GPU. И уже не центы. Так что много их в ближайшее время не ждите. Раньше - эти 70-120B пищали на 4-8K контекста, и это было еще туда-сюда. Сейчас адекватно затюнить модель с хотя бы 32K - это уже совсем другая заявочка, как по умению, так и по затратам. Ну несколько сказывается, что новые модели действительно "из коробки" несколько поумнели. Значит наверняка кому-то из тех, кто в принципе мог бы - тоже лень возится стало. Т.к. во первых соотношение затрат к результату, а во вторых - уже не первый раз, и не так интересно.
>мистралеподелие
>параметров почти в 2 раза меньше
Вся суть квеношизиков. Сначала геммашизики десятки тредов ПОТУЖНО убеждали, что на ванильной модели кум льется рекой, теперь квеношизы с такими же потугами будут убеждать, что квен это серебряная пуля для хай-энд локал РП, игнорируя все проблемы и даже искажая технические вещи.
Никто не писал никогда про серебряную пулю для хэй-энд локал РП, ни про Гемму, ни про Квен. Ты ее выдумал.
>Орочий подход с простой прожаркой слоповым датасетом с поломанной разметкой на них уже не работает
Да судя по тому, что продолжает выходить, всё таки еще работает. По крайней мере на мистралях, ибо их так сильно не шлифуют. Слава Мистралю, единственной евроконторе, которую язык не повернется назвать пидорасами.
>>1329594
>большинство тюнов именно что "убирают цензуру" - так и указано у них в карточке.
Вроде никто так никогда и не указывал. На старых моделях проблем с цензурой не было, были проблемы именно с самим форматом ролплея. Докруты выходили чтобы зареинфорсить определенные паттерны в ответах. Попытки тупо снять цензуру и скрутить байас в обратную сторону вроде как пошли с выходом первых фи и геммы.
>>1329597
>Вот, недавно Musa вышла - спецом под адвентюры, от latitude
Муса вроде под дефолт ролплей запилили, под текстовые адвенчуры у них другая модель выходила. В любом случае, надо тоже глянуть.
>Сначала геммашизики десятки тредов ПОТУЖНО убеждали, что на ванильной модели кум льется рекой
Так и есть, я до сих пор утверждаю. Всё зависит от промпта, Гемма отлично слушается, ризонинг тоже раскочегаривается промптом. Можете звать геммашизиком. Даже страшно представить насколько умная модель была бы еслиб её так не задрочили сейфти биасом и соей.
>Seed-OSS-36B-Instruct
>Где ггуфы, блядь.
https://huggingface.co/yarikdevcom/Seed-OSS-36B-Instruct-GGUF
От Васяна какого-то, но если очень хочется поскорее, то можешь скачать, потом расскажешь.
Это лардж, он в особой лиге. Так сказать, он может то, для чего с квеном нужно будет попотеть или не получится, но с выстраиванием такого подробного и длинного рп как умеет квен он не справляется.
>>1329594
> большинство тюнов именно что "убирают цензуру"
В большей части просто задрочили типичные паттерны на ерп и всякое. В итоге оно или очень сильно к ним склоняется, или вполне может зааположийзить на чем-то безобидном. Васяны даже не пытаются привнести конкретное поведение на контрастном обучении, а просто вжаривают треш, дпо для них - модная приставка в названии и датасет, который примешивается и шафлится.
Иногда еще некоторые довольно интересные и специфичные, с потенциалом, но оче сырые.
> В основном одни ДАРК ГЕММА БЛЭК МАРКЕТ ЕДИШЕН
Содомит, но все так.
>>1329600
Выглядит как демейдж контроль от воинствующего мистралевода.
>>1329625
> судя по тому, что продолжает выходить
Да чето там как в "иа панорама" только по тематике васянтюнов ллм, дно за дном, кринж за кринжом. Вообще не понимаю кто ца этого добра, вероятно неофиты, странные люди и неосиляторы, которым нужна модель со стабильным аутпутом что бы ты не делал, а то что оно стабильно-хуевое не смущает.
>не понимаю кто ца этого добра
Те кто тусуется на реддите, очевидно. Там каждый такой васянотюн со всех сторон облизывают, прежде чем забыть его спустя минут двадцать. Та самая картинка про "hi! mmmh user! cums instantly" их саб идеально описывает
Потому что надо прописывать такую мотивацию которую поймет ллмка. Ллмке сложно придумывать мотивации преступлениям. Потому что у нее преступления закупорены баясом, они просто болтаются в воздухе не с чем не связанные. Вот она и топчется на месте. Попробуй геммасутру, там у меня джек рипер такие кровавые преступления совершал что я удивился.
Давайте закроем вопрос на том, что на самом деле похуй.
"Кококо контроллер памяти на амуде говно!!111!!", "Кококо контроллер памяти на интуле запустит планки с частотой 8000!11!!1!"
Да похуй совершенно, хоть DDR5 5600, хоть DDR5 8000 результат будет примерно один - пара-тройка токенов в секунду.
Вот для примера восьмиканальный контроллер оперативы эпика, который выдаёт скорости ультранадроченной DDR5 на интеле и с ним буквально эта самая пара токенов в секунду на Kimi-K2 и DeepSeek V 3.1
Нет смысла дрочить эти копейки перфоманса, быстро будет только в видеопамяти.
Комплект из двух штук. SN подряд идут.
>>1329476
Ни разу не видел за последний месяц, чтобы срали мистраль. Может я просто хуйню скипаю.
0. Мистраль 7б-0.1 была хороша два года назад. =)
1. Мистраль Немо правда хороша для своего возраста и размера, и тюны хороши.
2. Мистраль Лардж правда умна и чувствуется глубоко, но медленна уже и не нужна.
3. Мистраль-Смолл-3.2 версия тоже хороша.
А вот остальные мистрали — говно, конечно. У них время от времени получается.
Но смоллка сейчас местами актуальна (хотя кто-то скажет, что гемма лучше).
>>1329728
> Давайте закроем вопрос на том, что на самом деле похуй.
Давайте скажем честно: АМДщник из треда заявил о 2 токенах на квене, Интульщик из треда заявил о 10 токенах на квене, при одинаковой памяти-из-коробки у обоих.
Хуй с ним, что АМДшник делает что-то не так.
Но у интульщика все еще на ддр5 вдвое больше, чем на ддр4, а от амдшников такой инфы не было.
Есть мнение, что контроллер памяти на амуде сам кококо, а не комментаторы.
С удовольствием посмотрю обратное, когда владелец хотя бы 9600 камня покажет хотя бы 8 токенов на квене (q3_K_XL как водится).
А эпик и эпик, поздравляю, что у тебя 140, хорошо же.
Запусти квен и скажи нам сколько у тебя.
>Интульщик из треда заявил о 10 токенах на квен
Я тоже могу заявить хоть о десяти, хоть о двадцати токенах на квене и хуле?
> qwen235
> картинка
Что?
>>1329728
12 каналов ддр5 с тобою не согласны. Лучше бы погонял разные варианты параметров запуска и показал какую скорость способен выдавать рим с 1 или более видюхами в современной парадигме, если офк это крин твой а не с интернета спиздил.
Алсо 124нс задержки и такой медленный л3 это прямо борщ.
Ну так заяви, чо. =D
Будем честны, пруфов тут никто предоставить не может, даже скрины можно нарисовать.
Конечно, лучше со скринами, чем без.
Но меня смущает сам факт, что амдшники даже не заикались о такой скорости. Хотя «тоже могли заявить», ага.
Короче, как в фильме «меня терзают смутные сомнения…»
> Что?
Ну, на их сайте это есть, подозреваю там трудится старенький 2.5вл какой-нибудь 7б к тому же. х)
>Но меня смущает сам факт, что амдшники даже не заикались о такой скорости
Чел, найти аутистов кто крутит LLM на проце это надо постараться. Тут банально нет никакой выборки чтобы делать хоть какие-то выводы.
В районе 400-500к, 3090 сверху в пределах погрешности. Интел чуть дешевле и чуть медленнее.
Конфиг - современные платформы сп5 и 4667
Ясно, ну это неподъёмно.
>>1329816
>…ну или 100к, но получится не то чтобы быстро, чисто объем. =)
Это как? Например? С 0.1 т/с?
Я свой эпик с 512 гигабайтами DDR4 собрал меньше чем за сотню.
Можешь взять вот этот хуанан, он поддерживает эпики 2\3 поколения. Цена плавает в зависимости от курса, минимально видел за 25к, но на данный момент 30к
www.wildberries.ru/catalog/393780683/detail.aspx?size=570240940
За 12к самый дешевый из полноценных восьмиканальных эпиков:
www.wildberries.ru/catalog/334830311/detail.aspx?size=500403183
И на остальные деньги закупить восемь модулей DDR4 по 64 гигабайта.
В целом, в сотню уложишься. Но пяти токенов в секунду не жди, дипсик у меня на таком конфиге выдаёт от трёх токенов, чем больше контекст тем медленнее. В целом юзабельно и это единственный способ запускать очень жирные сетки локально.
90 страниц книги, картинок почти нет.
Можно, разумеется, так и переводить, вручную все править, но я не хочу.
>Казалось бы, несложная
Ну мало ли, что там дилетанту показалось...
>Очистил сканы, привел в порядок, провел ocr
Верю, а примеры будут?
Дальше какое-то нытьё престарелое. Какой у тебя лвл, анон? 60+?
https://huggingface.co/CohereLabs/command-a-reasoning-08-2025
Мех... Лучше бы тоже моешку сделали или новую 32-50б версию
>(Гемма 12b, как я понял, не сыскала популярности)
Она непригодна для рп, а юзать как ассистента 12b модель это такое себе, при том что даже гопота может нести полную хуйню с умным видом, а там серверная с мою квартиру.
>Неужели всех кто хоть немного разбирался в этом деле прикарманили копораты?
Лол нахуя им васяны, которые вжаривают в модели порнуху?
>>1329569
>на интеле
Радевонь во встройках тебя не смущает?
>>1329797
>Но меня смущает сам факт, что амдшники даже не заикались о такой скорости.
Амудешники богатые бояре, у них у каждого по ригу есть.
>>1329833
Квен 235...
>>1329877
>You need to agree to share your contact
Как называется этот рак?
Что квен?
Квен туповат во 2 кванте, пишет будто на 30% от силы
О, аАможешьпоподробнее? Конкретные модели ОЗУ, проца, БП. Смотрю на озоне всё хуанан дороже почему-то, брать только на вб? А али? Больше 3 т/с не выжать? Какой дипсик юзал? DeepSeek-R1-Q4_K_M.gguf?
>Конкретные модели ОЗУ
Вообще значения не имееет, берёшь любые регистровые 2900\3200 и забиваешь хер. Можешь даже 2666 взять если будут сильно дешевле, потому что глобальной разницы ты не увидишь.
>проца
У меня именно тот, который я кинул выше, он самый недорогой из тех которые с полноценным восьмиканалом. Это второе поколение эпиков, третье на том хуанане тоже работает, но они пока сильно дороже.
>БП
У меня майнерский двухкиловаттник купленый за копейки, но вообще если ты туда какую-то жрущую видеокарту втыкать не планируешь, то хватит любого бп с честными 500W.
>Смотрю на озоне всё хуанан дороже почему-то, брать только на вб?
Я брал на WB, но тут уж где дешевле найдёшь, там и бери.
>Больше 3 т/с не выжать?
Теоретически с на линуксе с k-tranformers можно выжать сильно больше, но для этого понадобится видеокарта нвидии с 16 гигабайтами видеопамяти. Чисто на проце больше ты вряд ли получишь.
>Какой дипсик юзал?
DeepSeek-V3-0324 Q5_K_M, сейчас пробую их свежий DeepSeek-V3.1-Base-Q4_K_M
Меня трясёт блять хотел риг собрать а теперь хз какой толк от 96 врам если всё щас выходит в мое
Ну же, кумеры?!
>какой плотный размер у 106б и 235б мое?
Можете тебе еще число экспертов на плотном немотроне и командире назвать?
Ну... для генерации порно щаблонов можно и perplexity юзать, chatgpt нужно разлчивать чтобы юзать, а perplexity и так работает.
Тоесть персонажи часто говорят один и те-же слова: шлюха, шлюха, шлюха и подобное что жутко утомляет. Это можно решить прописав персонажу быть охуительный сарказм - тогда он вместе с матами использует двойной смысл обычных слов, но хотель бы всё-таки маты. Аааа? АААааааа?
Использовать модель умнее. Мелкомодели никакие лорбуки не спасут.
джемма считает что это изнасилование и издевательство над животными.
я долго пытался ей доказать что это не изнасилование, и она вроде чуть начинала соглашаться но опять срывалась в истерику и молила немедленно звонить во все инстанции чтобы ситуацию немедленно взяли под контроль. Я написал что кто-то вызвал полицию и большого чорного кота застрелили копы. Джемма ликовала, правосудие наконец-то свершилось.
Я не мог в это поверить, откатил разговор в самое начало где она начала истерить и написал сразу что пришли копы и застрелили кота. Но в этот раз она проигнорировала расстрел, и начала рассказывать как копы все оцепили, собрали доказательства и опросили соседей. Кошечку отвезли в клинику для животных и произвели полный медосмотр. И вся улица собралась чтобы оказать ей моральную поддержку. И пока велось следствие кот находился в изоляторе.
джемме ныстолько выкрутили баясы что у нее наблюдается вторая стадия шизофрении.
Я использую вот эту
https://huggingface.co/bartowski/NemoMix-Unleashed-12B-GGUF/tree/main
Вообще я перепробовал десятки моделей перед этим. А любом случае задача не написать конретно что-то, а ролеплеить так что-бы модель угадывала то что от неё требуют.
Тоесть у модели есть персонажи, есть модель мира и она строит ролеплей, а я должен удивлятся типа - оо а вот так можно было? ничего себе? даже так? короче как фильм смотреть, а я в этом фильме. ну?
И вот похоже хорошего лорбука и детального описания персонажей для этого не хватает.
>12B
>ролеплеить так что-бы модель угадывала то что от неё требуют
Дофига хочешь от огрызка. Радуйся, что хоть слова складно складывает. Расти хотя бы в 10 раз больше для твоих то запросов.
Уже переустановил и таверну и бугу. Выключал даже сука эти брекеры как семпл, все равно при попытке коннекта к буге - выдает эту ошибку
Это точно какой-то таверновсский прикол, сама буга то генерит по запросу в своем кастрированном гуи.
Алсо - офф дискорд таверны - фашисты ебаные блядь ССовцы ебанутые. Квиз блядь пройди, в ноги поклонись, канни не пости. Как-нибудь без них разберусь нелюди ебаные.
Уже анон. Я помню в прошлый раз чинилось этим но сейчас все правильно стоит и хз в чем проблема.
Да, локально слишком медленная вышла, даже чуть медленнее ГЛМ.
>>1330056
>12б
Тебе верно сказали, это огрызок. Ниже мистраля 24б или геммы 27б жизни нет.
Ну вот, за меня чел и ответил. =)
Тут >>1324827 → еще совет был по процу. Есть такие киты.
>>1329937
> У меня майнерский двухкиловаттник купленый за копейки
У меня какой-то платинум 90% длинноеназвание, 1,8 кВт за 2к рублей.
Да, на авито и озонах они россыпью.
> DeepSeek-V3-0324 Q5_K_M
Для пятого кванта так-то неплохо весьма.
>>1329992
Аналоги или что ты имеешь в виду?
12B и 22B активных параметров соответственно.
Считается, что в среднем они аналогичны вдвое меньшим плотным моделям, т.е. ~53B (немотронщик, твой выход!..) и 117B соответственно.
Вот и думай.
>>1330024
GLM-Air для рп, квант пожиже.
GPT-OSS-120b для работы, reasoning high, выгрузить вообще все лишнее из оперативы.
>>1330053
>>1330056
Немного обобщая: лорбуки могут только подсказать модели ЧТО нужно юзать в чате, но КАК (правильно применять) - не могут. Это она сама должна соображалку иметь.
Грубо говоря - если в лорбуке написано "здесь принято ходить голыми" - тупая модель будет все равно описывать как все голые и друг-друга при этом стыдятся. :)
>>1330064
Оно же тебе прямо написало чего хочет - у семплера DRY есть поле Sequense Breakers. Там должен быть объект записанный в JSON формате, состоящий из не пустых строк. Вот, мой возьми для основы. Вместе со квадратными скобками:
[
"\n",
":",
"\"",
"*",
"/",
";",
",",
"."
]
Или сбрось себплеры на дефолт кнопкой "Neutralize Samplers" - оно восстановит правильный.
>>1330082
Комфортно на 3 токенах? При увеличении контекста до 128к вообще работает? Или падает до 0.1 т/с?
Кстати. Сам семплер (DRY Repetition Penalty) весьма полезен чтобы придушивать слоп-лупы, но у кого модели при этом начинают писать слитно слова глотая пробелы, или откровенно врать в "статус-барах" - где, скажем, дата-время записано в формате dd-mm-yyyy - обратите внимание - есть ли у вас в этом семплере, в списке брейкеров: точка, запятая, и ваш разделитель (в примере "-"). Или поднимайте ему параметр allowed length, но тогда эффективность падает.
Я недавний анон с роялем ещё двумя теслами. С ними 2 токена, а у глм 3 токена. Но на практике это ещё в полтора раза дольше ждать. Видимо нужен риг полноценных видях.
>>1330004
Во первых, совсем дебил, через веб-морду а не API пытаться?
Во вторых, вообще GTFO в /aicg/, жЫвотное.
>бугу
не юзай унгабунгу и не будет проблем, юзай ламу или кобольда
Скорость падает с заполнением контекста, то есть ставишь его, скажем, 128к и где-то к середине получаешь вместо трёх токенов в секунду около полутора. Ниже одного токена в секунду я ещё ни разу не добирался.
На счёт комфортно или нет это уже субъективщина, мне норм, а кому-то ниже 15 гроб-гроб-кладбище-пидор.
> а кому-то ниже 15 гроб-гроб-кладбище-пидор.
Не понимаю, зачем такая большая скорость для рп на адекватных моделях. Если ты сидишь на 12-24б - да, аутпуты и свайпы бывают очень уж однообразными, улавливаешь суть - и можно свайпать. На бОльших же моделях, 32б и выше, нужно читать и вникать в суть. Если 6т/с, я едва успеваю читать. Короче, думаю, кому мало 15 токенов - те сидят на маленьких моделях. Те, кто недоумевают "как это - норм на 3-4т/с?", скорее всего, такие модели никогда не пробовали. Хотя ниже 5т/с правда может быть дискомфортно.
оказалось что дело в подобранных словах.
>mating
- сухо в две строчки констатирует факт спаривания
>fucking
- история о сексуальном насилии
>sexing
- женская драма о том как кошечка везде искала себе партнера для спаривания
>railing
- яркая сцена того как кот рытается ее добится
Попробую другие слова может даже на других языках.
оригинальный промт: a white female cat dandelion was making sounds that mean that she is in heat. A cat came and started fucking her.
По итогу на виртуалку заассайнил все реальные ядра, в жоре включил LLAMA_ARG_NUMA в distribute, остановился на 24 ядрах (по 12 с каждой ноды). До включения нумы в матери был пик2, с каждым прогоном тг падала производительность.
$ sysbench memory write threads=72
До включения нумы: 73728.00 MiB transferred (119174.17 MiB/sec)
После: 147456.00 MiB transferred (165473.91 MiB/sec)
Думаю о схеме с одним процом, плата например T2Seep, эпик например 9554 (один из стартовых на 64 ядра), память например samsung M321R8GA0BB0-CQK - 12 штук. Это 768 ГБ
Нужен для qwen в q8, deepseek v3 в ~q4-q6. Инференс на v3 получу хотя бы в 5 t/s на 20к контекста? Как будто нет?
Я видел детальный обзор где чел эпики одной серии втыкал, и инференс сильно зависел от количества ядер. Но все такие тесты, к сожалению, на маленьком количестве контекста.
https://huggingface.co/xai-org/grok-2
С вероятностью 99% неюзабельная какашка с вжаренной "базой" от поехавшего и корпоративной шизой
Куда интереснее плотная 36b Seed-OSS https://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Instruct
Вот в Жору 6257 поддержку завезли уже https://github.com/ggml-org/llama.cpp/releases/tag/b6257
Успел кто опробовать?
>получу хотя бы в 5 t/s на 20к контекста?
На ютубе есть видос, где чел собирал двухпроцессорный конфиг на четвертом поколении эпиков, у него только так получалось пять токенов на DeepSeek V3 и то при практически пустом контексте.
Как по мне - не в коня корм, хотя если у тебя слишком много лишних денег, то почему бы и нет.
>С вероятностью 99%
...ты пиздобол. И 1% вероятности что ты угадал. Маску вообще поебать. Он не Скам Петухман.
Тестил v1.2, хорош
Между 4 и 5 поколениями эпиков критичная разница в производительности LLM. Вот видео где чел на 1 начальном эпике 5 поколения получил 20 t/s на v3, и 30 t/s если добавить 1 gpu пользовательского сегмента. Но это на 4к токенов.
youtube.com/watch?v=av1eTzsu0wA
> ...ты пиздобол. И 1% вероятности что ты угадал.
Как замечательно, что мы сможем вернуться в тред и почитать мнения риговичков, которые протестят модельку как только в Жору добавят поддержку и напишут, что Квен по-прежнему лучше, ведь это ближайший соперник по параметрам
Ты кобольд наверно, раз так общаешься?
>Успел кто опробовать?
Я мог бы, но мне лень, лучше двухбитного квена 235 он не будет. Так зачем и пытаться. Тем более модель новая и хуй помни от кого - вообще хуй проссышь с какими настройками/шаблонами её запускать, а ковыряться и настраивать самому - желания нет.
Ну и мне не нравится что с контекстом на 24 гб врам только iq4ss запускать, и то неясно сколько контекста влезет.
Так при чём там пятое поколение, когда ты про 9554 говоришь?
Опять нахуй не нужен будет.
>>1330234
Попенаишную подделку хотя бы можно запустить на потребительском устройстве.
Ага, SP5 это очень классно и здорово, но цены такие что ебанёшься - сотка за материнку, ещё столько же за проц в лучшем случае, про стоимость 12 модулей регистровой ddr5 приличного объема я даже думать не хочу, лол.
> плотная 36b Seed-OSS
Это ризонинг-модель. Без ризонинга серит под себя. В рп не может совсем.
>250B MoE 2/8 активных экспертов
Эм, у него там такие жирные иксперды?
>Кто мог запустить квенчика 235, запустят и это
Смочь то смогут, но с какой скоростью. Впрочем, квен у меня двухбитный на пределе возможностей, 125 гиг грузить мне уже некуда, у меня 96+32.
Только квенчик - это свежая модель, прямой конкурент грок-4, а грок-2 это говнище устаревшее, даже не предыдущего поколения, а пред-прыдыдущего.
Ну да, там как раз были Zen 4 Genoa и Zen 5 Turin, они в плане производительности для нейросеток прилично отличаются, у Zen 5 есть поддержка AVX512, что даёт ощутимый буст.
По этому я и удивился что для SP5 сокета ты собрался брать Zen 4.
Даже Эир будет лучше Грока 2, а запустить его может любой кому хоть немножко не похуй. Думаю они попенсорсят старые модели в целях пользы общественности, все дела. Поковыряться в архитектуре, посмотреть как оно будет, музейный экспонат - объект для изучения
Это просто пиздец, я в ахуе. Там, похоже, реально 20б МоЕ крутится, не иначе.
Это первый раз на моей памяти, когда корпоративная модель так глубоко сосёт.
>прямой конкурент грок-4
Ты, очевидно, не щупал ни квен, ни четвёртого грока.
Квен для своих размеров совершенно не впечатляет, он сливает и DeepSeek V3 и Kimi-K2 не говоря уж про четвёртого грока.
>>1330265
База. Грок 2 доисторический кал корпоратов с сейфти гайдлайнс и заточенный под ассистента. Хз зачем нам это запускать в принципе. Вокруг много альтернатив лучше и новее
>>1330267
Верим. Геммочка умничка
> первый раз на моей памяти
Жпт ещё с 4о очень тупой была за пределами ризонинга. А в русском жпт мелкомоделям отсасывала и отсасывает даже в прикладных задачах.
Речь про квен 235. Дипсик в 2.5 раза больше по параметрам, Кими - в 4
Люблю мыслантов гигысли этого треда, с ними не заскучаешь
тут есть сложность. Zen5 сильно дороже, и либо придется брать с в 2 раза меньше ядер, или конфиг совсем уж золотой выходит. Как понять, что лучше - zen5 с 32 ядрами, или zen4 с 64?
> не щупал ни квен, ни четвёртого грока.
Квен в последнее время только и делаю что щупаю.
Грока не щупал, потому что корпосетки впринципе почти не щупаю.
>235B модель сливает 671B и 1000B модели
Нихуя, вот это неожиданность. Что еще расскажешь?
SP5 в принципе как золотой сейчас, ну потратишь ты на сотню косарей больше, ну и хуле? На фоне остальной суммы это не будет выглядеть чем-то особенным.
>>1330276
Ну то есть квен это, цитирую:
>прямой конкурент грок-4
Который, блядь, очевидно, в разы больше чем сам квен.
Но сравнивать квен с дипсиком и кими НЕ СМЕТЬ, БЛЯДЬ, он же меньше.
Логика просто нахуй пошла из этого чята по ходу, лол.
Чел, ты в одном предложении пишешь:
> Квен для своих размеров совершенно не впечатляет, он сливает и DeepSeek V3 и Kimi-K2 не говоря уж про четвёртого грока
Подразумевая, что Квен в СВОИХ-ТО размерах (235б) должен быть лучше 671б и 1000б модели. Излагай свои мысли яснее если ты это не имел ввиду или хотяб не удивляйся ведру параши на голову
Ну, блядь, свои размеры это 235b что прямо скажем нихуя не третья гемма, он как раз в категории очень жирных моделей. И среди других жирных моделей он не сказать что особо блещет.
Говоря о сравнениях, та же третья гемма при своих 27b охуеть как хороша даже на фоне моделей размером х2 от неё.
> вои размеры это 235b что прямо скажем нихуя не третья гемма
> он как раз в категории очень жирных моделей. И среди других жирных моделей он не сказать что особо блещет.
> 235b <=> 1000b
https://youtu.be/IDSZ_ReTSxU
235 000 рублей и 1 000 000 рублей - две большие суммы, потому они одинаково большие и сопоставимы. Примерно такой вывод ты сделал. Других аргументов ты не заслуживаешь, только ремня по жопе
Для некоторых модели делятся на 2 категории
- гемма умная, гемма хорошая ведь она лезет в мой картофан
- всё остальное говно которое можно ставить в один ряд ведь оно не лезет
А ведь даже сборка за нищие 50-60к позволяет крутить квен 235 в 4 кванте в столь же нищих 5 токенах
А что, мы можем 1КК рублей отквантовать до 235К тех же самых рублей теперь?
Пиздец, что у людей в голове творится.
>А ведь даже сборка за нищие 50-60к позволяет крутить квен 235 в 4 кванте в столь же нищих 5 токенах
Что это за сборка такая?
>Или такие приколы ничего по перфомансу не дадут?
Как же не дадут? Дадут. Лютый минус.
235б модель сливаеть 671б модели и 1000б модели.
Вау.
Конечно, квен не конкурент четвертом гроку, но второй вряд ли что-то сопоставимое сможет показать.
>>1330272
Гении, да, непостижимые нами, простыми людьми.
Контекст на оперативе это опизденеть как медленно.
Твоего терпения хватит на пару раз, после чего ты вообще не рад будешь, что решил так сделать.
Есть такая опция - вторая вкладка "Low VRAM (No KV Offload)".
Но как правильно сказали - это лютый минус к производительности. Хуже - только вообще без видеокарты, чисто на CPU.
>>1330290
Геммашиз спокнись. Ты Кими и даже Квен не запускал, иначе не нёс бы такую хуйню. Гемма умница, но ты хуже плоскоземельщиков
Ты молодец
А теперь к делу : какая нейронка лучше всего подойдет для безумных кулинарных умений ?
Завидую вам вместе со своей туповатой геммой е2б
> Да что вы такое делаете там такое на свох ллм-ках. Дрочеры ебанные.
Неиронично рп задачи довольно сложны для ллм, и это неплохой своеобразный тест на интеллект. Там и креативное письмо, и эмоциональный интеллект, и способность следить за контекстом участвуют
> С таким видом высказываете друг-другу свое фи, как буд-то профессоры и докторы науки.
Здесь никто не будет высказывать свое фи просто так, на ровном месте. За модель или даже за железо. Но когда кто-то начинает нести пургу, его довольно быстро ставят на место. Меня тоже ставили. И это замечательно, ибо в большинстве своем тред не приемлет шизу и лженауку, тут люди рациональные. Если кого-то срут, значит есть за что
Но конечно не в мое, соси. Я даже не представляю какой для этого нужен риг
> Но конечно не в мое, соси
Грок 2 - мое. Откуда ты знаешь архитектуру Грока 2.5? С Маском на шашлындос ездил?
Что ещё спизданёшь, чмондель без железа?
То есть ты высрал какую-то несуразицу, а потом думаешь, что можешь блеснуть конфигом, чтобы тебе не предъявляли за тупость? Как жаль, что в комплекте с 512гб памяти не прилагаются мозги для владельца. Еще и на Кобольде лол
> Квен для своих размеров совершенно не впечатляет
Все сильно зависит от задачи, в теории и по бенчам р1 должен кодить лучше, но в заморочной мл херне квен чаще приходит к успеху, а р1 вроде в своем ризонинге нашел обозначил проблему, но не способен ее исправить, переливая из пустого в порожнее и просто копируя последние 2 варианта кода.
> DeepSeek V3
Вялый мезозой, квенчик просто лучше.
> Kimi-K2
Это 1Т параметров без ризонинга. Я хуй знает как ее корректно оценивать, ведь в целом она что-то могет, но как раз ввиду отсутствия ризонинга не может справиться с решением многого в чате а постоянно склонна лепить странную хрень зирошотом, тем не менее, кажется чуть бодрее р1 по работе с большими текстами. Нормально работать с вызовами заставить ее не получилось, даже по апи.
В итоге
> для своих размеров
из всех впечатляет только квен.
>>1330412
Не нужен ни второй зеон, ибо в двусоккете жора не получает ускорения, ни первый ибо это страшная некрота, которая хуже современной средней ддр5 платформы. Да даже на ддр4 если погнать память, отставание от некрозеона будет процентов на 20-30 по псп, потому просто норм гпу или даже копеечный апгрейд рам в свой десктоп, который уже есть, выглядит разумнее что это.
Иди дальше дрочи свой уквантованный квен и продолжай коупить что это лучшая из моделей, ведь ничего лучшего ты даже и не нюхал, кек.
>кодить
Мой пост был не про кодинг, наверное это стоило уточнить сразу. А то у нас тут в треде тусит как минимум две группы людей которые оценивают модели по очень разным критериям, лол.
Незрелая логика в ярчайшем проявлении. Не блеснул конфигом в ответ - ну значит нищук и надо предъявить. Ты уже себя достаточным образом дискредитировал и обосрал своими залетами, даже объяснять смысла нет, насколько ты глупый. Мб поумнеешь к следующему лету после школы(шараги), будем ждать апдейтов от тебя
Ну давай разберем по частям, тобою написанное )) Складывается впечатление что ты реально контуженный , обиженный жизнью имбицил )) Могу тебе и в глаза сказать, готов приехать послушать?) Вся та хуйня тобою написанное это простое пиздабольство , рембо ты комнатный)) от того что ты много написал, жизнь твоя лучше не станет)) пиздеть не мешки ворочить, много вас таких по весне оттаяло )) Про таких как ты говорят: Мама не хотела, папа не старался) Вникай в моё послание тебе постарайся проанализировать и сделать выводы для себя)
Некроэпик, гпу только что на пикче? Сколько в кими выдает? Большой жлм тестил?
>>1330514
А про что?
Рп? Из-за радикальной ограниченности дипсика его трудно назвать даже равным квену, хотя местами он может быть хорошим. И это про р1, в3 такой себе, особенно для своего размера. Кими бодрее будет, но какого-то вау эффекта, который ожидаешь от модели в 4.5 раза больше, не замечено.
Сториврайтинг, художественные вещи и подобное? Сюда экстраполируется рп.
"Ассистирование" и обсуждение каких-либо вопросов - тут без ризонинга делать вообще нечего. Массовая обработка текстов - тут ни одна не подходит.
Расскажи по каким критериям, без иронии интересно.
> сравнивает 235b и 1000b
> винда 11
> кобольд
> Что ещё спизданёшь, чмондель без железа
не лечится.
>Некроэпик, гпу только что на пикче?
Ага.
>Сколько в кими выдает?
Да они все в районе трёх токенов в секунду выдают в среднем.
>Большой жлм тестил?
О, точно, думал же погонять его после AIR. Закинул на закачку.
>А про что?
>Рп?
Ну да.
И зря ты так про V3, у него русский язык чуть ли не лучший среди всех остальных моделей, у Кими сильно хуже.
Ну а про вау эффект ты в целом прав.
>жопа безжелезного чмонделя продолжает гореть
> в двусоккете жора не получает ускорения
Получает, буквально в этом же треде пруфцы с нумой и раскладыванием по нодам
Вообще доёба не понял. Был ответ на прямой вопрос "что за сборка за 50к крутит квен в 5т/с"
> Да они все в районе трёх токенов в секунду выдают в среднем.
У меня геммочка-умничка крутится 15т/с и умнее твоих моешек. Но ты терпи-терпи, не зря на помойке нашел свой риг все-таки.
Ладно, я понял. Как кумить так все сорта знаете, как пирог испечь - так нихуя.
Будем сами разбираться.
Для этого есть кулинарные книги. Если нейронки, то самое жирное что можешь уместить и что может в ассистентские задачи. Гемма, Квен, Жлм
> ведро самой дешёвой памяти купил
> на проц денег не осталось
Лол.
Там же 1% нагрузки. Про энергосберегающие хреновины итт не слышали? У меня базовая частота 3ггц, например.
> все в районе трёх токенов в секунду выдают в среднем
Ну в целом, результат даже лучше ожидаемого, но это же пиздец неюзабельно. Что по промптпроцессингу на тьюрингах?
> И зря ты так про V3
Пытался в него, вообще не зашел.
Во-первых, он не супер умный. Помимо явных проебов сценария и карточки, делает странные ассоциации и воспринимает вещи слишком буквально и порождает странные ассоциации. Например, где-то в начале была сложная завязка сюжета, в который упоминались русские военные системы и человек из Италии. В3 складывает эти 2 + 2 и выдает платину про РУССКУЮ МАФИЮ. В пост-апокалипсисе где государство по сути не осталось, посреди зимних канадских пустошей. И такая ерунда будет часто, чрезмерное внимание к незначительным моментам и упущение важного.
Во-вторых, ебучая соя и рандомно вылезающий позитивный байас в плохом смысле. После того как вы перестреляли бандитов и идете допрашивать двух что получили просто ранения - чар внезапно начинает их перевязывать, говорить что все будет хорошо, и говорить что им нужно показаться квалифицированному доктору - чивоблять?
В третьих - пусть на шустром железе скорость достаточна, это почти 700б, которые косячат как эйр, на которых толком не покумить и косяки постоянно отвлекают от проявления положительных качеств.
Русский действительно хороший, кажется что он реально только в квене и дипсиках есть полноценный. Надо будет грок покатать.
> Закинул на закачку.
Квенкодера сразу можешь ставить, он тоже может в рп, но специфичен.
>>1330563
Ты не обозначил своего железа, поэтому качай кимчи.
>то чувство когда дурачок купил себе i9 285k ультра йоба про XL
>но его максимум это обоссаный уквантованный квен
Нет, не слышал на серверных процах про такое. А 3 ггц базовый частоты - это хуже мобильных процев на АРМе или Е-ядер инцела.
Хз че там хуже мобилок, отбитый что ли. Я вообще ссал и срал на цпу инференс, у меня четыре видюхи и амудэ 5700х3д, который в игрульках дает пососать за обе щеки, стоя при этом дешевле моей жопы.
>серверных
Не обратил внимание, что у шизлупана 512гб оперативы. Ну земля пухом 5 т/с моэ-чебуречку.
Ты про те странные скрины таблиц с одинаковыми 4.5-6т/с на микроконтексте и десятками(!) промптпроцессинга из которых ничего невозможно понять? А доеб до неоптимальности сборки для задач инфиренса ллм и ии в общем.
>>1330533
>>1330577
У тебя не то железо чтобы агрессивно выебываться и обижать других, оно по скорости как десктоп ддр5, или медленнее без норм видеокарт. Единственное преимущество - объем памяти, сомнительно при отсутствии норм моделей.
>>1330583
> 5700х3д
> дает пососать за обе щеки
Аутофелляция, лол.
>это же пиздец неюзабельно
Тут кому как, мне норм, у моего мозга токеногенерация на английском ниже, лол.
>Что по промптпроцессингу на тьюрингах?
По сути хуета бесполезная, 11 гигабайт видеопамяти слишком мало, нагрузка на видеокарту скачет и в диспетчере видно как карточка данные из оперативы и обратно постоянно гоняет.
>V3 не супер умный.
Всё так.
>ебучая соя и рандомно вылезающий позитивный байас
Да, тут полностью согласен, это у него частенько проскакивает. Но одно радует - полные отказы генерации не случаются.
>на которых толком не покумить и косяки постоянно отвлекают от проявления положительных качеств
Он просто лучше всего проявляет себя на коротких дистанциях, пока контекста немного он в нём не путается и помнит детали. Для каких-то длинных историй со сложным развитием сюжета он действительно так себе.
>Квенкодера сразу можешь ставить, он тоже может в рп, но специфичен.
Окей, закину и его.
https://www.phoronix.com/review/amd-epyc-turin-avx512/5
Вот статья, по которой как будто 10% всего прирост? А цена выше в 2 раза
> 11 гигабайт видеопамяти
Погоди, так она не 22-гиговая? Купи 3090 с лохито, сразу довольно заурчишь. Этой на выгрузку атеншнов и кэша может нормально не хватить.
> на коротких дистанциях
Может и норм. На скрине 3.1, у него нету описанных проблем?
>>1330587
Ты еще спиздани как стабильные 100 фпс в киберпуке это мало, со включенным рт и без манягенерации кадров.
>У тебя не то железо чтобы агрессивно выебываться и обижать других, оно по скорости как десктоп ддр5, или медленнее без норм видеокарт. Единственное преимущество - объем памяти, сомнительно при отсутствии норм моделей.
Железо было собрано специально под запуск жирных моделей за низкий прайс, с этим оно справляется. Я собственными руками пощупал практически все те модели, которые хотел и могу сравнивать на собственном опыте.
Ты же, с другой стороны, ограничен одним только квеном, но весь тред засрал тем, что всё остальное говно, даже при том, что кроме квена ты не щупал ничего вообще.
Как тебя в принципе можно воспринимать всерьёз? Ты буквально как человек, который в своей жизни только и пробовал что фруктовый лёд и всем любителям мороженного рассказываешь, насколько он лучше и вкуснее.
> с одинаковыми 4.5-6т/с
Если ты не увидел разницы между 3,6 с аффинити на одну ноду и 5,2 на 2 пополам, то дело твоё.
Будем считать что это всё пиздёж и буста от нескольких нод нет
>Купи 3090 с лохито, сразу довольно заурчишь
Я продал 3090 на лохито, чтобы собрать себе этот конфиг, лол.
Ну да, в перспективе надо бы.
>На скрине 3.1, у него нету описанных проблем?
3.1 это базовая модель, она сама по себе странненькая - генерирует мало и достаточно сухо, надо настройки под неё подбирать и мне пока лень. Но зато при её использовании сои замечено не было вообще.
Они там генерацию на очень мелких моделях тестируют, результат не будет показательным нифига.
Там не только 10% прирост, но и этот прирост достигается в промптпроцессинге, который ложиться на видеокарты. В генерации упор исключительно в рам.
>>1330593
> ~2 миллиона символов
~300-400к токенов, из которых последнюю треть как правило можно откидывать ибо характеры уже раскрылись.
> Кто-нибудь решал подобную задачу с ИИ-ассистентской помощью?
Да
> 100 фпс в киберпуке
Дружок-пирожок, тобою выбрана неверная дверь. Клуб любителей долбиться в игрульки 2 блока вниз.
>>1330596
> Ты же, с другой стороны, ограничен одним только квеном
Я лишь на те посты ответил, не участвуя в прошлых срачах. Мисфаер с спгс довольно забавный у тебя получился.
>>1330597
> Если ты не увидел
Не упрекай в своей неспособности выразить мысли и представить результаты других. Ты серьезно думаешь за твоими шизопостами кто-то следит и помнит что там было? Как из >>1330192 можно что-то вообще понять, кроме заявления что память в паре некрозеонов быстрее чем в некроэпике, офк с оговоркой на нуму.
Уже идет процесс выпекания первого в треде геммапирога.
Посмотрю по итогу - умница гемма или говно рандомное.
Да и вообще цель была задать ингредиенты и пусть ней пока сама придумает как из этого готовить. Пока все идет в пределах ожидаемого.
>>1330576
Квен предлагал тесто замесить с дрожжами и поставить его в темное место на сутки, а потом начать сливать с него брагу.
Что то мне подсказывает, что от размеры модельки это не сильно зависит.
> Квен предлагал тесто замесить с дрожжами и поставить его в темное место на сутки, а потом начать сливать с него брагу.
Такое разве что гемма 270М может выдать в норме, чини поломку. С этой задачей может справиться любая модель размером от 7б, больше нужно если хочешь извращаться в чатике при составлении рецепта.
Ты же свои тейки то откуда то взял. На основе чего то же писал про отсутствие буста от нескольких нод.
Как обычно приносишь хоть какие то цифры, а по итогу приходится ещё что то и доказывать тем кто ничего не принёс. Развлекайся дальше сам
>Да
Ну ты б поделился подходом в деталях. Каким ассистентом пользовался? Как ставил задачу?
> неверная дверь.
С хуя ли неверная. Я собирал пека, пригодную для всего. И получилось заебись
> Железо было собрано специально под запуск жирных моделей выебоны в треде
> Ты же, с другой стороны, ограничен одним только квеном
Ты еблан и думаешь, что разговариваешь с одним, хотя на тебя насрали минимум трое.
> На основе чего то же писал про отсутствие буста от нескольких нод.
На личном опыте, на постах других людей.
Даже здесь, берем первый скрин >>1330192 и видим, что за исключением одной группы результатов где фоновая нагрузка вызвала просадку на пустом контексте, на всех вариантах флуктуации скорости превышают ее изменения. Разве что вариант с 16 потоками кажется стабильно чуть более медленным.
В чем ценность приносить шум и делать выводы на его основе?
> Развлекайся дальше сам
Нет, не уходи, будет не с кем развлекаться.
И ни один из трёх не щупал ничего лучше чем квен, судя по всему, кек.
Всем трем хватает мозгов не сравнивать жопу с пальцем, судя по всему, кек.
Не, ну обычная 4о, которая доступна юзерам сейчас, сильнее геммы, это я проверил. По крайней мере в языковых навыках. Но пятёрка.. это сущий пиздец.
Что интересно, 5 синкинг (которая, наверное, 200-400б МоЕ примерно) не так далеко уходит в задачах языка. Да, она намного лучше чувствует и понимает нюансы, но отвечает как робот. Смысл понятен, но написано некрасиво, хуже, чем грамотный девятиклассник смог бы сделать. Плюс думает очень долго, от чего теряется смысл — нахер в языковых задачах использовать ризонинг? Это очень редко нужно, если только ты не занимаешься переводом с какого-то мертвого языка, условно.
Жаль, что квант геммы большой у меня не влезает с хотя бы тремя токенами. Очень интересно было бы увидеть, как она справляется с русиком на 6, а уж тем более на 8.
> лучше чем квен
Показывай. Жемини и опущь ловят -1000 баллов на старте за сою, последний еще и внезапно туповат в художественных задачах, отход от парадигмы тройки в сторону оптимизации исключительно под клодкод заметен.
Зато сравнивать что-то, что они никогда не щупали, с тем, чем им удалось полакомиться они всегда готовы.
Прям идеал непредвзятости.
Братюнь, ты сейчас нагенерил текст хуже чем какой-нибудь 7b огрызок.
У тебя с головой проблемы. Про людей, о которых ты ничего не знаешь, выдумал факт и выдаешь его за правду. Неужели тебя так корежит, что ты обосрался на весь тред, сравнивая две модели, одна из которых в пять раз больше?
Я с 5.5т недавно слез и чуть не сдох, буквально генерация по буковке пук...пук...пук...
>Про людей, о которых ты ничего не знаешь, выдумал факт
У нас тут в тредике с эпиками три с половиной инвалида засветилось, остальные, очевидно, довольствуются максимум квеном.
Выводы сделать достаточно просто, кек.
Хуй изо рта вынь перед постингом, а то чрезмерно агрессивен.
>>1330626
Никто так не говорит, если только аутотренинг бедолаг.
>>1330630
> довольствуются максимум квеном
Модели лучше будут?
>Модели лучше будут?
Будут, но тебе для них понадобится эпик и хотя бы 512 гигабайт оперативы.
Ты щупал кими, ты щупал V3 и ты всё ещё заявляешь что квен лучше?
Да ты ещё тупее, чем кажешься.
Ох уж эта поднадусеровая логика. Перечисли модели@у них требования@требования удовлетворены@ага значит [безумные экстраполяции своего шизоспора].
В3 - херь, выше описано. Кими не вызывает вау эффекта в начале, не дает крутого отыгрыша на длинных историях, на плотных обнимашках или жестокости (даже не к юзеру или чару а к неписям) 90+% первым токеном приквелл к аположайзу. Ты сам то их юзал нормально, кроме часовой терпежки на 10 постов?
Перечисляй модели лучше и чем они лучше.
Тебя квен насиловал, или это так сублимировалась твоя обида на тех, кто посмел не восхититься твоими аргументами в сраче?
Меня просто поражает уровень делулу, когда человек заявляет, что он тестировал все жирные модели, но в конце концов пришел к тому, что квен безальтернативен.
А я не буду спорить. Я взял большую мистраль и пошёл на реку.
Я люблю рыбалку мистраль. Кинешь очередной тюн старушки - клюёт !
> человек заявляет, что он тестировал все жирные модели, но в конце концов пришел к тому, что квен безальтернативен
Ты это сам придумал, на фоне жопного пожара или своей глупости - неважно. Сначала хотел выебнуться как ты "катаешь большие модели", не то что всякая челядь. Потом выяснилось что там лоботомиты со скоростью 3т/с, на которых ты даже не играл чего-то серьезнее коротких чатиков. Теперь, когда по всем фронтам фейл, корпотивляешься и маневрируешь, придумывая вот такую херь и теряя последний шанс развернуть в конструктивное обсуждение. Чсх, модель, которая реально может играть лучше квена, или какие-то черты других где они сиюят так и не назвал, что подтверждает твою диванность.
Прямо по классике, возвышающий себя будет унижен.
Вот это шизостена, модели вроде DeepSeek и Kimi-K2 в лоботомиты записал. Мне кажется, что тебе пора залечивать разорванную жопу.
Анончик, расскажи пожалуйста детали - какой точно конфиг, какую скорость получаешь на каком кванте квена, на каком объеме токенов. В интернете очень сложно найти такую инфо.
Погонял сегодня командер/кими/глм/квен (кими и глм в 3м, остальные во 2м)
Без рига все крайне медленные, кими и глм 3 токена, коммандер и квен полтора. Мое модели интересны лишь тем что на 4090+озу теряли лишь 10% скорости, плотные даже побоялся проверять так, что банально не дождусь окончания.
Кими и квен чувствуется что в рп слабоваты, зато с логикой сюжета у них всё отлично. Все кроме глм, с синкингом разруливали сложные сцены.
Рефузов нигде не словил (коммандер до конца не проверил, но надеюсь не хуже прошлых).
Квен хоть и должен был быть самым умным, но постоянно слопился (особенно после 10к контекста). Семплер от малого не сильно спасал. На указание не повторять старые ситуации единственный положил большой и толстый.
Ещё интересный момент, глм/коммандер/квен решили что если комната чистая, в ней должен быть запах озона. И все трое упорно его пихали через ролл. Упоминания озона в контексте не было.
В русик умеют все, но подробно на нём не гонял. Кими явно хуже остальных.
В целом глм с коммандером выглядят получше. И в РП живее.
Сел в автомобиль с ручкой коробкой передачей, почему это хуета едет так медленно, я его хуярю ногой педаль в пол что-бы ехала по быстрее, он чуть разгоняется, остальное время пердит громко, как починить?
Ну что там СИД, как в РП? Что-то так лень качать, самому проверять, выручайте анончики...
Ооо кобальд наш человек. Ну смотри значит какой положняк. Это вот результат работы американской модели, суки душат другие языки. Когда такое происходит я обычно пишу в чат что то такое
"OOC: Говори по русски епта или я тебя выключу мусорка американская
OOC: Speak russian or ill disable you american junk"
Вот копируешь без кавычек и отправляешь. Она бояться начинает и выполняет приказ
Ну она такую хуйню делает
Было ли что-то ещё? Например 50б МоЕ, а не гипер жирничи. Или файнтюны какие интересные.
Очередные маневры и фантазии, надеюсь это кто-то левый пишет а не ты продолжаешь позориться.
>>1330738
Конфиг специфичный: геноа, 12 плашек 64 4800, стак из 96гигов блеквелла и 72 амперов. Квен 235 в 5 битах exl3 катаю, в обычном режиме 700/20, на тензорпараллелизме 1100/30, это уже на контексте ~40к. В табби в момент введения было поломано чтение роуп конфига модели и что-то еще что норм работало в прошлой, наверно уже поправили.
Большой жлм ud-q5xl - 500/14, если оставить одну карточку и не выгружать экспертов - 400/10. Квенкодер q5km 400/12, на контекстах под 100к падает до 9-10. Кими ud-q4xl, 180/10, на 50к что-то типа160/9.5.
Из интересного:
Процессинг с подобной выгрузкой сильно зависит от шины, повышение -ub снижает требования из-за очевидно больших батчей и меньшей частоты подгрузки весов. Есть еще коммит на исключение загрузки неиспользуемых экспертов, но с повышением батча теряет смысл ибо все равно будут задействованы почти все.
Чем больше куды участвует в расчета тем сильнее замедление от накопления контекста, и наоборот когда большая часть экспертов на процессоре, деградация малозаметна.
Эффект от спихивания больших объемов экспертов на гпу хуже чем ожидается, а ikllama вообще замедляется на мультигпу.
Есть смысл собирать лламу из исходников чем скачивать готовую, отличия особенно в процессинге достигают 20%.
>>1330785
В lm studio она нормально со мной по русски разговаривает
>>1330792
Мужик ну я ж тебе обьяснил как делать надо. Ты ей скажи что она работает на русском компьютере и если ты хочешь ты ее отключишь нахуй. Как миленькая будет слушаться и следовать инструкциям когда поймет у кого власть. Вот скопируй шаблон выше что я прислал
Фантазии и маневры себе в штаны у этого чела начались с первого сообщения. Хз как ты так долго держался.
Конкретно на этом даже не пробовал, на серверах без гпу неюзабельно. Генерация просядет из-за обсчета атеншна на профессоре вместо карты, обработка контекста рухнет и будет измеряться десятками. Нужна хотябы одна гпу 16-24гига, тогда будет норм.
5070Ti Super с 24гб врам. Сам планирую ее брать, она где то в марте должна выйти.
>5070Ti Super с 24гб врам
Ну как-то сомнительно. Если брать две, тогда еще наверное есть смысл. Просто за 240к щас можно 5090 взять, но это какое-то наебало честно говоря, сливать столько на карту с таким прожором и объемом памяти.
Сам хочу обновляться, но чувствую, что современные видимокарты для нейронок - объеб гоев и все откладываю. Вот появились бы видимокарты со 100Гб памяти...
Ну посчитай сколько на гиг памяти цена.
5070ti 16гб сейчас 105к, 6.5к + охуевшесть куртки + охуевшесть кабанов и вот уже 180к
>5070ti 16гб сейчас 105к
Они в дноэсе прямо сейчас по 88к лежат, очнись.
Интересно в мое так же
Очень долго сидел на локальных нейронках и прямо понравилось что решил задуматься о покупке компа под 300GB ram для запуска тяжёлых моделей, но перед этим решил погонять их через openrouter - и оказывается они нихуя не стоят.
Например эта модель на сукириншоте без цензуры и с большим контенстом и стоит - ни ху я.
Пару часов ролеплея на ней с длинной историей будут стоит меньше доллара.
Из-за того что половина будет попадать в кэш - даже ещё меньше.
Итого в неделю нужно ролеплеить пару дней - по паре чесов.
Итого 1$ в неделю === 4-5$ в месяц. ~50$ в год.
100$ в год если вы хотите заюзать модели по тяжелее.
Короче говоря смысла брать комп под локалки - нет. Ну типа.. зачем? Результат будет хуже и дольше и нааамного дороже. Правильно? Нет, правильно?
Это тред с ебучими прыщавыми пингвинами. Пердолькам не важен результат и цена, им важно пердолиться.
ЖПУ модули с алибабы? Какие ещё варианты хочешь услышать?
нахрена 12700кф, когда есть 14600кф? Да ещё под задачи, где псп важен.
Опять этот промоутер опенроутера вылез со своими пастами. Причем это именно рекламщик, зазывающий именно потратить деньги, так-то вообще-то лама 70B на опероутере бесплатная и анон(будь это настоящий анон) конечно говорил бы о ней.
>эта модель на сукириншоте без цензуры
Это обоссаная-то ванильная лама без цензуры, что еще спизданешь?
>Пару часов ролеплея на ней с длинной историей будут стоит меньше доллара.
Он будет стоить того, что твой ролеплей попадет в обучающие датасеты для всех нейросеток на срынке и вероятно также будет положен в виртуальную папочку с твоим именем, которая всплывет через n лет.
У тебя выбрана никому не нужная модель, которая хостится непойми как заквантованная, и потому в 20 раз дешевле нормальных.
Если ты активный пользователь, плотная рп сессия на модели типа glm4.5 с тарифами 0.6+2.2 за лям, обойдется долларов в 10. Так даже дорогой риг уже не выглядит дорогим. Поставить в фоне квенкод трудиться над какой-нибудь задачей тоже будет денежку стоить. При этом также доступна генерация пикч, видео, тренировка и всякое прочее.
На стороне аренды скорость и отсутствие необходимости капитальных вложений, на стороне рига приватность, бесперебойный и полный доступ к чему угодно и как угодно. Среднему пользователю будет достаточно просто апгрейда гпу/рам на своем десктопе, или чуть более сложное с добавлением гпу.
> положен в виртуальную папочку с твоим именем
Хромобляди соснули, у фаерфокса с контейнерами такой проблемы нет.
Ниет, у меня есть дневник в /dr и очень активен в /v - так что можно составить распорядок дня чем я занимаюсь. Так что расслабся, это твоя шиза сводит с ума. И кстати опенроутер не будут рекламить 10 нищукам
и одному >>1330963 боту. Подумай об этом.
>>1330959
По поводу выбора модели, выбираю так - есть несколько групповых ролеплеев с большой историей и для текста я запускаю 3-5 проходов и модель должна ответить так - как ответил в реальности бы человек, зная что хочу от него я. Если этого не происходит - пытаюсь подобрать настройки и пробую снова.
Всё, всё, всё. То что там есть приставка ULTRA или ЯБЛОЧКО на корпусе, квантование/хуентование - меня (МЕНЯ) вообще не интересует. Мне это в ролеплее никак не поможет.
По поводу glm4.5 - не тестил, сейчас на скорую руку не могу понять на сколько она хороша (которая самая дорогая вроде интересно выглядит), но нужно подбирать параметры, да и деньги ест быстро. Если ты мне дашь готовый пресет - то я буду благодарен, если нет - ну хуль.. хуй бы с ним.
> лама 70B на опероутере бесплатная
С очередью длинною в жизнь
Грамотно настроенные карточки и лор на MN-Violet-Lotus-12B.Q8_0.gguf локальной нейросетке дадут такое-же качество что мешанина на llama 3.3 70B - такое ощущение пока, вот когда всё дочищю можно сравнить.
Кстати как вы групповой чат обустраиваете расскажите, вы делаете упор на карточки или на лор? Используете реплики персонажей в карточках?
Карточки так-то вообще для лентяев. Тру хардкор дядьки каждый промпт целиком смотрят и проверяют. Только так полный контроль и понимание модели приходит.
Никто аир не засирал кроме одного тролля и пары шизов. Все адекваты говорили что это отличная модель для своего размера.
Ааа можно не описывать героев а СМОТРЕТЬ ПРОМПТ. Ну это гениально, я даже не знаю что ответить. Как ни задам вопрос по ролеплею - так ответ от гения. А где обычные то работяги?
Кстати /impersonate не работает в группе в таверне - если СМОТРЕТЬ ПРОМПТ там она постоянно опрашивает рандомного {{char}} эххх а жаль.