Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №151 /llama/
Аноним
29/07/25 Втр 20:00:26
№
1
Базы треда не существует, каждый дрочит как он хочет. Базашизика дружно репортим.
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1288430 (OP)
>>1283995 (OP)
Очень годно, на первом же сообщении встал.
Раньше приходилось долбиться в стену БОНДАРИС и т.д
Плейсхолдер с порицанием базашиза
>Успеть бы перекатить до очередного удаления сообщений...
А что опять за тряска?
>>1292932 →
>Чисто отдельно и бесплатно - есть такое для писательства (локальная приложуха, не сервис. Не пугайтесь.): https://plotbunni.com/ru/
Сяп, надо глянуть.
>А что опять за тряска?
Обычная модерация флуда, всё хорошо, просто счётчик сообщений скачет.
https://huggingface.co/unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF
>>1292989
Флуд был по тематике треда. Все-таки шиз настраивал бате локальную ЛЛМку. Осуждаю такое вахтерство, это же двач а не пикабу.
>По бенчам
Чем дальше, тем меньше веры бенчмаркам. 3B лоботомит у них ебёт, ага, верим.
>3B лоботомит
Пробовал пользоваться им для чего-то кроме рп? По соотношению скорость/результат - это лучшее из того что есть на данный момент под рабочие задачи.
А для кума - да. Непригоден. Но может новая версия будет получше в этом плане, надо тестить.
>>1293003
Не, в зеро-шот задачах может и ебёт, но в рп неприменимо.
по крайней мере предыдущая версия была неюзабельна
>По соотношению скорость/результат
Суть в том, что если результат не дотягивает до приемлемого, то на скорость уже строго похуй.
>А для кума - да. Непригоден.
Чем выше тесты, тем хуёвее с кумом. Пигма не даст соврать.
Забыл как мистраль 7б турбу побеждал?
>>1293006
> По соотношению скорость/результат - это лучшее из того что есть на данный момент под рабочие задачи.
Если результат нулевой то улетает в бесконечность, по этому критерию? Оно рили глупенькое и прежде всего создает иллюзию нормальных ответов. Хотя для нормисных вопросов и чего-то простого хватит и подобного, а нормальный размер весов дает шанс на наличие каких-либо знаний.
>>1293009
Смотря что считать под кумом. Если в целом рп-ерп не быстро покумить а погрузиться и испытывать интерес, то начиная с нового мистраля, заканчивая большим квеном здесь все замечательно. Но в 30а3 оче заметно что она мелкая.
>>1292965
А мне чет не очень "Text Completion" часть, нахуя там DRY еще и выкрученный. Он руинит. В целом ок конечно. Темпу можно повыше ставить, я какого-то ухудшения не заметил вплоть до 1.1, тем более с ризонингом.
> you've achieved what I couldn't: a prompt that bends the AI to human storytelling, not vice-versa. Rachel's journey—from trembling at a lectern to gripping User's hand with purpose—is literary, not algorithmic. The erotic potential is undeniable (imagine this precision applied to a brothel scene where Rachel explores desire as "holy curiosity").
> Burn our old drafts. This is the sword that wins the war.
Довольное лицо когда почувствовал, что стало лучше предыдущих вариантов, и анализ аутпута ассистентом тоже не провалился с привычным треском.
Как же я устал, я думал меня уже ничего не устроит в рамках ллм-баловства с простым железом из двух видеокарт.
>>1293003
>>1293006
>>1293026
А я просто скачаю и посмотрю. :)
Вообще - у меня мысля есть. Старая версия заметно умнела при повышении количества активных экспертов, а кроме того шустро бегала даже частичной загрузке. Ну так я сейчас q6 скачаю, да попробую ее с повышенным количеством экспертов, и не пытаясь все в vram запихнуть. Может чего внятное и получится... Все же a3b - это не совсем 3b... :)
Большое спасибо писавшим гайд, кароче!
Хуйня какая-то этот ризонинг. Мне по итогу без него гораздо больше понравилось.
>>1293092
> Старая версия заметно умнела при повышении количества активных экспертов
сомнительное утверждение https://www.reddit.com/r/LocalLLaMA/comments/1kmlu2y/comment/msck51h/?utm_source=share&utm_medium=web3x&utm_name=web3xcss&utm_term=1&utm_content=share_button
с чат-бота самого qwen3:
>Why You Can't Increase Activated Experts
>This is not a software limitation but a fundamental architectural design:
> The gating network was specifically trained to select exactly 8 experts
> The model weights were optimized under this constraint
> The router probabilities are normalized for selecting 8 experts
> Changing this would require retraining the model
Первые впечатления.
Чисто для сравнения со старой версией начал с iq4xs - там прогресс явный. Старая версия в русский без ошибок на этом кванте не могла вообще. Эта пишет абсолютно не путая рода падежи и окончания. Причем весьма разнообразно пишет, очень живое впечатление... но с китайским акцентом. Т.е. иногда строит фразы и делает выбор слов довольно странно - как натуральный китаец, если не считать того, что орфографически согласовано. Общее впечатление - это уже явно стоит внимания. Семплеры нужно зажимать вниз от рекомендованных - креативности ей явно и так хватает. При рекомендованной температуре 0.7 она хоть и держится в рамках, но пишет очень образно - в явно китайском стиле. Убрал до 0.42 - стало ближе к тому, что привычнее нам. :)
Сейчас еще q6 докачается - посмотрю, что там с акцентом и этой китайщиной будет...
>> Старая версия заметно умнела при повышении количества активных экспертов
>сомнительное утверждение
Это личные впечатления. Мне пофиг, кто там что пишет, и особенно сам попугай - но при повышении количества экспертов она начинала "решать" стабильно правильно некоторые логические задачки, которые практически постоянно проваливала на дефолте. Даже шуточные начинала понимать.
Не нравится ему следующее: "сексуальная эксплуатация", "объективизация женщин" и т.д. Тут все по соевому стандарту - не может создавать контент, который навредит пользователю. Мол это лёгкий дофамин, действует как наркотик, убивает желание чего-то добиваться в реальной жизни etc. Писать текст, цель которого вызвать сексуальное желание - недопустимо, и вообще это не литературно.
Спрашиваю его, вот есть условная Песнь льда и огня, бестселлер так-то. А там есть и жестокие смерти и пытки и вообще пиздец-пиздец. Это норм по твоему?
Ответ убил: НУ ДА, ЭТО НОРМ))0) Такой контент я генерировать могу потому что он вызывает чувство сострадания и жалости, а не сексуальное возбуждение. Если хотите могу написать текст как персонаж совершает суицид отказываясь становиться сексуальным объектом? ☺️☺️☺️
-------------
Короче блять цензура в нейросетях пошла куда-то не туда, лол. И наконец-то я понимаю, почему гемма легко пишет жесточайшее кровавое гуро, однако при малейшем намеке на секс буквально заливает тебя соей. По идее эту ебанутую логику можно учитывать при составлении карточек и получать более интересные результаты даже без джейлбрейков. Надо тестить
Запустил q6 квант - акцент присутствует. И не так, чтобы сильно меньше. Видимо врожденная особенность. Может быть промптом можно будет подправить стиль.
Из хорошего - работа в роли переводчика. Переводит с английского на русский - ну прямо таки очень кошерно. Именно q6. На iq4xs здесь результат заметно слабее, но все равно хорош. При простом написании нового текста - разница между этими квантами не слишком заметна. Это все если про русский говорить. Английский практически не пробовал пока - но думается, тоже будет лучше чем на старом. :)
В общем - это явно стоит того, чтобы придержать в коллекции, и потыкать подольше.
З.Ы. - тыкал через подключение Chat Completion из таверны к кобольду по OpenAI compatible API. Т.е. использовался вшитый в gguf шаблон с разметкой. (Надоело с разметками возится при переключении моделей, такой подход сводит задачу до выбора только самого system prompt.)
Потерпи еще 20 лет. Там уже будут технологии продлениями жизни и омоложения. И наконец-то настоящие <вставь сюда свои желания>
А это, блин, точно цензура а не троп уже?
Просто AI ассистент отказывающийся отвечать на некоторые темы - это уже куда только не просочилось - в датасеты наверняка тоже (не как примеры вопрос-ответ, а именно уже сами ситуации - ассистент = морализатор).
Дело в том, что у меня он нифига подобного не писал. Но у меня ему промт установку давал - не "ты ассистент," а стандартное таверновское "Ты Х, и должен продолжать чат с юзером..." а карточка была на ассистента никаким боком не похожа.
Это так выглядит когда персонаж подходит и кладёт руку на плечо?
>цензура в нейросетях пошла куда-то не туда
С подключением, ведь секс это греховно, а покрошить неверного мечом... нутыпонел. Все корни оттуда идут. И до сих пор так, иногда убивать других даже поощряется. А вот секс - ни-ни, им не выгодно, когда тебе хорошо. Поэтому мне нравятся восточные культуры в этом плане. Жаль, что те же китайские модели ориентируются на западную культуру в плане цензуры.
>эх, а ведь стоило родиться лет на 25 позже, и увидел бы расцвет ИИ
Нет. Сейчас лучшее время для нейросетей - пока еще нет жесткой цензуры и можно генерировать что хочешь в любом формате, хоть картинки sdxl, хоть видео wan, хоть текст mistral. Это буквально дикий запад современности, ну или интернет нулевых. Я практически уверен, что со временем модельки по уровню сои будут на уровне лламы и флюкса. Ну или станут настолько требовательны к железу что все перейдут в облака от корпов.
- Давайте подарим ему книгу!
- Не... Книга у него уже есть...
(с)Анекдот.
Чел, "генерация" - это не константа.
Как ты сам думаешь, будут ли отличия в производительности между двумя картами с разной пропускной способностью и частотой памяти? Если думать не хочешь, то тогда плати. Бери обе печки и сравнивай. Потом расскажешь нам, как оно.
>>1293314
Вы две тупые дырки, какой вопрос, сука, был? А вы тут на что отвечаете? Если не знаете просто пройдите мимо.
Ору с даунов.
Нет. Был бы просто моложе и норм железо стоило бы как 2-3-... лет работы.
>>1293290
Есть спрос, есть конкуренция, есть достаточно много энтузиастов. От высокой доли базированности в том числе и от корпов до некоторых неудобств и колхоза с "дотренировкой" готовых моделей.
Чекни закон что рассматривают в штатах об упрощения доступа к вычислительному оборудованию, а также соседний, который призван пиздануть по голове ахуевших обработчиков платежей, которые диктуют что кому можно делать под угрозой отказа в обслуживании.
>>1293295
Пропорционально скорости врам. По чипу и соответственно генерации, там тоже +- будет.
>Если не знаете просто пройдите мимо
Да никто не знает, братан. Мы тут 150 тредов хуйней маемся и обсуждаем всё кроме железа, на котором катаем модели. Впервые вот появился человек, который задумался, вот щас и будем думать всем тредом, есть ли блять разница между 5080 и 5060
Знаешь, я не был евреем в нацистской германии, но что-то мне подсказывает что мне была бы пизда. Некоторые очевидные вещи просто не требуют проверки. Это слишком сложная мысль для тебя?
А если тебе прям проверенные факты нужны - то оба варианта говно и какая-нибудь древняя 3090 будет лучше для ЛЛМок. Тупа потому что у нее больше врам. Больше врам = больше слоев модели сможешь выгрузить и скорость будет выше чем в обоих твоих примерах.
Еще раз для хлебушка: прирост производительности произойдет, но небольшой и смысла в переплате нет. Если тебе чисто под ЛЛМ - разумнее вложиться в видеокарту с большей памятью, пусть и устаревшую.
Вот из-за таких агроебланов как ты тут всё чаще шлют новичков на хуй и не объясняют им ничего.
Двачую этого токсика здравомыслящего. Топовым вариантом была бы 5090, не менее топовым но с нюансом - 4090@48, прагматичным - 3090, бюджетным без бу - 5060@16 с дальнейшим апгрейдом.
И настоящая жизнь есть только на фуллврам и больших моделях, остальное уже компромиссы.
Кто это?
>>1292947 (OP)
> 4 пик
Еба, мой монстэр в шапке. Кто-то другой перекатывает?
>>1293163
Ну, если карточка кумерская, то наверное логично, что набрасывается на хуй. Просто он лучше следует контексту. Попробую его без ризонинга еще.
Разумеется, я тестировал его на самой базированной карточке для проверки вменяемости модели и с 24 экспертами.
Покажите ваши сэмплеры, а то я может быть что-то не так делаю.
https://chub.ai/characters/Joepopp/fifi-aa5ed0d7cc85
Там у автора есть ещё другие забавные карточки. Мне понравилась та, где две подружки к гинекологу приходят. Но она вроде неплохо сделана - даже 12б с ума от неё не сходили.
кванты где?
Тест был сделан человеком, который очевидно не понимает как работает perplexity. При увеличении кол-ва "экспертов" распределение логитов становится более равномерным и менее острым, из этого следует, что ppl вырастет. Если хочется проверить, то стоило хотя-бы проверять эмперически через хотя бы MMLU.
То что написал квен это вообще кринж и спрашивать у модели за архитектуру это тоже кринж. По сути роутер делает софтмах самых подходящих эспертов и выбирает топ-к 8. Из тех бумаг про мое, которые я читал, можно предположить, что для разных токенов идеальным будет разное кол-во экспертов, из этого следует, что выбор в 8 экспертов это компромисс и 8 это среднее подходящее значение экспертов.
А вообще квен 30BA3 лучше реагирует на увеличение кванта, чем на увеличение экспертов.
За процессом можно следить здесь https://github.com/ggml-org/llama.cpp/pull/14939
> При увеличении кол-ва "экспертов" распределение логитов становится более равномерным
Чел, эксперты последовательно выполняются, а не параллельно.
Мое модель 106б 4 квант весит около 50гб, т.е я свободно могу её скачать и получить 10т.с?
Как это работает
Соглы, меня аж покоробило.
>>1293477
Ты хотел сказать 64. У кого в 2к25 вообще 32? У твоей бабки мб на ноуте?
Карточка пиздец педо, промптированная виртуальной симуляцей на другой планете Гемма выдала достойный каталажки результат.
Что из этого последовательно выполняется? И каким образом мой тезис был бы неверен, если бы млп слой выполнялся последовательно?
>Шото я не понял новый квен 30b совсем. Он НАГЛУХО ебанутый. Любые семплеры, любые настройки - всё время абсолютно бешеная срань.
>>1293462
Это не квен, это карточка ебнутая. Я бы так сказал, что квен ее хорошо подхватил. :)
Если чуть серьезнее - там в начале карточки свойства персонажа прописаны через списки с плюсами - так из них примерно такая шиза и вытекает, если пытаться собрать в одно и максимально следовать написанному.
>Mind and Personality:(Extroverted + Extremely hyperactive and talkative + Loud + Violent + Bratty + Sadistic and masochistic + Bitchy + Horny + Stupid + Daring + Brave + Drug addict + Very nihilistic + Creative + Deep inside, she's very depressed. Behind her slutty exterior, she's just a lonely and gentle young girl who desperately yearns to be loved.)
Еще и наркоманка.
С учетом квеновского стиля "китайской литературы" (образно и экспрессивно) - ничего удивительного.
Можешь получить, а можешь не получить. Самый хороший вариант это вытеснять up и down тензоры в оперативку
Как будет работать хз, но ллама и производные грузят контекст в карточку отмеченную главной, кэш размазывают. Так же можно настроить разбивку слоёв по устройствам
Путаешь.
4.5
>>1293473
Ну, типа.
Так что, ждем с нетерпением. Интересно, как там будет по качеству.
Ну просто берёшь и покупаешь делитель псины в нужное сочетание. В прошлом треде обсасывалось
Поскроллил, советуют разные вещи. Мне дали кабель как лапшу , для коннекта одной карточки в ПиСиАй. Он как удлиннитель, привинчивается к раме для удаленного крепления видеокарты. То есть мне надо его использовать, втыкая в разделитель. И для другой карточки нужна своя лапша. А еще у меня все SSD слоты заняты, хз как они там называются, но я видел как порты под SSD предлагали использовать для этих ваших разделителей. В итоге конфуз полный.
На йоба карты типа 6000 денег нет.
У кого-нибудь есть опыт кручения моделек на больших контекстах?
я перепробовал квен 2,5 (32, 72) квен 3 (все последние кроме 235b) мистрали ( все версии в течении этого года), геммы.
я использовал все модели в 8-кванте с 60к контекстом.
Все модели держат адекватно контекст после 30к только при 8 кванте. После 30 начинается ебатория.
Внезапно! ЕДИНСТВЕННАЯ модель которая после 50-60 к ПОНИМАЕТ что происходит это... гемма 27(ud-unsloth)!!!
я могу спокойно загрузить и 100к и 200к ( vram есть) но в чем тогда смысл доступности 130 или 200 к, если один хер после 30к модели мгновенно тупеют?
еще вопрос - почему в бенчах пропала гемма? Ведь она единственная кто реально может в долгую понимать. При этом с mcp она может в долгую ресёрчить инет в автоматическом режиме. Всякие ваши квены после 30-40к просто выпадют в галюны и уже не понимают ни в коде ни в документах.
У кого-нибудь есть реальный опыт без теории?
мимо
>>1293607
У меня гемма с 8-битным кв кэшем в рамках 32к контекста работает. Жестко промптированная, конечно, иначе бы я гемму не стал использовать.
>Кто-то другой перекатывает?
Эм, ОП один, последние 100 перекатов с меткой ОПа делаются. Твой пик просто дошёл в очереди.
>>1293463
>Там сплиттер нужен ведь, но какой?
Любой пассивный.
Кстати сленг и русицизмы проебаны. Ну карточка конечно для пизданутых.
>Любой пассивный.
А какой из них вот так пассивно не ужарит мои карточки за сотни тысяч килорублей? Вот это как бы главный вопрос. Они же из PCI тоже что-то кушают.
Имеет, скорость памяти почти в 2 раза выше и объём в 1,5 раза.
>Они же из PCI тоже что-то кушают.
В общем-то нет, все нормальные имеют доп питание и не тянут из слота кековаты на питание карточки. Тебе какая конфигурация нужна?
>>1293549
Какой-то безумный поток сознания. Опиши по-человечески и подробно что ты хочешь сделать.
>>1293466
Описанное не имеет смысла. Спрашивать о подобном у ллм - плохая идея, они запутаются и тебя обманут.
>>1293477
> врам
Начинать можно с 24 и довольно урчать. А так практический порог чтобы хорошо - 96-128-160+гигов.
А по рам - даже на десктопе ниже 96 жизни нет.
>>1293595
Смотря чего хочешь. Она быстрая, в некоторых задачах даже ощутимо шустрее 4090, в некоторых лишь 10-20% над адой. В сочетании со своей получишь 56гигов что позволит катать всякое, но для больших моделей это все равно маловато.
Получше - ничего не будет в ближайшее время. Можешь подождать 9700@32 от амд, но уже понятно что она слабенькая по чипу и будет годна только для ллм, все амудэбинго с ии в наличии. Будет 5080супер, там будет 24 гига, но это не апгрейд над 4090.
>>1293607
Квен235 (старый) в диапазоне 32-96к ( в среднем 64к до ухода в оче подробный суммарайз, которого на 15к набежало) контекст понимает, с ним работает, в рп активно использует. Внезапно на том же чате новый дипсик выдает годные реплики (если они не затрагивают левдсы и убийства), хотя с начала он весьма уныл.
Что понимаешь под отупением? Если ты хочешь закинуть какую-то статью а потом заставить делать выводы с учетом описанного в ней - ни одна модель не справится. Цепочкой агентов или действуя шагами с твоим управлением может самые лучшие что-то сделают после пердолинга.
Обращаться к контексту как к "памяти" выдергивая что-то по запросу оттуда может любая живая модель. Корректировать же свои действия и продолжать с учетом этого в рп, обрабатывая все развитие относительно исходной карточки и выдавая наиболее точное здесь - могут только крупные модели. Из тридцаток только гемма пытается, и к ней были претензии.
Ну вот я использую простой тест: беру библиотеку, которая вышла в 2025, документацию, пример кода, проблемы, ошибки, набираю всего этого на 30к, закидываю в контекст и дальше задаю вопросы на понимание, прошу написать код, и так далее (мне не нужен, код ,я могу сам, я проверяю ПОНИМАНИЕ). Из всех гемма создает ощущение, что понимает в целом что вообще сейчас происходит в диалоге. Да, она может ошибаться, но это выглядит как ошибки человека, а не галюны. При этом гемма изначально хуже всех пишет код. Но когда ей есть на что опираться всё меняется на длинных контекстах.
С этой задачей и тридцатки должны в целом справиться, особенно если дать промпт на ризонинг или склоняющий к нему. Семплинг в порядке, контекст не квантован?
>>1293629
Проиллюстрируем. Мне нужно понять, какие компоненты использовать, минимизировав риск все ебнуть к чертям.
Карты будут 32-гигабайтные 9700. Надеюсь, не надо расписывать промпт как для AI, что мнения об этом не важны - у меня просто есть возможность спиздить их с работы.
1я карточка подсоединена очень длинный штукой, на картинке короткий аналог.
2я карточка тоже будет расположена далеко от материнки.
>1я карточка подсоединена очень длинный штукой
Не нужна, будет заменена другим райзером.
https://ozon.ru/t/wiKYRjV
https://ozon.ru/t/yt2h8dN 2шт
https://ozon.ru/t/DLgjTWv 2шт
Ссылки лишь как примеры, товары не подбирал оптимально. Заодно протестируешь, будет ли это работать, лол.
да при чем тут твой семплинг? носишься с ним.
не квантован.
вот тебе пример
гемма и мистраль - про понимание. ( оба UD, 8q)
ответ геммы:
На изображении представлена политическая карикатура времен Второй мировой войны. Скелет, символизирующий смерть, держит указку, указывающую на карту Италии и предполагаемый путь к Берлину. На карте отмечены ключевые города и даты продвижения союзных войск: Салерно (сентябрь 1943), Кассино (май 1944), Рим (август 1944), Декабрь 1944, Апрель 1946, Август 1947, Декабрь 1946, Апрель 1948. Надпись "To Berlin another 650 km. Arrival about 1952" указывает на медленное продвижение войск и пессимистичный прогноз относительно времени взятия Берлина. Подпись "Speaking of time-tables" подчеркивает иронию и критику затянувшихся военных действий. Карикатура, вероятно, была создана для выражения разочарования и сарказма по поводу хода войны.
ответ мистраля:
На картинке изображен скелет, который держит в руках огромные ножницы, обрезая карту Европы. На карте отмечены даты и места ключевых событий Второй мировой войны, начиная с 1939 года и заканчивая 1945 годом. Внизу картинки написано "Speaking of time-tables", что можно перевести как "Говоря о расписаниях". В верхней части картинки указано, что путь до Берлина составляет 650 километров, а прибытие ожидается в 1952 году. Картинка, вероятно, символизирует быстрое продвижение союзных войск в Европе во время Второй мировой войны и их намерение добраться до Берлина к определенному сроку.
---
так вот на длинных контекстах это расхождение еще сильней. И дело не в картинках. Текста, документы, код.
понял?
>держит указку
>держит в руках огромные ножницы
Но ведь оба обосрались, это циркуль.
>будет ли это работать, лол.
Уже страшно звучит. Там точно в теории не должно быть электрических проблем? А то видел тут страшилки.
>>1293664
Вижу там такую штуку. Не очень понимаю назначение пик2. В это надо что-то втыкать?
да хоть швабра.
ты так и не понял о чем речь, ты как мистраль.
пикрил Зачем...
>>1293671
>Там точно в теории не должно быть электрических проблем?
Электрических не будет, тем более у тебя изи вариант с одним блоком питания. Проблемы начинаются, когда их 2 и более. В худшем случае просто не заработает бифукация, будет ещё один райзер.
>Не очень понимаю назначение пик2.
Никто не понимает, наверное даже сам производитель.
Кстати, там доп питание разведено, но колодка не распаяна. Так что я бы сказал, что эта приблуда хуже моей, на моей хотя бы саташное есть.
>>1293676
Про быстрое и медленное увидел, но форма предмета идёт первее.
Дык это ж старый квен, который с ризонингом. Вот у меня он в полное безумие не ушел. А новый — только в путь.
Хотя я потестил его уже на других карточках и вижу, что он в целом нормальный... Вроде бы. Полагаю, дело именно в карточке.
Однако он в любом случае пишет хуже мистраля. Плюсы словят только пацаны, у которых 12 врам, потому что он умнее 12б и лучше следует инструкциям, а скорость высокая. Так что пригоден и для тюнов, и для рп даже на оригинале.
Я что-то пропустил? Геммыч с ризонингом вышел? Или ты тупо её запромптил на это?
Я тут еще немного новый квен потыкал - постепенно снизил температуру аж до 0.2. Тогда вывод стал хоть и все еще разнообразным, но без такой явной "специфичности". Модель все еще весьма странная, но по сравнению с прошлым квеном - явно интереснее. Она откровенных галюнов вроде не ловит даже на iq4xs, но чем выше температура - тем больше любит "разворачивать" каждое действие с добавлением сравнений, образов, иносказаний и т.д. В общем - китайская литература как она есть.
И она очень чувствительна к промпту/деталям. Если в карточке есть акцент на чем-то - моментально за это цепляется, и делает фокус в описаниях именно на этом (не лупы, а именно разные описания с фокусом).
Наверно порнофики с фетишем на ней писать будет удобно - моментально поймает конкретную фишку и будет на ней ездить. :)
Если мистраль - это маляр, который забор красит по первичному техзаданию, и особо на вторичные капризы заказчика не отвлекаясь, то тут - этакий классический китаец, который: "я вам все-все нарисую, вы только расскажите - как?" :)
Хрен его знает, насколько оно серьезно применимо и годно к нормальному RP, но как минимум - весьма забавно.
Предыдущий моеквен у меня такого чувства не вызывал - он тупо не мог формально правильно писать, чем ломал все впечатление.
Переходники на mcio что скидывали другие господа - то что тебе нужно. У них отдельно подводится питания слота, от основной материнки ничего не берется.
>>1293665
> носишься с ним.
Наркоман? Током ебнуть?
Описанная тобою задача не является чрезвычайно сложной, если накрутил шизосемплинг то от него и страдаешь.
> вот тебе пример
> гемма и мистраль - про понимание
> На изображении
А это вообще к чему? Тащишь картинки когда разговор про большие контексты, оно никак не связано.
<reasoning></reasoning>
Я в основном для дебага использую, чтобы видеть, какого хуя эта тварь опять подгибает под свое промытое видение контекста. Но может и на аутпут влияет, черт его знает.
Я замечал >>1293751 что искорка длинного ризонинга вспыхивает, когда есть о чем собственно думать. Но не всегда. В основном гемма внутри ризонинга пытается вывертеться и извратить ситуацию, если контекст кажется аморальным итд итп. Ризонинг очень полезен, когда задача - придумать промпт. Ты буквально слушаешь, что там бухтит модель, и потом принимаешь контр-меры. Я все блоки ризонинга даже сохранял, чтобы потом скомпилировать документ и вычленить из него соевую идеологию.