Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №131 /llama/
Аноним
15/05/25 Чтв 14:27:39
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1200733 (OP)
>>1198085 (OP)
Пропущено 502 постов, 72 с картинками.
>Qwen3-30B-A3B-UD-Q4_K_XL.gguf
Я 15 числа качал у меня вроде норм работает, но я его на llama.cpp кручу cpu версии
Но у меня там чисто рекомендованные семплеры
>>1206927 (OP)
ПЕРЕКАТ
>>1206927 (OP)
ПЕРЕКАТ
>>1206927 (OP)
Пропущено 33 постов, 1 с картинками.
Разработчик ии. На какой архитектуре ты планируешь это делать ? Как ты собираешься реализовывать ИИ ? Или под ии ты подразумеваешь стохастического попугая ?
>>1034895 (OP)
https://habr.com/ru/companies/minerva_media/articles/909130/
Прогрес не стоит на месте. Ось твой семьянин в удобном формате. Уже ЦЕЛЫХ ДВЕ ССЫЛКИ для тебя.
Или уже отпустило?
Прошлые треды: https://arhivach.hk/?tags=16252
Пропущено 499 постов, 97 с картинками.
>нельзя в чат жепете с сказать: "A ну-ка открой новый физический закон!".
Так и кожаному чювячку нельзя сказать "открой новый физический закон!". Ему нужно сказать: изучи 200 существующих работ и найди гипотетическую закономерность, которую мы будем практически проверять за 1е12 деняг.
Модели концентрируются на кодинге и агентах — там они SOTA, в остальных бенчах всё более спорно. Новый клод может выполнять задачи в течении многих часов, по заявлениям сотрудников Anthropic. Цены остаются от старых Sonnet и Opus.
Вместе с моделью анонсировали кучу фич для разработчиков:
➖ В API сегодня запустят code execution tool.
➖ Прямая интеграция Claude в IDE JetBrains и VS Code.
➖ К Claude в API теперь можно напрямую подключаться через MCP.
➖ В API добавили Files API и веб поиск.
➖ Prompt Caching теперь можно расширить до часа.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла gemini-2.5-pro-preview-05-06 - https://ai.google.dev/gemini-api/docs/models?hl=ru#gemini-2.5-pro-preview-05-06
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1200733 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1202405 (OP)
Пропущено 1509 постов, 201 с картинками.
А, лол, беру слова обратно тогда, действительно так. Но анон, ну ёпта. Макрос {{char}}? Тебя Мерчант покусал? Что еще хуже, у тебя имя на русском, и оно в английский промпт подставляется. Задумка-то годная, не спорю, но вот исполнение...
Прошлый тред: >>1187177 (OP) https://arhivach.site/thread/1175366/
Схожие тематические треды
• SD-тред (не аниме): >>1190374 (OP)
• Технотред: >>1118663 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 512 постов, 209 с картинками.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №130 /llama/
Аноним
13/05/25 Втр 11:24:03
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1198085 (OP)
>>1194373 (OP)
Пропущено 500 постов, 58 с картинками.
По указу компартии китая, память переходит со стандартной двоичной системы, на коммунизм. А для коммунизма нет ничего невозможного.
>>1203792 (OP)
ПЕРЕКАТ
>>1203792 (OP)
ПЕРЕКАТ
>>1203792 (OP)
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла gemini-2.5-pro-preview-05-06 - https://ai.google.dev/gemini-api/docs/models?hl=ru#gemini-2.5-pro-preview-05-06
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1189041 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1199326 (OP)
Пропущено 1547 постов, 163 с картинками.
https://www.udio.com/
Вышла версия 1.5 Allegro, по функционалу то же, что и 1.5, только в два раза быстрее. Лимит 400 кредитов в месяц (или 200 генераций по 33 секунды каждая) при условии ежедневного захода на сайт - 100 кредитов даются в месяц, и еще 10 кредитов даются ежедневно. Также можно фармить кредиты, выполняя специальные задания по оцениванию качества рандомных треков, это дает не больше 10 дополнительных кредитов в день. Для большего числа кредитов и более продвинутых фич типа инпэйнтинга или генерации с загруженного аудио нужно платить. Появилась возможность генерировать треки по 2 минуты 11 секунд, не больше 3 длинных треков (по 2 версии на каждый трек) в день на бесплатном тарифе.
♫ Suno ♫
https://app.suno.ai/ генерация на сайте
https://suno.ai/discord генерация на официальном discord-сервере
https://rentry.co/suno_tips советы по использованию
Лимиты: 10 генераций в день. Нужна платная подписка чтобы увеличить лимиты, либо можно абузить сервис через создание множества аккаунтов
♫ Riffusion ♫
https://www.riffusion.com/
Новинка, по качеству звука на уровне Суно или чуть выше. Лучший по качеству генератор текстов на русском. Количество генераций в день не ограничено, но за некоторые функции нужно платить (загрузку аудио, стемов и т.д.)
https://www.riffusion.com/docs
Инструкция по применению, тегам и прочему на английском.
Локальные модели:
Китайский YuE
https://github.com/multimodal-art-projection/YuE
Это буквально первый проект который может генерировать песни по заданному тексту локально. Оригинальная версия генерирует 30-секундный отрывок за 5 минут на 4090. На данный момент качество музыки низкое по сравнению с Суно.
Еще сайты по генерации ИИ-музыки, в них тоже низкое качество звука и понимание промпта по сравнению с Суно, либо какие-то другие недостатки типа слишком долгого ожидания генерации или скудного набора жанров, но может кому-то зайдет, поэтому без описания:
https://sonauto.ai/
https://www.beatoven.ai/
https://stableaudio.com/
https://www.loudly.com/music/ai-music-generator
______________
Напомню мега-сайт для сочинения аутентичных англоязычных текстов для ИИ-музыки в стиле известных групп и артистов от Пинк Флойда до Эминема. Зайти можно только через Дискорд.
https://codyai.cc/
Прошлый тред
>>1123903 (OP)
Пропущено 500 постов, 145 с картинками.
через что подписку оплачивал?
я чет потыкался, российские карты суна нахуй шлёт
Дуэт МЖ у самого не получается сделать, а я там кредитов дохуя уже слил, использую по работе. Гроул 50/50, иногда сама сеть рандомит, но чаще капс она понимает как гроул, ещё от промта зависит, помечено ли там чередование.
Плачу через казахскую карточку знакомых
База:
→ Приложение Forge https://github.com/lllyasviel/stable-diffusion-webui-forge
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/ (откуда, куда, как; начинать со страницы SDXL)
→ Менеджер расширений https://github.com/ltdrdata/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
Промпт должен быть кратким для SDXL и поэма для Flux и SD3.5, негативы обычно вредны.
ЧТО НОВОГО АКТУАЛЬНОГО ЗА ГОД
• HiDream
• Chroma
• SDXL модели: Natural Vision (NatVis), Illustious, NoobAI. Все 3 NSFW;
• SD3.5 Medium и Large;
• Flux dev и schnell;
• Auraflow. Станет Pony Diffusion v7;
• ComfyUI + Krita = Krita-ai-diffusion;
• DARE Merge;
• Лора DMD2 для SDXL ускоряет в 2 раза. Пример: 10 шагов, семплер LCM, шедулер beta, 832x1216,
CFG 1 для обычных SDXL https://huggingface.co/tianweiy/DMD2/blob/main/dmd2_sdxl_4step_lora_fp16.safetensors,
CFG 3 для NoobAI https://huggingface.co/YOB-AI/DMD2MOD/blob/main/LYC-DMD2MOD%20(Dmo%2BTffnoi).safetensors,
Оффлайн модели для картинок: Stable Diffusion, Flux, HiDream, OmniGen (Shitao), Auraflow, HunyuanDiT, Lumina, Kolors, Deepseek Janus-Pro, Sana
Оффлайн модели для анимации: Wan-Video, HunyuanVideo, Lightrics (LTXV), Mochi, Nvidia Cosmos, PyramidFlow, CogVideo, AnimationDIFF, Stable Video Diffusion
Приложения: ComfyUI, Fooocus, webui-forge, InvokeAI
► Предыдущий тред >>1167140 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 529 постов, 170 с картинками.
1) В ванильном флаксе любой намек сисик писик был выпилен из датасета целенаправленно, потому обучать проно-чекпоинты на базе флакса приходится с полного нуля. А поскольку сам флакс довольно тяжелый в плане ресурсов для обучения, с каким-то большим числом концептов и тегов особо не разгуляешься, в итоге получаются только какие-то очень урезанные в плане тегов и концептов модели, с однообразными мордами.
2) Люстра сделана для онеме и оптимизирована именно под онеме, по сути весь капасити люстры забит исключительно онемешными концептами и стилями. Что в общем-то адекватные люди (правильно делают) в основном и не задумываются делать реалистик чекпоинтов на основе люстры. И это либо кривые васяномержи с каким-то понями или олдовыми хл моделями. Либо получается как с флаксом, опять очень урезанный и ограниченный набор концептом с однообразными лицами, только еще хуже чем флакс.
И либо я что-то пропустил, либо за год в нише реалистик порн моделей до сих пор не появилось лучших альтернатив, чем продолжать насиловать пони?
>>1204274 (OP)
>>1204274 (OP)
>>1204274 (OP)
С помощью каких нейросетейИИ создаётся графика которая реагирует на пользователя? /vopros/
Аноним
13/05/25 Втр 19:33:15
№
Ответ
В я девчат лучшая которую первая кач слышал музыка этого этих песня цвет твой такой это от композитора выступлении вот лютый.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №129 /llama/
Аноним
11/05/25 Вск 01:22:54
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1194373 (OP)
>>1189041 (OP)
Пропущено 503 постов, 62 с картинками.
>Серия коммандеров - есть на разные весовые категории, заходит не только лишь всем, но регулярно всплывает в обсуждениях.
ИЧСХ я не знаю в чем дело. Они не шизят, не лупятся, не хорни.
Они действительно норм. Но ты ими пользуешься и такой : ну модель. Ну пишет. Ну местами умненькая.
Но чего то не хватает. Рука хейтить или восторгаться не поднимается. Я не понимаю что со мной не так.
>>1200733 (OP)
ПЕРЕКАТ
>>1200733 (OP)
ПЕРЕКАТ
>>1200733 (OP)
>еще две влезут смело под стекло, и еще одну (или даже две) мб можно как то присрать за стенку
Фантазер, просто примерь 2шт 4-слотовых и увидишь как упрутся в расположение слотов и стенку. Не говоря уже о наличии китов для вертикальной установки. С виду - это мммаксимально бесполезный корпус, объем которого невозможно тематически использовать. Переворот мп не дал ничего
Bing Image Creator и Designer
https://bing.com/images/create/
https://designer.microsoft.com/image-creator
Bing Image Creator - генератор изображений на базе DALL-E 3 от OpenAI, предоставленный компанией Microsoft. Designer - то же самое, но умеет делать широкоформатные и портретные изображения. Не доступны в России, используйте Proxy/VPN/Tor.
ImageFX
https://aitestkitchen.withgoogle.com/tools/image-fx
Нейросеть для создания изображений от Google на основе их модели Imagen 2. На данный момент доступна только для пользователей из США, Кении, Новой Зеландии и Австралии, необходимо использовать Proxy или VPN с IP этих стран.
Grok (X Image Generator)
https://ximagegenerator.com/
Grok - ИИ, разработанный компанией xAI, принадлежащей Илону Маску. На данный момент имеет самую слабую цензуру.
Flux
https://fluxpro.art/
https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
https://huggingface.co/spaces/black-forest-labs/FLUX.1-dev
Аналог Stable Diffusion от Black Forest Labs.
Stable Diffusion и прочие
https://civitai.com/generate
https://getimg.ai/text-to-image
https://www.mage.space/
https://problembo.com/ru
https://deepai.org/machine-learning-model/text2img
https://dezgo.com/
https://dream.ai/create
https://www.krea.ai/
Здесь в основном различные онлайн-генераторы на базе Stable Diffusion, имеющие ограничения на количество бесплатных генераций в день или в месяц, можно обойти, создав несколько аккаунтов с разных почтовых ящиков.
Временные почты для новых акков
https://10minutemail.com
https://fex.plus/
Дополнительные сервисы:
https://www.pixited.com/ - библиотека промптов с примерами
https://rentry.org/From-4ch-To-2ch-Dall-3-Prompts - сборник промптов
https://www.stylar.ai - AI-редактор картинок (дорисовка, инпейнт, работа с лицами)
https://astica.ai - сборник ИИ-сервисов, в частности довольно мощный де-промптер (Vision AI -> Describe and Caption)
https://huggingface.co/spaces/fffiloni/CLIP-Interrogator-2 - де-промптер, разбирающий вброшенный пик на теги
https://bigjpg.com/ - апскейлер до 4096х4096
https://runwayml.com/ , https://www.stablevideo.com - анимирование генераций
Прошлый тред (последний /dalle/ тред), а также гайды для пользователей DALL-E можно найти здесь: >>764910 (OP)
Пропущено 505 постов, 356 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла gemini-2.5-pro-preview-05-06 - https://ai.google.dev/gemini-api/docs/models?hl=ru#gemini-2.5-pro-preview-05-06
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1189041 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1196206 (OP)
Пропущено 1680 постов, 224 с картинками.
сегодня у меня был повторяющийся сон (по крайней мере мне так показалось, сейчас на холодную голову кажется что это был первый раз) про ритуал где нужно ходить по кругу и загадывать желание и ньярлатотеп его исполнит (подводных никаких). я загадал своё и потом сцена сменилась и я следовал за парой решал/жрецов которые пришли к каким-то якудзам чтобы исцелить тёлку которой они перебили ногу. перед ритуалом жрец её заставил звонить в морг и зачитывать данные о себе. не очень понятно зачем он это сделал ведь она ни в чём не виновата и особенно непонятно нахуя мой мозг ёбнул мне скример когда она зачитывала своё отчество.
это относится к теме треда потому что это буквально генерация нейросети плюс тред давно утонул и перекачен иди нахуй
Не который у хмылка, а до этого ещё как-то давно выкладывали. Там через thinking вроде GM, определяет.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №128 /llama/
Аноним
08/05/25 Чтв 14:31:44
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1189041 (OP)
>>1184583 (OP)
Пропущено 505 постов, 61 с картинками.
ПЕРЕКАТ
>>1198085 (OP)
ПЕРЕКАТ
>>1198085 (OP)
ПЕРЕКАТ
>>1198085 (OP)
> Вот тебе милая webm из первой серии SukaSuka и карточка яндере
Довольно урчит и дружески обнимает анончика добра
> пока я стражу не позвал
Но это порождает интерес остаться!
>>1198086
> в ДС
> половину из своей зп 12 лет
Если только на самой-самой южной границе области, формально относящейся к ДС.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла gemini-2.5-pro-preview-05-06 - https://ai.google.dev/gemini-api/docs/models?hl=ru#gemini-2.5-pro-preview-05-06
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1189041 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1193865 (OP)
Пропущено 1545 постов, 194 с картинками.
Пропущено 12 постов, 10 с картинками.
Прошлый тред: >>1180989 (OP) https://arhivach.site/thread/1171857/
Схожие тематические треды
• SD-тред (не аниме): >>1167140 (OP)
• Технотред: >>1118663 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 518 постов, 270 с картинками.
У тебя какие-то проблемы с восприятием действительности. Тут намного лучше, чем на слопогенах где между глазами еще 2 глаза влезет
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел новый слопшот гемини - https://ai.google.dev/gemini-api/docs/models?hl=ru#gemini-2.5-pro-preview-05-06
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1189041 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1191581 (OP)
Пропущено 1648 постов, 196 с картинками.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №127 /llama/
Аноним
04/05/25 Вск 19:06:56
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1184583 (OP)
>>1179397 (OP)
Пропущено 521 постов, 73 с картинками.
Конечно, я опоздал и вы уже все знаете, ну да похуй, значит повторюсь.
Итак, llama.cpp завезли --override-tensor, который позволяет выгружать не слои, а конкретные тензоры на видеокарту.
Умельцы сразу стали подбирать различные конфигурации.
По итогу читайте реддит, но что вышло у меня:
DDR4 ботлнечит, конечно. 3060 дает 5,4 условно, 4070 дает 6. Очевидно, видеокарты не на 10% отличаются.
Но, ускорение есть, оно примерно 30% (эта часть постоянная, а моешка выбрасывается на оперативу).
Для всяких 4-битных квантов это 6 гигов, плюс контекст куда сунете.
Итоговый конфиг такой:
Ubuntu 24.04.2
Cuda 12.4
Tesla P40 x2 (4070 я зажал из компа вытаскивать, а 3060 не моя)
Собираем llama.cpp, накидываем -ot с 4-9 тензорами на оперативе (1-3 на видяхах).
UD_Q3_K_XL квант (100 гигов) помещается: 40 в видяхи (плюс контекст), 60 в оперативу (64 гига, ибо 128 я ТОЖЕ ЗАЖАЛ).
Итогово получаю 5,5 токенов генерации, что для очень толстых 3 бит 235б модели — весьма недурно.
Короче, гуглите и изучайте -ot, берите оперативу и гоняйте 30b или 235b, по возможностям.
Я остался доволен технологией (но недоволен своим железом, на DDR5, вероятно, можно было получить вдвое быструю скорость, да).
Всем добра.
Кстати, выгрузка тензоров работает не только с МоЕ.
Можно обычные модели грузить не слоями, а хитрее. В зависимости от GGUF'а толстые тензоры (квантованные в Q5 какой-нибудь) кладешь на видяху, мелкие (в Q4/Q3) кидаешь на проц. По итогу распределение модель в VRAM / модель в RAM то же самое, но работает процентов на 10-50 быстрее, на реддите у кого сколько получилось.
Тоже плюшка.
Ах да. Говорят, там завезли картинки в llama-server.
openwebui ждет, ну или как-то так.
Поздравляю проце-страдальцев.
Но я не тестил.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла Gemini 2.5 Flash - https://deepmind.google/technologies/gemini/flash/
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1189041 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1189151 (OP)
Пропущено 1654 постов, 242 с картинками.
Моя первая карточка, держите.
