/ai/ - Искусственный интеллект

Железотред Аноним 08/04/23 Суб 23:09:22 № 212147 Ответ

168098450029553[...].jpg 124Кб, 1469x1102

Обсуждаем железо для локального запуска нейронок у себя дома, вычисляем самый дешевую конфигурацию для ML, и всё в таком духе.

Собираем суперкомпьютеры на Rapberry Pi и Google Coral Edge TPU.

Пропущено 16 постов
16 с картинками.

В тред Скрыть

Пропущено 161 постов, 16 с картинками.

Аноним 25/01/24 Чтв 23:28:19 № 626402

>>626104
Знания по теме слишком устарели, поверхностны и времени нет чтобы заняться, особенно в одиночку. На реддите в /fgpa было несколько веток и даже примитивные узлы собирали, там поищи.

Аноним 26/01/24 Птн 00:43:37 № 626486

>>626402
>На реддите в /fgpa было несколько веток и даже примитивные узлы собирали, там поищи.
Спасибо. Через время сам закуплю, может тут где-то тред создам, либо в /ra.

Аноним 26/01/24 Птн 02:05:59 № 626580

>>626486
Желаю успехов, интересно на такое посмотреть. Если в радаче - здесь линкани туда тогда.

Stable Diffusion тред X+64 /sd/ Аноним 21/01/24 Вск 21:19:40 № 621628 Ответ

Stable Diffusion тред X+64
======================================
Предыдущий тред >>606003 (OP) https://arhivach.top/?tags=13840
------------------------------------------
схожие тематические треды
- технотред >>570475 (OP)
- NAI-тред (аниме) >>615397 (OP)
========================
Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях.
Полный функционал в локальной установке (см. ниже)

Альтернативный онлайн-генератор №1: https://dezgo.com/txt2img
Альтернативный онлайн-генератор №2: https://civitai.com/ (create после регистрации)
Альтернативный онлайн-генератор №3: https://tensor.art/ (Workspace)

⚠️ Стандартные модели stable diffusion (v1.4 - v2.1) от Stability AI значительно отстают по качеству от кастомных моделей (см. ниже). Модели SD XL ставятся и запускаются так же как и любые другие модели SD.

🔞 Без цензуры и полный функци_анал: только ПК-версия
===========================================
🖥УСТАНОВКА НА ПК
WebUI от Automatic1111
https://teletype.in/@stablediffusion/PC_install_SD
------------------------------------------
Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов)
https://github.com/comfyanonymous/ComfyUI/releases
Примерные workflow для ComfyUI (можно загружать напрямую из картинок)
https://comfyanonymous.github.io/ComfyUI_examples/
------------------------------------------
А также простой в работе WebUI Fooocus
https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#download
===========================================
📚 РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) 👇
https://civitai.com/
------------------------------------------
📊 ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ 👇
https://teletype.in/@stablediffusion/samplers_steps
===========================================
🎨 ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ
https://teletype.in/@stablediffusion/artists_for_prompts

Пример запроса (Промпт): a tiger, wildlife photography, high quality, wildlife, soft focus, 8k, national geographic, photograph by nick nichols
------------------------------------------
♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) 👇
https://supagruen.github.io/StableDiffusion-CheatSheet/
https://www.artvy.ai/styles
------------------------------------------
💻ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ
https://www.itshneg.com/controlnet-upravlyaj-pozami-v-stable-diffusion/
==========================================
🧠 ОБУЧЕНИЕ МОДЕЛИ ПО СВОИМ КАРТИНКАМ 👇
https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora
https://civitai.com/models/train

Пропущено 226 постов
226 с картинками.

В тред Скрыть

Пропущено 520 постов, 226 с картинками.

Аноним 26/01/24 Птн 13:43:13 № 626948

>>626700
Каждый раз когда ты строчишь донос - на моей картинке умирает один котик.

Аноним 02/02/24 Птн 09:05:27 № 633587

>>625041
Как такое генерить? У меня хуйня выходит, взрыв отдельно, томаты отдельно.

Аноним 09/02/24 Птн 09:06:55 № 638663

>>621643
бпмп

AI Chatbot General № 442 /aicg/ Аноним 23/01/24 Втр 14:09:19 № 623604 Ответ

17054903520861.mp4 3425Кб, 960x720, 00:00:51

AI Chatbot General № 442

Общий вопросов по чат-ботам и прочего тред.

БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!

- Фронтэнды -
Agnai, SillyTavern, RisuAI
Гайды: https://rentry.co/ultimatespoonfeed | https://rentry.co/ClaudForAgnai | https://rentry.co/Tavern4Retards (Гайд на английском)
https://github.com/SillyLossy/TavernAI | https://github.com/ntvm/SillyTavern (Форк нв-куна)
https://agnai.chat/
https://risuai.xyz/

- GPT -
Джейлы на 4: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/fa5fv | https://dumb.one/gpt/prompts-scraped/ | https://rentry.co/lobstersgpt | https://rentry.org/crustcrunchGPT
Джейлы на Turbo: https://rentry.co/YAnonTurbo | https://rentry.co/hochi-reupload

- Claude -
Джейлы: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/ClaudeJB | https://rentry.co/absolutejail | https://rentry.co/fumblebum | https://rentry.co/pitanonbots#prompt-presets | https://rentry.co/XML-dva-shiza | https://rentry.co/crustcrunchJB
Удаление Human/Assistant: https://rentry.co/TavernNoAss | https://rentry.co/HumAssistOff
Префилл: https://rentry.co/aui3u

- Memo -
https://rentry.co/DrunkArcadeExample

- Bing -
https://github.com/Barbariskaa/Biba
Гайд: https://rentry.co/BingZOVEdition

- Локалки -
https://openrouter.ai/
Гайд (на английском): https://rentry.co/meta_golocal_list

- Ботоводчество -
https://www.chub.ai
https://booru.plus/+pygmalion
https://avakson.github.io/character-editor/
https://agnai.chat/editor
https://rentry.co/botmaking_tips
https://rentry.co/MothsBotMakingStuff
https://rentry.co/oaicards
Боты анонов: https://rentry.co/2chaicgtavernbots | https://rentry.co/2chaicgtavernbots2

- Село 2ch -
https://rentry.co/selo2ch

- Архив тредов -
https://rentry.org/2ch-aicg-archives

- GIGACHAT -
https://rentry.co/3bc7r

- Character.AI -
https://beta.character.ai/
https://rentry.co/CAI-FAQ
Боты анонов: https://rentry.co/CAI-bots

- Прочее -
Проверить ключ:
GPT
https://github.com/Buhankoanon/OAI_API_Checker | https://github.com/CncAnon1/kkc
Claude
https://github.com/Definetelynotbranon/Anthropic_API_Checker
Специфические промпты в джейл для дума: https://rentry.co/jinxbreaks
Забавные промпты после дума: https://rentry.co/weirdbutfunjailbreaksandprompts

- Конкурсы -
Общая информация: https://rentry.co/2chaicgthemedevents
Текущий конкурс: >>621468 →

- Шапка -
https://rentry.co/shapkacaitreda

БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!

- Локальные языковые модели: >>592177 (OP) -

- Прошлый тред: >>621451 (OP) -

Пропущено 187 постов
187 с картинками.

В тред Скрыть

Пропущено 1573 постов, 187 с картинками.

Аноним 26/01/24 Птн 08:35:47 № 626723

>>625733
Нина и Хина..

Аноним 27/01/24 Суб 01:42:11 № 627745

Забавно наблюдать как прогрессирует соя на клоде, если дать ему отвечать за своего персонажа без промпта и описания последи секса.

1.2 ебет хорошо повторяя стиль в котором я писал
1.3 ебет
2.0 I want to make you feel good too. Will you let me touch you here?" I ask softly, awaiting her consent
2.1 "Why don't we get dressed and go for a nice walk? Some fresh air and exercise will do us both good." I suggest gently. "And later, I can make us a special dinner and we can snuggle up with a movie. How does that sound?"

Аноним 27/01/24 Суб 22:31:54 № 628637

вояжеры тут?

NovelAI and WaifuDiffusion тред #126 /nai/ Аноним 18/01/24 Чтв 15:42:07 № 615397 Ответ

Генерируем тяночек!
Прошлый >>605353 (OP) https://arhivach.top/

Схожие тематические треды:
— Технотред >>570475 (OP)
— SD-тред (фотореализм) >>606003 (OP)
— Тред в /fur/ https://2ch.hk/fur/res/284014.html

Генерируя в коллабе на чужом блокноте будьте готовы к тому, что его автору могут отправляться все ваши промты, генерации, данные google-аккаунта, IP-адрес и фингерпринт браузера.

F.A.Q. треда: https://rentry.co/nai_faq
Устанавливаем на ПК/Облако: https://rentry.co/nai_faq#как-поставить-на-пкоблако
Полезные расширения для WebUI: https://rentry.co/sd_automatic_extensions

Гайды по промптам, списки тегов и негативных эмбеддингов: https://rentry.co/nai_faq#как-писать-промпты
Как работать с ControlNet: https://stable-diffusion-art.com/controlnet
Апскейл для начинающих: https://rentry.co/sd__upscale | https://rentry.co/SD_upscale | https://rentry.co/2ch_nai_guide#апскейл
Апскейл с помощью ControlNet (для продвинутых, требуется минимум 8GB VRAM): https://rentry.co/UpscaleByControl
Гайды по обучению лор: https://rentry.co/waavd | https://rentry.co/2chAI_hard_LoRA_guide

Каталог популярных моделей:
SD 1.5: https://civitai.com/collections/42742
SD XL: https://civitai.com/collections/42753

Каталог лор на стилизацию для SD 1.5: https://civitai.com/collections/42751
Прочие лоры с форча: https://huggingface.co/datasets/lazylora/gitgud-gayshit-raw/raw/main/gayshitbackup.txt

Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion

Оптимизации для слабых ПК (6GB VRAM и менее): https://rentry.co/voldy#-running-on-4gb-and-under-
Общие советы по оптимизациям: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Optimizations

АИ-галереи: https://aibooru.online | https://majinai.art
Англоязычные каталоги ссылок: https://rentry.co/sdgoldmine | https://rentry.co/sdg-link

Шаблон для переката: https://rentry.co/nwhci

Пропущено 228 постов
228 с картинками.

В тред Скрыть

Пропущено 517 постов, 228 с картинками.

Аноним 23/01/24 Втр 08:01:17 № 623358

>>623245
Жаль, что нейросеть не умеет в красивые письки.

Аноним 23/01/24 Втр 08:04:03 № 623359

>>623253
Уже давно нет.

Аноним 25/03/24 Пнд 06:43:53 № 680471

Утречка

AI Chatbot General № 441 /aicg/ Аноним 21/01/24 Вск 19:24:59 № 621451 Ответ

AI Chatbot General № 441

БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!

Общий вопросов по чат-ботам и прочего тред.

- Фронтэнды -
Agnai, SillyTavern, RisuAI
Гайды: https://rentry.co/ultimatespoonfeed | https://rentry.co/ClaudForAgnai | https://rentry.co/Tavern4Retards (Гайд на английском)
https://github.com/SillyLossy/TavernAI | https://github.com/ntvm/SillyTavern (Форк нв-куна)
https://agnai.chat/
https://risuai.xyz/

- GPT -
Джейлы на 4: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/fa5fv | https://dumb.one/gpt/prompts-scraped/ | https://rentry.co/lobstersgpt | https://rentry.org/crustcrunchGPT
Джейлы на Turbo: https://rentry.co/YAnonTurbo | https://rentry.co/hochi-reupload

- Claude -
Джейлы: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/ClaudeJB | https://rentry.co/absolutejail | https://rentry.co/fumblebum | https://rentry.co/pitanonbots#prompt-presets | https://rentry.co/XML-dva-shiza | https://rentry.co/crustcrunchJB
Удаление Human/Assistant: https://rentry.co/TavernNoAss | https://rentry.co/HumAssistOff
Префилл: https://rentry.co/aui3u

- Memo -
https://rentry.co/DrunkArcadeExample

- Bing -
https://github.com/Barbariskaa/Biba
Гайд: https://rentry.co/BingZOVEdition

- Локалки -
https://openrouter.ai/
Гайд (на английском): https://rentry.co/meta_golocal_list

- Ботоводчество -
https://www.chub.ai
https://booru.plus/+pygmalion
https://avakson.github.io/character-editor/
https://agnai.chat/editor
https://rentry.co/botmaking_tips
https://rentry.co/MothsBotMakingStuff
https://rentry.co/oaicards
Боты анонов: https://rentry.co/2chaicgtavernbots | https://rentry.co/2chaicgtavernbots2

- Село 2ch -
https://rentry.co/selo2ch

- Архив тредов -
https://rentry.org/2ch-aicg-archives

- GIGACHAT -
https://rentry.co/3bc7r

- Character.AI -
https://beta.character.ai/
https://rentry.co/CAI-FAQ
Боты анонов: https://rentry.co/CAI-bots

- Прочее -
Проверить ключ:
GPT
https://github.com/Buhankoanon/OAI_API_Checker | https://github.com/CncAnon1/kkc
Claude
https://github.com/Definetelynotbranon/Anthropic_API_Checker
Специфические промпты в джейл для дума: https://rentry.co/jinxbreaks
Забавные промпты после дума: https://rentry.co/weirdbutfunjailbreaksandprompts

- Конкурсы -
Общая информация: https://rentry.co/2chaicgthemedevents
Текущий конкурс: >>616016 →

- Шапка -
https://rentry.co/shapkacaitreda

БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!

- Локальные языковые модели: >>616097 (OP) -

- Прошлый тред: >>618889 (OP) -

Пропущено 175 постов
175 с картинками.

В тред Скрыть

Пропущено 1519 постов, 175 с картинками.

Аноним 23/01/24 Втр 14:13:52 № 623615

Я сделал флюорографию и даже вернулся домой... всем привет!

Аноним 23/01/24 Втр 14:14:02 № 623616

>>623612
Так там есть блок под мысли.
>Почему вы так не любите когда ГПТ описывает мысли и эмоции чаров
Потому что льет тупую воду и крешендо.

Аноним 23/01/24 Втр 14:14:39 № 623618

>>623612
Нахера мне знать мысли бота если они просто повторяют сцену или говорят что-то очевидное или то что я не хотел бы знать? Нахера мне читать эмоции если они и так видны через слова и действия?

Stable Diffusion тред X+63 /sd/ Аноним 13/01/24 Суб 11:52:52 № 606003 Ответ

Stable Diffusion тред X+63
======================================
Предыдущий тред >>592988 (OP) https://arhivach.top/?tags=13840
------------------------------------------
схожие тематические треды
- технотред >>570475 (OP)
- NAI-тред (аниме) >>605353 (OP)
========================
Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях.
Полный функционал в локальной установке (см. ниже)

Альтернативный онлайн-генератор №1: https://dezgo.com/txt2img
Альтернативный онлайн-генератор №2: https://civitai.com/ (create после регистрации)
Альтернативный онлайн-генератор №3: https://tensor.art/ (Workspace)

⚠️ Стандартные модели stable diffusion (v1.4 - v2.1) от Stability AI значительно отстают по качеству от кастомных моделей (см. ниже). Модели SD XL ставятся и запускаются так же как и любые другие модели SD.

🔞 Без цензуры и полный функци_анал: только ПК-версия
===========================================
🖥УСТАНОВКА НА ПК
WebUI от Automatic1111
https://teletype.in/@stablediffusion/PC_install_SD
------------------------------------------
Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов)
https://github.com/comfyanonymous/ComfyUI/releases
Примерные workflow для ComfyUI (можно загружать напрямую из картинок)
https://comfyanonymous.github.io/ComfyUI_examples/
===========================================
📚 РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) 👇
https://civitai.com/
------------------------------------------
📊 ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ 👇
https://teletype.in/@stablediffusion/samplers_steps
===========================================
🎨 ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ
https://teletype.in/@stablediffusion/artists_for_prompts

Пример запроса (Промпт): a tiger, wildlife photography, high quality, wildlife, soft focus, 8k, national geographic, photograph by nick nichols
------------------------------------------
♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) 👇
https://supagruen.github.io/StableDiffusion-CheatSheet/
https://www.artvy.ai/styles
------------------------------------------
💻ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ
https://www.itshneg.com/controlnet-upravlyaj-pozami-v-stable-diffusion/
==========================================
🧠 ОБУЧЕНИЕ МОДЕЛИ ПО СВОИМ КАРТИНКАМ 👇
https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora
https://civitai.com/models/train

Пропущено 216 постов
216 с картинками.

В тред Скрыть

Пропущено 545 постов, 216 с картинками.

Аноним 21/01/24 Вск 23:07:13 № 621836

>>621570
Учись, мой друг, ученье сокращает нам опыты
быстротекущей жизни.

Аноним 24/01/24 Срд 09:56:46 № 624502

>>621836
>наука сокращает нам опыты быстротекущей жизни
Мимо-надушнил

Аноним 30/01/24 Втр 08:31:07 № 630808

Бамп

AI Chatbot General № 440 /aicg/ Аноним 20/01/24 Суб 02:18:25 № 618889 Ответ

Пропущено 153 постов
153 с картинками.

В тред Скрыть

Пропущено 1516 постов, 153 с картинками.

Аноним 21/01/24 Вск 19:24:47 № 621450

>>621449
А зачем когда все еще есть дохуя апи ключей и проксь? Бабосик делаешь, да?

Аноним 21/01/24 Вск 19:25:26 № 621452

Перекат!

>>621451 (OP)
>>621451 (OP)
>>621451 (OP)

Аноним 21/01/24 Вск 19:32:47 № 621466

>>621450
У меня есть идея как делать бабосик, да. Я над ней активно работаю.

А проксями я не пользуюсь чисто из принципа

AI Chatbot General № 439 /aicg/ Аноним 18/01/24 Чтв 23:41:52 № 615992 Ответ

AI Chatbot General № 439

БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!

Общий вопросов по чат-ботам и прочего тред.

- Фронтэнды -
Agnai, SillyTavern, RisuAI
Гайды: https://rentry.co/ultimatespoonfeed | https://rentry.co/ClaudForAgnai | https://rentry.co/Tavern4Retards (Гайд на английском)
https://github.com/SillyLossy/TavernAI | https://github.com/ntvm/SillyTavern (Форк нв-куна)
https://agnai.chat/
https://risuai.xyz/

- GPT -
Джейлы на 4: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/fa5fv | https://dumb.one/gpt/prompts-scraped/ | https://rentry.co/lobstersgpt | https://rentry.org/crustcrunchGPT
Джейлы на Turbo: https://rentry.co/YAnonTurbo | https://rentry.co/hochi-reupload

- Claude -
Джейлы: https://rentry.co/SillyTavern_JB_Pack | https://rentry.co/ClaudeJB | https://rentry.co/absolutejail | https://rentry.co/fumblebum | https://rentry.co/pitanonbots#prompt-presets | https://rentry.co/XML-dva-shiza | https://rentry.co/crustcrunchJB
Удаление Human/Assistant: https://rentry.co/TavernNoAss | https://rentry.co/HumAssistOff
Префилл: https://rentry.co/aui3u

- Memo -
https://rentry.co/DrunkArcadeExample

- Bing -
https://github.com/Barbariskaa/Biba
Гайд: https://rentry.co/BingZOVEdition

- Локалки -
https://openrouter.ai/
Гайд (на английском): https://rentry.co/meta_golocal_list

- Ботоводчество -
https://www.chub.ai
https://booru.plus/+pygmalion
https://avakson.github.io/character-editor/
https://agnai.chat/editor
https://rentry.co/botmaking_tips
https://rentry.co/MothsBotMakingStuff
https://rentry.co/oaicards
Боты анонов: https://rentry.co/2chaicgtavernbots | https://rentry.co/2chaicgtavernbots2

- Село 2ch -
https://rentry.co/selo2ch

- Архив тредов -
https://rentry.org/2ch-aicg-archives

- GIGACHAT -
https://rentry.co/3bc7r

- Character.AI -
https://beta.character.ai/
https://rentry.co/CAI-FAQ
Боты анонов: https://rentry.co/CAI-bots

- Прочее -
Проверить ключ:
GPT
https://github.com/Buhankoanon/OAI_API_Checker | https://github.com/CncAnon1/kkc
Claude
https://github.com/Definetelynotbranon/Anthropic_API_Checker
Специфические промпты в джейл для дума: https://rentry.co/jinxbreaks
Забавные промпты после дума: https://rentry.co/weirdbutfunjailbreaksandprompts

- Конкурсы -
Общая информация: https://rentry.co/2chaicgthemedevents
Текущий конкурс: >>614288 →

- Шапка -
https://rentry.co/shapkacaitreda

БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!

- Локальные языковые модели: >>604568 (OP) -

- Прошлый тред: >>613739 (OP) -

Пропущено 236 постов
236 с картинками.

В тред Скрыть

Пропущено 1995 постов, 236 с картинками.

Аноним 20/01/24 Суб 04:18:12 № 619109

>>619108
Цена токенов зависит от модели.

Аноним 20/01/24 Суб 04:20:41 № 619111

>>619108
Наверное 32к много юзал. Там вроде чуть ли не в четыре раза дороже

Аноним 20/01/24 Суб 04:25:31 № 619115

>>618889 (OP)
>>618889 (OP)
>>618889 (OP)

Локальные языковые модели (LLM): LLaMA, MPT, Falcon и прочие №37 /llama/ Аноним 12/01/24 Птн 16:48:35 № 604568 Ответ

Альфа от контек[...].png 121Кб, 3090x1830

В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2-х бит, на кофеварке с подкачкой на микроволновку.

Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт).
Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.

Текущим трендом на данный момент являются мультимодальные модели, это когда к основной LLM сбоку приделывают модуль распознавания изображений, что в теории должно позволять LLM понимать изображение, отвечать на вопросы по нему, а в будущем и манипулировать им.

Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2.

Кроме LLaMA для анона доступны множество других семейств моделей:
Pygmalion- заслуженный ветеран локального кума. Старые версии были основаны на древнейшем GPT-J, новые переехали со своим датасетом на LLaMA, но, по мнению некоторых анонов, в процессе потерялась Душа ©
MPT- попытка повторить успех первой лламы от MosaicML, с более свободной лицензией. Может похвастаться нативным контекстом в 65к токенов в версии storywriter, но уступает по качеству. С выходом LLaMA 2 с более свободной лицензией стала не нужна.
Falcon- семейство моделей размером в 40B и 180B от какого-то там института из арабских эмиратов. Примечательна версией на 180B, что является крупнейшей открытой моделью. По качеству несколько выше LLaMA 2 на 70B, но сложности с запуском и малый прирост делаю её не самой интересной.
Mistral- модель от Mistral AI размером в 7B, с полным повторением архитектуры LLaMA. Интересна тем, что для своего небольшого размера она не уступает более крупным моделям, соперничая с 13B (а иногда и с 70B), и является топом по соотношению размер/качество.
Qwen - семейство моделей размером в 7B и 14B от наших китайских братьев. Отличается тем, что имеет мультимодальную версию с обработкой на входе не только текста, но и картинок. В принципе хорошо умеет в английский, но китайские корни всё же проявляется в чате в виде периодически высираемых иероглифов.
Yi - Неплохая китайская модель на 34B, способная занять разрыв после невыхода LLaMA соответствующего размера

Сейчас существует несколько версий весов, не совместимых между собой, смотри не перепутай!
0) Оригинальные .pth файлы, работают только с оригинальным репозиторием. Формат имени consolidated.00.pth
1) Веса, сконвертированные в формат Hugging Face. Формат имени pytorch_model-00001-of-00033.bin
2) Веса, квантизированные в GGML/GGUF. Работают со сборками на процессорах. Имеют несколько подформатов, совместимость поддерживает только koboldcpp, Герганов меняет форматы каждый месяц и дропает поддержку предыдущих, так что лучше качать последние. Формат имени ggml-model-q4_0, расширение файла bin для GGML и gguf для GGUF. Суффикс q4_0 означает квантование, в данном случае в 4 бита, версия 0. Чем больше число бит, тем выше точность и расход памяти. Чем новее версия, тем лучше (не всегда). Рекомендуется скачивать версии K (K_S или K_M) на конце.
3) Веса, квантизированные в GPTQ. Работают на видеокарте, наивысшая производительность (особенно в Exllama) но сложности с оффлоадом, возможность распределить по нескольким видеокартам суммируя их память. Имеют имя типа llama-7b-4bit.safetensors (формат .pt скачивать не стоит), при себе содержат конфиги, которые нужны для запуска, их тоже качаем. Могут быть квантованы в 3-4-8 бит (Exllama 2 поддерживает адаптивное квантование, тогда среднее число бит может быть дробным), квантование отличается по числу групп (1-128-64-32 в порядке возрастания качества и расхода ресурсов).

Основные форматы это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной.
В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090.
Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это серьёзно замедлит работу. Лучше оставить запас.

Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в gguf формате. Например вот эту:
https://huggingface.co/TheBloke/Frostwind-10.7B-v1-GGUF/blob/main/frostwind-10.7b-v1.Q5_K_M.gguf
Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure.

Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется!

Для удобства можно использовать интерфейс TavernAI
1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern
2. Запускаем всё добро
3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001
4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca
5. Радуемся

Инструменты для запуска:
https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах
https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ

Ссылки на модели и гайды:
https://huggingface.co/TheBloke Основной поставщик квантованных моделей под любой вкус.
https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском
https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне
https://rentry.co/lmg_models Самый полный список годных моделей
http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования
https://rentry.co/llm-training Гайд по обучению своей лоры
https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного
https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально

Шапка треда находится в https://rentry.co/llama-2ch (переезжаем на https://2ch-ai.gitgud.site/wiki/llama/ ), предложения принимаются в треде

Предыдущие треды тонут здесь:
>>597686 (OP)
>>592177 (OP)

Пропущено 82 постов
82 с картинками.

В тред Скрыть

Пропущено 539 постов, 82 с картинками.

Аноним 19/01/24 Птн 00:15:24 № 616037

я заметил много людей нахваливают nous-hermes-2.

Аноним 19/01/24 Птн 01:14:10 № 616099

ПЕРЕКАТ

>>616097 (OP)

>>616097 (OP)

Аноним 19/01/24 Птн 08:26:58 № 616250

>>616005
>Не очень понял что ты хотел сказать.
Там выше был скриншот параметров генерации. Euler a, латентный апскейлер, вот это всё.

>>616017
Получается, уже и не 99% семплеров не сходятся за 30 шагов.

Российские нейросети хорошо знающие Рунет? Аноним 18/01/24 Чтв 15:11:23 № 615359 Ответ

Есть российские нейросети которые способны проконсультировать меня юридически или по банковской сфере?

В тред Скрыть

Аноним 18/01/24 Чтв 15:24:34 № 615373

image.png 28Кб, 1008x201

Алиса какое-то окуколженное говно говна в этом плане.

> Понимаю, что ответ на этот вопрос вам бы очень пригодился. Но такие темы я не обсуждаю, чтобы никому не было обидно или неприятно. Спросите что-нибудь другое.

NovelAI and WaifuDiffusion тред #125 /nai/ Аноним 12/01/24 Птн 21:41:22 № 605353 Ответ

Генерируем тяночек!
Прошлый >>593195 (OP) https://arhivach.top/thread/971677/

Схожие тематические треды:
— Технотред >>570475 (OP)
— SD-тред (фотореализм) >>592988 (OP)
— Тред в /fur/ https://2ch.hk/fur/res/284014.html

Генерируя в коллабе на чужом блокноте будьте готовы к тому, что его автору могут отправляться все ваши промты, генерации, данные google-аккаунта, IP-адрес и фингерпринт браузера.

F.A.Q. треда: https://rentry.co/nai_faq
Устанавливаем на ПК/Облако: https://rentry.co/nai_faq#как-поставить-на-пкоблако
Полезные расширения для WebUI: https://rentry.co/sd_automatic_extensions

Гайды по промптам, списки тегов и негативных эмбеддингов: https://rentry.co/nai_faq#как-писать-промпты
Как работать с ControlNet: https://stable-diffusion-art.com/controlnet
Апскейл для начинающих: https://rentry.co/sd__upscale | https://rentry.co/SD_upscale | https://rentry.co/2ch_nai_guide#апскейл
Апскейл с помощью ControlNet (для продвинутых, требуется минимум 8GB VRAM): https://rentry.co/UpscaleByControl
Гайды по обучению лор: https://rentry.co/waavd | https://rentry.co/2chAI_hard_LoRA_guide

Каталог популярных моделей:
SD 1.5: https://civitai.com/collections/42742
SD XL: https://civitai.com/collections/42753

Каталог лор на стилизацию для SD 1.5: https://civitai.com/collections/42751
Прочие лоры с форча: https://huggingface.co/datasets/lazylora/gitgud-gayshit-raw/raw/main/gayshitbackup.txt

Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion

Оптимизации для слабых ПК (6GB VRAM и менее): https://rentry.co/voldy#-running-on-4gb-and-under-
Общие советы по оптимизациям: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Optimizations

АИ-галереи: https://aibooru.online | https://majinai.art
Англоязычные каталоги ссылок: https://rentry.co/sdgoldmine | https://rentry.co/sdg-link

Шаблон для переката: https://rentry.co/nwhci

Пропущено 249 постов
249 с картинками.

В тред Скрыть

Пропущено 500 постов, 249 с картинками.

Аноним 18/01/24 Чтв 15:42:39 № 615399

>>615397 (OP)
>>615397 (OP)
>>615397 (OP)

Аноним 18/01/24 Чтв 15:43:42 № 615401

Шаблон в следующий раз может будет тематический. Или не будет.

Аноним 26/03/24 Втр 07:03:14 № 681821

>>609907
Пробую напрямую на азиатов а то останется 2 прогона х2 и т.д. Оно не у меня никаких эмоций, я назад не пробовал, фейл, переключился на 1.5. На данном случае только

ИИ - ассистент Аноним 16/01/24 Втр 14:56:00 № 611430 Ответ

Меня уже давно гложет вопрос, нету ли, или когда будет нейросеть, которая смогла бы выступать в роли помощника на рабочем столе моего ноута, с всеми правами и доступами как в интернет и анализированием данных, так и с доступом к взаимодействию с файлами компьютера (с позволения отправителя такого запроса). Было бы замечательно не чурайся бы она использовать других нейросетей себе на пользу, выступая в роли некого бригадира/посредника что-ли.

Пропущено 1 постов
1 с картинками.

В тред Скрыть

Пропущено 1 постов, 1 с картинками.

Аноним 17/01/24 Срд 18:25:47 № 614204

Пока что нет, имхо приходи через лет 5 как минимум.
Сейчас из подобных наработок, насколько мне известно, есть разве что AutoGPT и ему подобные агенты, но они скорее экспериментальные прототипы, нежели рабочие продукты + слишком тупы, ограничены, ненадёжны и дороги.
Может быть мелкомягкие в шинду что-то наподобие Copilot'а завезут в обозримом будущем.

Аноним 17/01/24 Срд 21:15:04 № 614532

>>614204
Спасибки!

Аноним 17/01/24 Срд 21:32:30 № 614562

>>611430 (OP)
Копайлот уже встроен в 11 винде.

AI Chatbot General № 438 /aicg/ Аноним 17/01/24 Срд 14:19:11 № 613739 Ответ

Пропущено 157 постов
157 с картинками.

В тред Скрыть

Пропущено 1556 постов, 157 с картинками.

Аноним 18/01/24 Чтв 23:46:07 № 615998

>>615994
Я хоть у тебя и не сижу, но постарайся для анонов подольше проксю держать, хоть олды без тряски смогут покумить. А то сам видишь, треды у нас нынче в говне

Аноним 18/01/24 Чтв 23:53:52 № 616004

>>615998
Как по ключам, я ток 1 норм сорц нашёл, посмотрим, насколько хватит. Ещё локуст прокси мб поднимать буду.

Аноним 19/01/24 Птн 00:20:02 № 616043

>>615987
То есть самодостаточный и независимый.
Надо будет поиграться.

Ищу хостера с почасовой арендой VPS компов серверов с GPU (RTX 4090) на Windows Аноним 15/01/24 Пнд 13:25:18 № 610058 Ответ

Желательно с возможностью выбрать от 1 до 6 GPU на одной машине.

Если нет почасовой оплаты, подойдет и 24h.

В тред Скрыть

Аноним 16/01/24 Втр 21:37:08 № 612143

>>610058 (OP)
А в чём смысл брать почасовую оплату если ты можешь гуглить воркспейсы уже готовые для нейронок, у того же яндекса уже давно есть воркспейс что вроде как чуть ли не посекундно тарифицирует

AI Chatbot General № 437 /aicg/ Аноним 16/01/24 Втр 00:51:08 № 611009 Ответ

Пропущено 209 постов
209 с картинками.

В тред Скрыть

Пропущено 1964 постов, 209 с картинками.

Аноним 17/01/24 Срд 15:14:02 № 613832

>>613791
Да и тут его уже слили

Аноним 17/01/24 Срд 15:24:57 № 613856

>>613832
ложь, не было

Аноним 17/01/24 Срд 15:32:14 № 613886

>>613856
истина, всё есть, надо лишь...(читать продолжение)

AI Chatbot General № 436 /aicg/ Аноним 13/01/24 Суб 23:26:25 № 607907 Ответ

Пропущено 152 постов
152 с картинками.

В тред Скрыть

Пропущено 1968 постов, 152 с картинками.

Аноним 17/01/24 Срд 09:27:09 № 613462

>>613020
да даже если скинут, полтора анона увидит

Аноним 17/01/24 Срд 15:13:25 № 613830

Аноны, есть ли какая нить промптомагия для того чтобы намекнуть боту что надо быть менее соевым?

Аноним 17/01/24 Срд 15:24:34 № 613855

>>613830
называется джейлы...

AI Chatbot General № 435 /aicg/ Аноним 13/01/24 Суб 09:41:29 № 605924 Ответ

он ((знает)).png 24Кб, 733x192

Пропущено 177 постов
177 с картинками.

В тред Скрыть

Пропущено 1731 постов, 177 с картинками.

Аноним 14/01/24 Вск 00:54:13 № 608255

>>608247
И тебя тоже с прошедшими, анончик. Надеюсь тебя порадуют эти новые карточки.

Аноним 14/01/24 Вск 00:54:27 № 608256

>>608226
О, я твой старый промпт с гайдлайнами поставил на основную 4, вроде поживее стало.

> На нечурбо четверке норм так писал, сои стало меньше
Но сама нечурба достаточно неплохая.

> (чурба все еще соевая)
А вот скрины с чурбой я раза два кидал. Я там запретил использовать риторические вопросы, спросил, почему она их использовала, и в ответе на этот вопрос чурба их снова выдала.

> Мб вместе так и создадим ультимативный пробивной промпт на чурбу.
Пока еще никто не смог его создать. Когда она только вышла, я пользовался первым пресетом из своего рентри, но потом он осоевился и пришлось второй использовать. А теперь она графоманит вообще на любых.

Наверное, был прав тот анон, что писал про осоевение чурбы, чтобы был больше аутпут и текло больше денег, сама-то она дешевая.

Но у меня есть идея. Вероятно, можно попробовать не запрещать, а замещать стиль чурбы своим.

Но пока что это выглядит, как турба 16к с увеличенным контекстом.

Кстати, когда случайно на нее переключился, мой перс стал просить выпивку, хотя у нее прописана строгая наприязнь к алкоголю.

Сорян, я плохо соображаю, мало спал

Аноним 14/01/24 Вск 00:55:07 № 608258

>>608254
A man of culture.

Stable Diffusion тред X+62 /sd/ Аноним 06/01/24 Суб 14:24:19 № 592988 Ответ

Stable Diffusion тред X+62
======================================
Предыдущий тред >>585202 (OP) https://arhivach.top/?tags=13840
------------------------------------------
схожие тематические треды
- технотред >>570475 (OP)
- NAI-тред (аниме) >>588818 (OP)
========================
Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях.
Полный функционал в локальной установке (см. ниже)

Альтернативный онлайн-генератор №1: https://dezgo.com/txt2img
Альтернативный онлайн-генератор №2: https://civitai.com/ (create после регистрации)
Альтернативный онлайн-генератор №3: https://tensor.art/ (Workspace)

⚠️ Стандартные модели stable diffusion (v1.4 - v2.1) от Stability AI значительно отстают по качеству от кастомных моделей (см. ниже). Модели SD XL ставятся и запускаются так же как и любые другие модели SD.

🔞 Без цензуры и полный функци_анал: только ПК-версия
===========================================
🖥УСТАНОВКА НА ПК
WebUI от Automatic1111
https://teletype.in/@stablediffusion/PC_install_SD
------------------------------------------
Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов)
https://github.com/comfyanonymous/ComfyUI/releases
Примерные workflow для ComfyUI (можно загружать напрямую из картинок)
https://comfyanonymous.github.io/ComfyUI_examples/
===========================================
📚 РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) 👇
https://civitai.com/
------------------------------------------
📊 ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ 👇
https://teletype.in/@stablediffusion/samplers_steps
===========================================
🎨 ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ
https://teletype.in/@stablediffusion/artists_for_prompts

Пример запроса (Промпт): a tiger, wildlife photography, high quality, wildlife, soft focus, 8k, national geographic, photograph by nick nichols
------------------------------------------
♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) 👇
https://supagruen.github.io/StableDiffusion-CheatSheet/
https://www.artvy.ai/styles
------------------------------------------
💻ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ
https://www.itshneg.com/controlnet-upravlyaj-pozami-v-stable-diffusion/
==========================================
🧠 ОБУЧЕНИЕ МОДЕЛИ ПО СВОИМ КАРТИНКАМ 👇
https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora
https://civitai.com/models/train

Пропущено 240 постов
240 с картинками.

В тред Скрыть

Пропущено 525 постов, 240 с картинками.

Аноним 21/01/24 Вск 21:50:36 № 621698

Тут только фап контент котируется? Может это я криворукий, но имхо, сд плохо генерирует людей и животных. Это надо либо в фотошопе напильником допиливать, либо кушать дефолтные скучные позы, либо получать мутантов. Я устал и отложил в долгий ящик идею с генерацией человеков, решил заняться пейзажами и неодушевлёнными рисунками. Как вам?

Аноним 21/01/24 Вск 21:52:03 № 621707

Аноним 22/04/24 Пнд 13:12:56 № 713657

Почему в треде так много любителей комфи, в автоматике порезаны возможности?

NovelAI and WaifuDiffusion тред #124 /nai/ Аноним 06/01/24 Суб 17:18:14 № 593195 Ответ

Генерируем тяночек!
Прошлый >>588818 (OP) https://arhivach.top/thread/969599/

Схожие тематические треды:
— Технотред >>570475 (OP)
— SD-тред (фотореализм) >>585202 (OP)
— Тред в /fur/ https://2ch.hk/fur/res/284014.html

Генерируя в коллабе на чужом блокноте будьте готовы к тому, что его автору могут отправляться все ваши промты, генерации, данные google-аккаунта, IP-адрес и фингерпринт браузера.

F.A.Q. треда: https://rentry.co/nai_faq
Устанавливаем на ПК/Облако: https://rentry.co/nai_faq#как-поставить-на-пкоблако
Полезные расширения для WebUI: https://rentry.co/sd_automatic_extensions

Гайды по промптам, списки тегов и негативных эмбеддингов: https://rentry.co/nai_faq#как-писать-промпты
Как работать с ControlNet: https://stable-diffusion-art.com/controlnet
Апскейл для начинающих: https://rentry.co/sd__upscale | https://rentry.co/SD_upscale | https://rentry.co/2ch_nai_guide#апскейл
Апскейл с помощью ControlNet (для продвинутых, требуется минимум 8GB VRAM): https://rentry.co/UpscaleByControl
Гайды по обучению лор: https://rentry.co/waavd | https://rentry.co/2chAI_hard_LoRA_guide

Каталог популярных моделей:
SD 1.5: https://civitai.com/collections/42742
SD XL: https://civitai.com/collections/42753

Каталог лор на стилизацию для SD 1.5: https://civitai.com/collections/42751
Прочие лоры с форча: https://huggingface.co/datasets/lazylora/gitgud-gayshit-raw/raw/main/gayshitbackup.txt

Где искать модели, эмбединги, лоры, вайлдкарды и всё остальное: https://civitai.com | https://huggingface.co/models?other=stable-diffusion

Оптимизации для слабых ПК (6GB VRAM и менее): https://rentry.co/voldy#-running-on-4gb-and-under-
Общие советы по оптимизациям: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Optimizations

АИ-галереи: https://aibooru.online | https://majinai.art
Англоязычные каталоги ссылок: https://rentry.co/sdgoldmine | https://rentry.co/sdg-link

Шаблон для переката: https://rentry.co/nwhci

Пропущено 207 постов
207 с картинками.

В тред Скрыть

Пропущено 513 постов, 207 с картинками.

Аноним 12/01/24 Птн 23:06:23 № 605514

>>605480
А, так значит недостающие это не косяк а лор, уважение у нее с рождения 9

Аноним 13/01/24 Суб 07:39:59 № 605895

>>604386
чЁтенько, прям заебись, крутяг

Аноним 15/01/24 Пнд 17:31:00 № 610527

>>605480
Вот и растит хвосты как попало.

Локальные языковые модели (LLM): LLaMA, MPT, Falcon и прочие №36 /llama/ Аноним 09/01/24 Втр 18:51:42 № 597686 Ответ

В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2-х бит, на кофеварке с подкачкой на микроволновку.

Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт).
Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.

Текущим трендом на данный момент являются мультимодальные модели, это когда к основной LLM сбоку приделывают модуль распознавания изображений, что в теории должно позволять LLM понимать изображение, отвечать на вопросы по нему, а в будущем и манипулировать им.

Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2.

Кроме LLaMA для анона доступны множество других семейств моделей:
Pygmalion- заслуженный ветеран локального кума. Старые версии были основаны на древнейшем GPT-J, новые переехали со своим датасетом на LLaMA, но, по мнению некоторых анонов, в процессе потерялась Душа ©
MPT- попытка повторить успех первой лламы от MosaicML, с более свободной лицензией. Может похвастаться нативным контекстом в 65к токенов в версии storywriter, но уступает по качеству. С выходом LLaMA 2 с более свободной лицензией стала не нужна.
Falcon- семейство моделей размером в 40B и 180B от какого-то там института из арабских эмиратов. Примечательна версией на 180B, что является крупнейшей открытой моделью. По качеству несколько выше LLaMA 2 на 70B, но сложности с запуском и малый прирост делаю её не самой интересной.
Mistral- модель от Mistral AI размером в 7B, с полным повторением архитектуры LLaMA. Интересна тем, что для своего небольшого размера она не уступает более крупным моделям, соперничая с 13B (а иногда и с 70B), и является топом по соотношению размер/качество.
Qwen - семейство моделей размером в 7B и 14B от наших китайских братьев. Отличается тем, что имеет мультимодальную версию с обработкой на входе не только текста, но и картинок. В принципе хорошо умеет в английский, но китайские корни всё же проявляется в чате в виде периодически высираемых иероглифов.
Yi - Неплохая китайская модель на 34B, способная занять разрыв после невыхода LLaMA соответствующего размера

Сейчас существует несколько версий весов, не совместимых между собой, смотри не перепутай!
0) Оригинальные .pth файлы, работают только с оригинальным репозиторием. Формат имени consolidated.00.pth
1) Веса, сконвертированные в формат Hugging Face. Формат имени pytorch_model-00001-of-00033.bin
2) Веса, квантизированные в GGML/GGUF. Работают со сборками на процессорах. Имеют несколько подформатов, совместимость поддерживает только koboldcpp, Герганов меняет форматы каждый месяц и дропает поддержку предыдущих, так что лучше качать последние. Формат имени ggml-model-q4_0, расширение файла bin для GGML и gguf для GGUF. Суффикс q4_0 означает квантование, в данном случае в 4 бита, версия 0. Чем больше число бит, тем выше точность и расход памяти. Чем новее версия, тем лучше (не всегда). Рекомендуется скачивать версии K (K_S или K_M) на конце.
3) Веса, квантизированные в GPTQ. Работают на видеокарте, наивысшая производительность (особенно в Exllama) но сложности с оффлоадом, возможность распределить по нескольким видеокартам суммируя их память. Имеют имя типа llama-7b-4bit.safetensors (формат .pt скачивать не стоит), при себе содержат конфиги, которые нужны для запуска, их тоже качаем. Могут быть квантованы в 3-4-8 бит (Exllama 2 поддерживает адаптивное квантование, тогда среднее число бит может быть дробным), квантование отличается по числу групп (1-128-64-32 в порядке возрастания качества и расхода ресурсов).

Основные форматы это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной.
В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090.
Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это серьёзно замедлит работу. Лучше оставить запас.

Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в gguf формате. Например вот эту:
https://huggingface.co/TheBloke/Frostwind-10.7B-v1-GGUF/blob/main/frostwind-10.7b-v1.Q5_K_M.gguf
Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure.

Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется!

Для удобства можно использовать интерфейс TavernAI
1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern
2. Запускаем всё добро
3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001
4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca
5. Радуемся

Инструменты для запуска:
https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах
https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ

Ссылки на модели и гайды:
https://huggingface.co/TheBloke Основной поставщик квантованных моделей под любой вкус.
https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском
https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне
https://rentry.co/lmg_models Самый полный список годных моделей
http://ayumi.m8geil.de/ayumi_bench_v3_results.html Рейтинг моделей для кума со спорной методикой тестирования
https://rentry.co/llm-training Гайд по обучению своей лоры
https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного
https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально

Шапка треда находится в https://rentry.co/llama-2ch (переезжаем на https://2ch-ai.gitgud.site/wiki/llama/ ), предложения принимаются в треде

Предыдущие треды тонут здесь:
>>592177 (OP)
>>583852 (OP)

Пропущено 70 постов
70 с картинками.

В тред Скрыть

Пропущено 506 постов, 70 с картинками.

Аноним 12/01/24 Птн 17:17:47 № 604643

>>604633
Такая же была проблема, на wizard-vicuna 13b 4b-128g act-order, поставил другую модель и все ок

Аноним 12/01/24 Птн 18:35:42 № 604837

>>603665
от души, братиш, заценю. вообще было бы неплохо собрать на вики список интересных моделей.

Аноним 14/01/24 Вск 03:08:13 № 608495

Ботоводам Сап. Вкатился недавно, скачал всё по вашим гайдам. Но вот дела какие:
Модель которую я скачал (из гайда) отвечает мне "привет и тебе" на мой привет примерно минуты 3.
При этом у меня 3060ti, 16гб очень быстрой озу и i510400.
Я что-то делаю не так или это норма на моём конфиге?