В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
>>1127573 > тогда их модели было мягко сказать каловыми. Вполне возможно. Год назад я темой не интересовался, но когда вкатывался в ноябре - все топовые на тот момент (и до сих пор) Мистрали базируются на Cydonia.
> Вообще да, но не с той скоростью, которую выдает обниморда. Модельку на тридцать гигов качать часа полтора-два, если не больше. Почему 30 гигов? Тебе железа хватает, чтобы запустить Q8? С таким железом грех не следить за локалочками. По скорости - хз что ты имеешь ввиду, через huggingface-cli никогда не ловил боттлнек.
> Оригинал тестил или тюн какой-то? Если оригинал, то как там с пробивом сои? Snowdrop тестил, про который и писал. Оригинал для РП не годится совсем, там датасет для этого не предназначен вовсе.
>>1127445 >Врама? Чего же ещё? >>1127474 >А редрайверов на платах с Е (и не только их) как-то не наблюдается. Прямо в нашей беседе на схеме >>1125903 Иначе до нижнего слота не дотянуть. >Не держат, там один и тот же текстолит. Может допуски разные, слои меди, ещё чего. Может в безъешку идёт отбраковка, лол. >Значит все ок. Что за за железки и что за райзеры? 3090, Asrock B650E Steel Legend, райзеры Oculink пикрил. >чем 4.0 х8 А на нём есть подтверждённые проблемы? >Это один и тот же, не? Да вроде нет, чел бы не жаловался, если бы его не игнорили ))
>>1118275 почему только миядзаки есть куча других стилей, вот если бы генерил в стиле D охотник на вампиров или как у Хосоды или как у Синкая. Куча крутых стилей имеется.
>>1119274 кстати увеличение производительности не привило ни к 4 часовому рабочему дню, ни к 4 дневной неделе, в норм странах есть попытки но не в блинолопатии, где народ по 12 часов смены фигачит или на вахты ездит. Появилась только мусорная занятость вроде курьеров. Как-то человечество справлялось тысячи лет, а теперь не могут спуститься в соседнюю говнерочку за продуктами.
AI Chatbot General № 648 /aicg/
Аноним02/04/25 Срд 01:09:49№1125923Ответ
Подскажите нуфаку-дрочеру где я обосрался? В силлитаверне никак не подхватывается описание персонажа и выдает только какую-то шизофазию, в которой модель общается сама с собой на основе первого контекстного сообщения. При этом персону он видит, но описание персонажей нет. Фиксится только если копирую и вставляю описание персонажа прямо в чат. Есть подозрения что лор бук так же нихуя не видит.
>>1128014 > ибо гайд явно для знающих. Абсолютно нет, даже близко. Я вообще не шарю в этих ваших питонах, из знаний программирования - школьный паскаль и плагины для Морровинда, но все гайды за всю историю нейрокума были написаны настолько просто и детально, что там надо быть клиническим дебилом, чтобы не разобраться
Общаемся с самым продвинутым ИИ самой продвинутой текстовой моделью из доступных. Горим с ограничения бесплатного доступа к свежевыпущенному новому поколению GPT-4.
Для общения с ChatGPT-4o-mini регистрация больше не нужна! Просто заходим на https://chatgpt.com/ (через VPN само собой) и общаемся. Но не все аноны подтверждают это, зависимости найдено не было.
Доступ к GPT-4o уже начали раздавать! Бесплатно! Новая версия умеет в картинки, а так же в голос, видео и прочее, то есть омнимодальна (но доступа к видео пока нет). Регистрируйтесь по инструкции, желательно использовать почту майкрософт или гугл, и ждите появления окна с приглашением в новую версию (гарантий никаких, обновление раскатывают веерно по желанию левой пятки). Помните, доступ к ней бесплатным пользователям не гарантирован, в периоды высокой нагрузки вам светит только GPT-3.5-turbo. Текущую модель для бесплатных пользователей можно посмотреть снизу сообщения по наведению на звёздочку, пикрилы все в тему.
Гайд по регистрации из России: 1. Установи VPN, например расширение FreeVPN под свой любимый браузер и включи его. 2. Возьми нормальную почту. Адреса со многих сервисов временной почты блокируются. Отбитые могут использовать почту в RU зоне, она прекрасно работает. 3. Зайди на https://chatgpt.com/ и начни регистрацию. Ссылку активации с почты запускай только со включенным VPN. 4. Когда попросят указать номер мобильного, пиздуй на sms-activate.org или 5sim.biz (дешевле) и в строку выбора услуг вбей openai. Для разового получения смс для регистрации тебе хватит индийского или польского номера за 7 - 10 рублей (информация нуждается в перепроверке, есть инфа, что все номера в индии уже зарегали). Пользоваться Индонезией и странами под санкциями не рекомендуется. 5. Начинай пользоваться ChatGPT. 6. ??? 7. PROFIT!
VPN не отключаем, все заходы осуществляем с ним. Соответствие страны VPN, почты и номера не обязательно, но желательно для тех, кому доступ критически нужен, например для работы.
Для ленивых есть боты в телеге, 3 сорта: 0. Боты без истории сообщений. Каждое сообщение отправляется изолировано, диалог с ИИ невозможен, проёбывается 95% возможностей ИИ 1. Общая история на всех пользователей, говно даже хуже, чем выше 2. Приватная история на каждого пользователя, может реагировать на команды по изменению поведения и прочее. Говно, ибо платно, а бесплатный лимит или маленький, или его нет совсем.
Чат помнит историю в пределах контекста, это 4к токенов для GPT 3.5 (до 16к в апи) и 8к для новой GPT-4 (128к в версии GPT-4-Turbo). Посчитать свои токены можно здесь: https://platform.openai.com/tokenizer
Что может нейросеть: - писать тексты, выглядящие правдоподобно - решать некоторые простые задачки - писать код, который уже был написан
Что не может нейросеть: - писать тексты, содержащие только истину - решать сложные задачи - писать сложный код - захватывать мир - заходить на вебсайты (неактуально для 4 с плагинами, платим деньги и радуемся)
С последними обновлениями начинает всё чаще сопротивляться написанию NSFW историй и прочего запрещённого контента. Кумеры со всего мира в печали.
На сегодняшний день (дата создания треда) есть бесплатная версия на основе GPT-3.5 (и периодической раздачей GPT-4o во время низкой загрузки) и платная версия (20$/мес) с использованием следующего поколения — GPT-4. Платная версия ограничена 50 запросами в 3 часа, причем планируется увеличение ограничений. Доступ к плагинам открыли в бета-версии для платных пользователей. Оплатить подписку из России нельзя, ищите посредников на сайтах для оплаты онлайн игр и договаривайтесь там сами. Отважные могут попробовать разводил с авито, объявлений вагон, но аноны не проверяли.
Вышла версия 1.5. Лимит 400 кредитов в месяц (или 200 генераций по 33 секунды каждая) при условии ежедневного захода на сайт - 100 кредитов даются в месяц, и еще 10 кредитов даются ежедневно. Также можно фармить кредиты, выполняя специальные задания по оцениванию качества рандомных треков, это дает не больше 10 дополнительных кредитов в день. Для большего числа кредитов и более продвинутых фич типа инпэйнтинга или генерации с загруженного аудио нужно платить. Появилась возможность генерировать треки по 2 минуты 11 секунд, не больше 3 длинных треков (по 2 версии на каждый трек) в день на бесплатном тарифе.
Новинка, по качеству звука на уровне Суно или чуть выше. Пока БЕСПЛАТЕН и безлимитен, но халява скоро закончится. Может в русский, среднее понимание промпта, стили очень общие. Плюс в том, что скорость генерации очень высокая.
Это буквально первый проект который может генерировать песни по заданному тексту локально. Оригинальная версия генерирует 30-секундный отрывок за 5 минут на 4090. На данный момент качество музыки низкое по сравнению с Суно.
Еще сайты по генерации ИИ-музыки, в них тоже низкое качество звука и понимание промпта по сравнению с Суно, либо какие-то другие недостатки типа слишком долгого ожидания генерации или скудного набора жанров, но может кому-то зайдет, поэтому без описания:
Напомню мега-сайт для сочинения аутентичных англоязычных текстов для ИИ-музыки в стиле известных групп и артистов от Пинк Флойда до Эминема. Зайти можно только через Дискорд.
Абоба закинь еще писика а то трясусь что не хватит Ну и было бы приятно пощупать два точка пять если возможно правда в таверну еще не добавили так что не в приоритете
>>1118017 Мне штука приснилась там девочка была, но её всю жизнь по ошибке растили как мальчика, тип она прям целиком уверенна, она даже к девочке может попытаться подкатить и сеттинг такой чтоли средневековый или фентезийный Почему при этом отсутствие хуя её не волновало я без понятия, может та была фута
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №117 /llama/
Аноним25/03/25 Втр 19:26:01№1111645Ответ
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
А нейросетка в памяти может держать, что не написано в чатике и в системном промте? Например определенную цифру, которую ты написал в промпте, но не хочешь чтобы чар говорил о ней до определенного триггера - если не спросят или если сама не захочет после?
>>1117757 Чел? Чтобы сделать вывод про оффлайн, не нужно организовывать конфу. Тем более, что все и так друг друга знают и узнают на других ресурсах по едва уловимым намёкам толщиной в сотни генераций.
ИТТ делимся советами, лайфхаками, наблюдениями, результатами обучения, обсуждаем внутреннее устройство диффузионных моделей, собираем датасеты, решаем проблемы и экспериментируемТред общенаправленныей, тренировка дедов, лупоглазых и фуррей приветствуются
Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа.
✱ LoRA – "Low Rank Adaptation" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением. https://github.com/cloneofsimo/lora - изначальная имплементация алгоритма, пришедшая из мира архитектуры transformers, тренирует лишь attention слои, гайды по тренировкам: https://rentry.co/waavd - гайд по подготовке датасета и обучению LoRA для неофитов https://rentry.org/2chAI_hard_LoRA_guide - ещё один гайд по использованию и обучению LoRA https://rentry.org/59xed3 - более углубленный гайд по лорам, содержит много инфы для уже разбирающихся (англ.)
✱ LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) - проект по созданию алгоритмов для обучения дополнительных частей модели. Ранее имел название LoCon и предлагал лишь тренировку дополнительных conv слоёв. В настоящий момент включает в себя алгоритмы LoCon, LoHa, LoKr, DyLoRA, IA3, а так же на последних dev ветках возможность тренировки всех (или не всех, в зависимости от конфига) частей сети на выбранном ранге: https://github.com/KohakuBlueleaf/LyCORIS
✱ Текстуальная инверсия (Textual inversion), или же просто Embedding, может подойти, если сеть уже умеет рисовать что-то похожее, этот способ тренирует лишь текстовый энкодер модели, не затрагивая UNet: https://rentry.org/textard (англ.)
➤ Тренировка YOLO-моделей для ADetailer: YOLO-модели (You Only Look Once) могут быть обучены для поиска определённых объектов на изображении. В паре с ADetailer они могут быть использованы для автоматического инпеинта по найденной области.
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
>>1109738 >"Абсолютно Непристойное Деяние" ака омни, в той же репе Это просто охуенно! Вот такую шлюху я и искал. Топ. Спасибо за рекомендацию, анончик.
AI Chatbot General № 640 /aicg/
Аноним24/03/25 Пнд 22:25:18№1110226Ответ
бля я конечно понимаю что вопрос очень тупой, но если важно описание юзера, то типо это описание нужно ставить на глубину а не просто оставлять в промпт менеджере? типо чтоб не забывали кто я такой и что шутки со мной плохи