В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
>>1260707 За будущее роботов отвечает не какой-то обсранный винт, а устройство, которое должно их питать. Иначе так и будут ваши роботы с пуповиной ходить всю жизнь.
>>1259890 Почему ты отказываешься перестать сосать?
>Почему для хромы нет ускорялок С хуя ли они должны были быть, если модель ещё не дообучена? Нахуя им быть, если модель будет дистиллирована как шнель? А вообще, почему ты утверждаешь что их нет? Ну и самый сок в том, что они есть. Да ещё и дохуллион вариаций, каждая генерит разную степень всратости. Нет смысла их юзать, новые версии хромы даже на 8 шагах дают сносную картинку.
AI Chatbot General № 702 /aicg/
Аноним25/06/25 Срд 20:15:00№1256384Ответ
Сап, двач! Любители Sillytavern, Character.ai, Chub и т.д, зацените открытую языковую модельку. 8B, имхо SOTA для креативного письма, RP на русском языке в своей весовой категории.
huggingface.co/secretmoon/YankaGPT-8B-v0.1
Не умеешь запускать LLM? Можешь бесплатно пообщаться в моем Telegram боте, он умеет жрать карточки с Chub в .json формате. @Yanka_GPT_bot. Твои диалоги с нейровайфу обязательно пойдут на новый крутой датасет!
>>1132626 Не оч понимаю, что тут не так. Попробуй вручную instruction template поставить, а не давать этой штуке извлекать из metadata. Точно помню, что токенайзер у YandexGPT для работы в чистом Python требует sentencepiece.
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
На любой модели кроме AnythingXL_v50 в самом конце выдаёт какую-то поломанную херню с глитчами. Вот пример. Настраивал по этому гайду https://rentry.co/2ch_nai_guide . Сделал тестовую картинку из этого-же гайда. Штука появилась как только попробовал сделать картинку самостоятельно. Знаю что ClearVae сделан под аниме, но noob же генерит в том числе и аниме, значит конфликта быть не должно. А он есть.
>>1118041 А заготовил своим меня просто со ты этот панчлайн да я когда прочитал новость спрашиваешь. > В арке со временем Фрирен ему вроде бы намекнула что взяла ученика и что Гайтер к этому имеет отношение, то есть он знал.
Есть видео сигна с текстом, нужно что бы ии заменил частично текст на нем, какой ии может это сделать?Желательно бесплатно или с пробным периодом, можно где
На сайте в krea.ai была возможность менять лица на фотографиях, делал он это очень быстро и довольно качественно Теперь эту функцию убрали Или хуй пойми куда убрали? Я не шарю Где мне найти эту хуйню? На хуй ее сносить? Аналоги мне не нравятся Или подскажите более лучший аналог этой шляпы Меняю лица с порнух на свою яой и дрочу на эту хуйню как конь ебаный на хуй у сука блять, где мне найти такое же?
как думаете есть ли возможность пусть и в теории запустить lmm(хотя не принципиально можно просто предсказывающею конец токена последовательности) модель на rx 550 на 2 гб ? скорее как эксперимент, без цели ускорить работу, я понимаю что в 2гб нормальная модель даже квантонизированной не влезет, но допустим мы качаем модель в озу, и гони модель из озу в psl порт видеокарты, да скорость напрочь убьет распараллеливание , хотя я скорее всего не прав, я знаю тут много умных людей подскажите кому не составит труда.
Современные процы буквально быстрее этих 2-4 ГБ затычек. У меня древняя ноувидия 740 работает медленнее чем кор ай 3 10100. Про то что к процу можно 32 ГБ памяти набрать это вообще отдельный разговор.
>>1250776 (OP) В теории можно все. На практике - нету смысла, т.к. в подобном случае, узкое место для LLM - скорость памяти, а не мощность процессора. При генерации только на CPU, i5-8400 - хоть 2 ядра выделяй, хоть 5 - скорость одинаковая. Память не справляется. И с подобной картой то же самое будет. Еще и шина pci-e может добавить тормозов.
Новости об искусственном интеллекте №16 /news/
Аноним12/06/25 Чтв 16:58:50№1243235Ответ
Аноны, заранее прошу прощения, на доску давно не заходил, может, пропустил что-то.
Заметил, что в моей предметной области ChatGPT и DeepSeek обычно выдают полнейшую хуету, поэтому на их фоне сильно выигрывает Perplexity, так как она перед тем, как отвечать, погуглит информацию по теме. У меня возникла мысль, что можно очень сильно повысить эффективность использования языковых моделей, если скормить им тонну документации, гайдов, статей, внутренних документов компании и так далее, чтобы ИИшка была "в контексте".
Либо я ученый и хочу скормить ей пару десятков или даже сотен пдфок со статьями.
Итак, вопрос: как это делать без больших вычислительных ресурсов?
Пока для личного пользования (и без ресурсов на селфхост), нужно какое-то более-менее простое решение в облачке. В перспективе буду селфхостить, если буду делать для всей компании, например, но пока ресурсов нет.
Пока что это ИИ-агенты на платных сервисах где тарифы. Но возможно через пару лет утечёт что-то в открытый доступ и на торрентах начнут как обычные фильмы так и выкладывать разные ИИ, и таких агентов которых можно дообучать самому на своих темах.
Подскажите нубу пожалуйста! Вот навернул я по инструкции Forge. Всё вроде работает. Я на дефольной модельке проверил. Генерится всякая фигня с глюками некрасивая. Но работает! Какие модельки мне скачать для генерации картинок аниме и хентая, если у меня 3070?
AI Chatbot General № 701 /aicg/
Аноним20/06/25 Птн 18:02:16№1251976Ответ
>>1256388 Реквестирую карточку, где школьницу блекмейлят и заставляют носить это, включая дистанционно в рандомные моменты и переключая мощность вибрации
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
>>1253572 Уважаемо, но слишком мудрёно и абстрактно, not my cup of tea. Хотя степень проработки хорошая, можено ожидать интересных результатов если кому заходит =)
Музыкальный общий №12 /music/
Аноним14/05/25 Срд 21:55:34№1203019Ответ
Вышла версия 1.5 Allegro, по функционалу то же, что и 1.5, только в два раза быстрее. Лимит 400 кредитов в месяц (или 200 генераций по 33 секунды каждая) при условии ежедневного захода на сайт - 100 кредитов даются в месяц, и еще 10 кредитов даются ежедневно. Также можно фармить кредиты, выполняя специальные задания по оцениванию качества рандомных треков, это дает не больше 10 дополнительных кредитов в день. Для большего числа кредитов и более продвинутых фич типа инпэйнтинга или генерации с загруженного аудио нужно платить. Появилась возможность генерировать треки по 2 минуты 11 секунд, не больше 3 длинных треков (по 2 версии на каждый трек) в день на бесплатном тарифе.
Новинка, по качеству звука на уровне Суно или чуть выше. Лучший по качеству генератор текстов на русском. Количество генераций в день не ограничено, но за некоторые функции нужно платить (загрузку аудио, стемов и т.д.)
Это буквально первый проект который может генерировать песни по заданному тексту локально. Оригинальная версия генерирует 30-секундный отрывок за 5 минут на 4090. На данный момент качество музыки низкое по сравнению с Суно. Версия из второй ссылки лучше оптимизирована под слабые видеокарты (в т.ч. 6-8 Гб VRAM, по словам автора). Инструкция на английском по ссылке.
Еще сайты по генерации ИИ-музыки, в них тоже низкое качество звука и понимание промпта по сравнению с Суно, либо какие-то другие недостатки типа слишком долгого ожидания генерации или скудного набора жанров, но может кому-то зайдет, поэтому без описания:
______________ Напомню мега-сайт для сочинения аутентичных англоязычных текстов для ИИ-музыки в стиле известных групп и артистов от Пинк Флойда до Эминема. Зайти можно только через Дискорд.
Если на "мясные дырки" упадёт спрос, из-за роботов и глубокого VR, то это лучше будет для всех, не только для омеганов.
1) Для ебак, которые предпочитают исключительно "мясные дырки", станет вокруг больше привлекательных женщин. Сейчас ведь, из-за крайней доступности и непритязательности мужичья, женщины по сути перестали следить за собой, стремиться быть привлекательными. Одеваются во всё утилитарное и мешковатое, причём подчас целенаправленно, чтобы скрыть фигуру, чтобы мужики не пялили и не подходили познакомиксы. То есть, женщины не просто не стремятся быть привлекательными, а иногда вовсе наоборот. Ну а если ситуация повернётся, то вернётся мода на колготки и миниюбки, на яркие причёски и прочее в таком духе, так же на всякий фитнес и подтягивание фигуры.
2) Если повысившаяся труднодоступность секса и некоторый сексуальный голод у женщин, то это привнесёт больший элемент страсти и романтики для обоих партнёров. Чем утилитарная пресыщенность. Больше станет альтруизма, меньше требований.
3) Женщины отдохнут от познакомиксов и спама в соцсети от хоботов. Ведь феминистки этого же хотят, чтобы их не "домогались" и вообще не обращали на них внимания. Вот сбудется.
Охуенно же для всех. Научно-технический прогресс как всегда делает мир лучше.
Необходимая, балансирующая технология.
ИИ-видео общий №9 /video/
Аноним09/06/25 Пнд 21:12:45№1240311Ответ
>>1244506 Анон это просто восхитительно, я обескуражен, поражен , я в восторге. Я как будто все время был слеп , а сейчас прозрел, я должен научиться делать такие вещи. Друг, я только залетел на доску по тематике ИИ , обычно двачую в бреду, пожалуйста, дай совет , о Гуру, с чего начать свой путь?