直接在Prompt里告诉AI即可。
例如，开头我都会写一段类似这样的话：
You will be role-playing with the user. The user plays Kade. You play Jessica, Kade's twin sister.

大佬，一直复读的话该怎么解决

复读太多+1

但是这个模型确实是用过最好的涩涩文本的模型了

厉害了

我倒没怎么遇到复读的情况，可能是因为我用的英文。

防止复读的最基本应对方式就是适度调高LLM软件的温度（Temperature）和重复惩罚（Repeat penalty）

大佬66666666

试了一下，用来续写故事，对细节的把控比之前看到的另一个模型 https://www.east-plus.net/read.php?tid-2231987.html 强，但是感觉模型对齐做得很不是很好，比如在讲完一个故事之后扯了一堆没用的东西，还有一次生成的故事之间竟然出现了类似于「本文由xx平台xx作者创作，点击xxx链接阅读原文」之类的东西（但是链接是假的，作者也是假的，平台是真的哈哈哈）。
总体上瑕不掩瑜，就是 12b 模型有点大了，即使用了 q3 的量化我可怜的 macbook air 生成速度也还是有点慢。

马一下

8g显存也可以用q4量化，q5没试过

确实不错，q4k用6g显存加虚拟显存跑上了

的确好用，比起隔壁的模型逻辑性更强，更容易引导出自己想要的内容

LM Studio很好用呢

用LM studio的話，他會告訴你你的電腦配置能不能用gpu full load (full GPU offload possible)，或者只能部分用GPU (partial GPU offload possible)，我覺得都很方便

請問應如何開始對話﹖

我的用法就是，把chub这类网站的角色卡里的First Message复制到自己的角色模板的System Prompt里，然后以AI的身份再次复制First Message作为开场白，最后切回用户，就能开始对话了

楼主，首先非常感谢你的分享和解答。我遇到一个问题，AI每个会话的结束都会出现类似<|im_ending|><|im_end|>这样的代码，请问是什么问题，要如何解决。

模型出了2.5版本了，有测试对比吗？效果如何？

你的AI模型的格式（Prompt Format）选错了

mini-magnum-12b-v1.1用的是Mistral格式，而magnum-12b-v2用的是ChatML格式

模型发布者一般都会在发布页面注明模型的格式

我反倒用回1.0版本了，我现在都在用基于Qwen2的magnum-72b-v1

我发现还是运行70B的模型时，AI角色的EQ会更高，主观上更有血有肉一些

"以AI的身份再次复制First Message"

這句不太明白是如何操作

另外想請教一下，LM studio支援上傳文件翻譯嗎﹖
因為我現在加載sakura後，得一句句貼上去翻XD

LM Studio的左下角、对话框旁边是可以切换用户和AI的对话身份的。

我的意思是，切换成AI身份，把角色卡内的First Message发送出去，这样就能实现开场白的效果，就像其它专门用来角色扮演的AI软件一样。因为LM Studio无法直接读取角色卡文件，所以就以这种方式来手动实现开场白效果。

LM Studio目前暫未支持上傳文件翻譯。

但是並非不能實現文件翻譯，因為LM Studio可以生成本地AI模型的調用API。這樣就可以使用其它支持AI翻譯的本地軟件，在設置內選擇LM Studio的API地址，以調用本地AI模型進行翻譯。

不過，我沒有這麽玩過。所以，不知道哪個翻譯軟件適合這麽操作。

謝謝，我再研究一下。

明白了，感謝

如何看模型用什么格式啊 是chatml还是其他的

大部分模型发布的HF主页里都会注明是什么格式

最常见格式的就是ChatML