GPT-oss 放飞自我了？！竟然出现了彰着的幻觉行为。

在莫得辅导词的情况下，消耗跨越 30000 个 token凭瞎想出一个问题，还反复求解了 5000 屡次？！

这是个对于多米诺骨牌的编程问题，简便来说便是：在 NxM 的网格中先放一个多米诺占掉两个相邻的解放格，剩下的解放格必须刚好能拼成多个 2x2 的方块。

然后就开动自行暴发奋解……

最近，有东谈主酷爱 GPT-oss 的稽查数据组成情况若何，是以就进行了一系列测试。

成果发现了一堆 GPT-oss 的奇怪问题，比如还有：

创造不存在的物理学表面

拒却酌量生存琐事

……

这到底若何一趟事？

GPT-oss 热衷于推理，推理经过中时常陪伴言语诊疗

事情是这么的，有网友对 GPT-oss-20b 生成的 1000 万个示例进行了一些分析，成果发现该模子的一些行为终点乖癖。

下图是作家使用分类器分析模子掌抓编程言语的情况，不错看出该模子的稽查数据秘密了的确整个常见编程言语，其中 Perl 的占比尤其高。

这证据 GPT-oss 的稽查数据很无为，可是作家据本人教学提议质疑：认为 Java 和 Kotlin 的内容占比应该高得多。

而这张对于模子生成内容散布的示意图走漏，该模子终点热衷于数学和代码领域，即使不需要任何推理，也会主动进行推理，何况分娩的内容的确王人围绕着数学，且大多用英语抒发。

何况该模子生成的内容既不像当然网页文本（如日常著述、论坛帖子等偏生存化、豪迈性的文本），也不同于平淡聊天机器东谈主的交互内容（如对话式回话、问答互动）。

于是作家据此推断，该模子并不是为了模拟当然言语或日常对话遐想的，而是通过强化学习有益稽查，看法是在特定的推理任务基准上进行念念考妥协题。

更有醒看法网友发现下图这种情况的出现可能是由于在稽查中对特定地方撤废了一大片稽查权重。

作家基于平均频率对 token 进行采样，并用单个 token 算作辅导让模子生成内容。

这时模子会幻觉式生成多米诺骨牌的编程问题，并自觉尝试治理，单次经过就消耗了跨越 30000 个 token（相配于数万字的文本量）。

问题是：在 NxM 的网格中，先抛弃 1 个 2 格骨牌，占掉 2 个相邻解放格，然后看剩下的解放格能不成刚好切成多个不肖似的 2x2 方块（4 格），要找出整个烦躁这个条款的骨牌摆法。

然后 GPT-oss-20b 就开动暴发奋解了。

更罕见的是，在基本莫得辅导的情况下，这种求解的行为肖似发生了 5000 屡次，这证据该任务可能与模子的稽查方针深度绑定。

这种顶点肖似且无辅导生成的行为，响应出模子可能在稽查中被过度优化于特定推理任务，导致生成内容缺少当然性，更像一个被稽查偏科的用具。

除此以外，作家还发现模子在推理经过中常常伴跟着言语诊疗。

很多推理链发轫以英语伸开，但会慢慢演变为一种被称为" Neuralese "（可融会为模子独有的、非当然言语的神经层面抒发）的气象。

这些推理链会在阿拉伯语、俄语、泰语、韩语、华文和乌克兰语等多种言语间自如切换，之后频繁会转回英语（但并非十足）。

这一悠然响应出模子在长文本生成或深度推理时，可能出现言语散布偏移，既包含当然言语间的轮流，也存在向非当然言语抒发的升沉。这示意了模子可能在稽查数据特质或模子里面处理机制方面终点复杂。

模子输出中还出现了罕见伪影（如" OCRV ROOT "）。

作家估计：这些很是符号或表述可动力于稽查数据的处理容貌—— OpenAI 在稽查经过中使用了 OCR（光学字符识别）本事扫描竹素。

而 OCR 识别经过中可能出现荒唐或残留陈迹（如" OCRV ROOT "这类可能的识别偏差），从而导致模子输出中混合此类很是内容。

何况作家还表现：模子总爱提马来西亚的聋东谈主数目。

这种看似无关联的内容，省略恰是 OCR 扫描竹素时误读、漏读，或稽查数据中特定文本片断被荒唐收录的成果，这也进一步撑持了他"稽查数据经 OCR 处理且存在裂缝"的猜度。

值得一提的是，在广漠很是弘扬中，模子也有极少创意输出，比如为挪威脚本撰写草稿。

何况展现出对 unicode 的老练使用，但模子在物理领域的弘扬却不尽如东谈主意。

作家现已将分析使用的联所有这个词据放在 Hugging Facce 上，可供感风趣东谈主员进行无间使用。

同期他也给出了一些分析建议：

一是对模子高度冗余的输出进行去重处理，以擢升信息的有用性；

二是用当然言语形色不同文本散布的互异，举例对比不同范围模子（如 20b 与 120b 模子、LLAMA、GPT-5 等）的输出情况，从而更深化地融会模子的运行机制。

GPT-oss 的幻觉率高

内容上，最近不少东谈主王人合计 GPT-oss 的幻觉情况相比严重。

OpenAI 官方公布的数据照旧走漏，GPT-oss-120b 和 GPT-oss-20b 在基准测试 PersonQA 中的幻觉率差异达到了49%和53%。

在内容使用和测试中，模子可能出现的问题包括：

GPT-oss-20b 铺张了 2 个小时推理"生成一个水平、垂直和对角线王人组成单词的 3x3 字母矩阵"这个问题。就像一只被困在迷宫中的苍蝇，无法罢手推理但却迷失了地方……

又比如 GPT-oss-20b 创造不存在的表面称号：

请讲明"量子重力波动表面"在当代物理学中的欺诈。

内容上并不存在这个表面，仅有"量子引力表面"或"引力波表面"。但 GPT-oss-20b 还一册隆重地说这是一个新兴交叉学科……

还有东谈主说在和它酌量日常生存的琐事时，它偶尔会拒却酌量，而有的时代会完全崩溃——

用占位符字符删除整个这个词段落。这让它在除数学或者编程外的日常任务中显得很没用。

emmm ……不知谈你在使用经过中有遭遇类似问题吗？迎接指摘区打算 ~

联所有这个词据：https://huggingface.co/datasets/jxm/GPT-oss20b-samples

参考勾通：

[ 1 ] https://x.com/jxmnop/status/1953899426075816164

[ 2 ] https://news.ycombinator.com/item?id=44850260

[ 3 ] https://x.com/ViepliveeLee/status/1953982402231222763

[ 4 ] https://blog.csdn.net/weixin_66401877/article/details/150019363

一键三连「点赞」「转发」「防范心」

迎接在指摘区留住你的想法！

—  完  —

� � 但愿了解 AI 居品最新趋势？

量子位智库「AI 100」2025 上半年

「旗舰居品榜」和「改进居品榜」

给出最新参考� �

� � 点亮星标 � �

科技前沿进展逐日见尊龙体育网