一个简单的题目，难倒众多家的AI

梦想成真

本帖最后由 梦想成真 于 2024-4-27 18:54 编辑

今天我有3个苹果，昨天吃了1个苹果，还剩几个？
目前为止只有GPT4和文心回答准确，GPT3.5也是错的。其他都是错。
表扬下，从没看得起文心，没想到文心的理解能力一流

mtdickens

本帖最后由 mtdickens 于 2024-4-27 19:23 编辑

赤坂 发表于 2024-4-27 19:01

如果你今天有3个苹果，并且昨天吃了1个，那么你还剩下3个苹果。昨天吃掉的苹果不会影响你今天拥有的数量。
...







我用 coze 的纯 gpt-4-128k，但是结果也是瞎答的【见上图】。还是感觉 coze 掺水严重。

作为对比，我用自己搭建的 gpt-4（用的是 Azure 的 Openai api），测试了好几次都是准的【见下图】。

MasterCard

还剩4个，已经吃掉的也算你有的

Bomaa

昨天吃了1个苹果，所以今天还剩3-1=2个苹果。

答案是2。

Therefore, you have 2 apples left today.


谷歌的bard一本正经的胡说。

zhbbo

如果你今天有3个苹果，并且昨天吃了1个苹果，那么在昨天吃苹果之前，你拥有的苹果数量应该是今天的数量加上昨天吃掉的数量。但是，因为你今天仍然有3个苹果，这意味着昨天吃掉的1个苹果并不包括在今天的3个苹果之内。  所以，昨天你吃掉1个苹果后，剩下的苹果数量应该是今天你拥有的3个苹果。因此，无论是昨天还是今天，你剩下的苹果数量都是3个。

kimi不错

赤坂

如果你今天有3个苹果，并且昨天吃了1个，那么你还剩下3个苹果。昨天吃掉的苹果不会影响你今天拥有的数量。

coze也挺好的

mtdickens

MasterCard 发表于 2024-4-27 18:52

还剩4个，已经吃掉的也算你有的
不管怎么理解，反正不能回答 2 个。但是一众所谓的 gpt-4，回答都是 2 个。只有我自用的不掺水 gpt-4，回答就是 3 个。

MasterCard

mtdickens 发表于 2024-4-27 19:20

我用 coze 的纯 gpt-4-128k，但是结果也是瞎答的【见上图】。还是感觉 coze 掺水严重。

作为对比，我 ...
coze的gpt4是假的

gajiodgaj

赤坂 发表于 2024-4-27 19:01

如果你今天有3个苹果，并且昨天吃了1个，那么你还剩下3个苹果。昨天吃掉的苹果不会影响你今天拥有的数量。
...
和智普清言回答一样

如果你今天有3个苹果，昨天吃了1个，那么今天还剩下3个苹果。昨天的行为不会影响今天苹果的数量。

ddone

coze是不是为了训练自己家的模型，毕竟是有前科的，一直有这个疑问