“给娃儿辅导奥数题,问了多个AI平台,每个答案都不一样。”
近日,重庆家长刘先生向上游新闻记者反映:同一道奥数题,百度、阿里云、今日头条等国内4个主流AI大模型平台,竟然给出了不同的答案。
3月11日,上游新闻记者从百度客服及人工智能专家处了解到,人工智能大模型平台并不是题库,数据模型一直在学习完善中,尤其是在数学和逻辑方面。
同一道奥数题,刘先生得到结果为30分钟、7分钟两种不同答案。/受访者供图
刘先生告诉上游新闻记者,自己的孩子上小学四年级,最近他在辅导孩子做奥数题,但自己并非理工科出身,感觉有些困难。因为他从事影视制作方面的工作,经常使用人工智能工具辅助,就想到使用类似平台来帮忙。
刘先生将一道题输入经常使用的百度的文心一言、阿里云的通义千问、今日头条的豆包等4个主流人工智能大模型平台进行测试。具体题目为:一天,萱萱到离自己家4000米的表哥家去玩。早晨7:20,萱萱从家出发向表哥家走去,每分钟行60米,同时表哥骑车从家出发来接她。表哥到萱萱家后才发现萱萱已经走了,又立即返回去追,表哥骑车每分钟行260米。当表哥追上萱萱后,带着她一起回表哥家,这时骑车速度为每分钟175米。请问:当他们到达表哥家时,还差几分钟就到8点?
“当时两个(AI平台)列出了推理过程,均给出了‘7分钟’的答案,应该是对的。我觉得算得有点复杂,就又让AI用适合小学五年级的算法再算一次,结果答案自此之后就不一致了。”在刘先生提供的截图中,上游新闻记者看到,有的平台会给出“30分钟”的答案。
上游新闻记者测试时,要求AI重新计算,有的AI甚至给出了“还差-23分钟就到8点”的离谱答案。刘先生感觉很困惑:“是不是AI自己不敢保证是正确的,多问几遍它自己就把自己绕晕了,越回答越错?”
记者得到了一个“-23分钟”的答案。/截图
11日,上游新闻记者致电文心一言会员服务热线询问此事,工作人员表示,“目前的系统回复不是每次都一模一样的,它主要针对您的提问和您输入问题的一个复杂性程度进行回复。如果是它输出的结果是不满意或者是有误的,您可以及时点踩反馈,帮助文心一言进步。”
工作人员表示,反馈提交之后,后台工作人员也会去不断优化模型的一个能力,“因为AI生成的结果,是根据您输入的一个需求和提示词提供的,它是自动识别和理解您的一个意图和需求,并提供相关的文本图片,目前模型能力确实也在不断地发展,需要时间。”
无独有偶。在上海从事AI类自媒体的白先生(化名),也用孩子的数学题测试了国外的GPT4、Claude和Google Bard等AI平台以及国内多个主流AI平台,也发现了类似问题,甚至有的AI对题意都出现了理解错误。
一位国内人工智能方面的专家告诉上游新闻记者,目前主流的AI大模型平台并不是数学题库,“大数据模型一直在学习完善中,尤其是在数学和逻辑方面,所以很多产品对话框旁边都有点赞点踩的图标。通过这种方式反馈问题,模型才会学习完善。如果家长想要更精准的答案,更推荐给孩子使用学习机一类的AI产品。”
该专家表示,“即便是目前国际上一些数学、化学、物理等方面的专业性做题AI,也很难拿到奥赛满分。”
据参考消息,今年1月,美国一个名为阿尔法几何(AlphaGeometry)的AI系统,能做出国际数学奥林匹克(IMO)的30道几何题中的25道,已经接近人类奥数金牌得主水平,该突破性成果甚至登上了著名的《自然》(Nature)杂志。
据报道,美国亚利桑那州立大学副教授沙卡里安,在2023年1月初用1000个数学问题对ChatGPT进行了测试,结果发现准确率只有60%,低于一般中学生的准确率。
牛津大学机器学习研究员西蒙·弗莱德尔,曾在一项研究中让ChatGPT做了一系列数学任务,包括简单的计算、数学证明题、搜索数学文献和奥数题,结果也发现,ChatGPT在大多数任务上表现为“不及格”,在需要多层逻辑推导的题目上表现尤为糟糕。而最具迷惑性的是,哪怕ChatGPT做错数学题,也会非常“迷之自信”地给出看起来权威的错误答案。
专家表示,AI的语言模型目标在于处理和理解人类的语言,更擅长生成类似人类的对话,而不是为了成为完美的数学计算器,“AI作为一种工具,只适用于那些最懂数学的人,而不是最不了解数学的人。在借鉴AI给出的答案之前,一定要加以验证,不要过于依赖它。”
来源:上游新闻(记者汤皓)
来源:上游新闻