准备开发一款将客户产品等跟AI结合后，符合客户私有域内容的应用，我的想法是，基于目前大模型的基础上，再使用向量数据库配合将客户数据学习后，即可满足客户的基本需求，即定制化的商业应用。
大模型这块，国外自然非openAI莫属了，这里我的想法是，考虑采用1+1的方式，即open AI+一款国产大模型。
国产的大模型，目前也比较多，但究竟用后的体验和感受如何，是骡子是马，还得拉出来溜溜才知道，今天就做下对比。
今天测试的是一款基于 ChatGLM-6B 的大模型，测试的内容主要以《平凡的世界》，这本我很喜欢的小说为主。
我先将这本小说的全文txt上传上去，喂给大模型AI，开始了第一轮测试。
问：《平凡的世界》作者
《平凡的世界》作者是中国作家路遥。
嗯，答案正确。看起来似乎还不错，让我有点信心。
问：田晓霞最后结局如何？
备注：田晓霞是《平凡的世界》中的一个人物角色，同主人公孙少平恋爱过，但后来参加抗洪抢险不幸牺牲。
根据已知信息，田晓霞最终的关系用悲剧的形式结束。
嗯，回答的似乎还可以。
问：孙少安和孙少平是什么关系？
根据已知信息，孙少安和孙少平是同一个人。
这个答案很明显是错的。《平凡的世界》中，孙少安和孙少平是亲兄弟关系，少安是少平的哥哥。
问：孙少安的父亲是谁？
根据已知信息，孙少安的父亲是孙少平。
纳尼？读过小说的人，就知道这个答案是错的。就如前边所讲，孙少平是孙少安的弟弟，怎么会是他父亲呢。囧
问：介绍下《平凡的世界》这本书，字数300字。
《平凡的世界》是中国作家路遥创作的一部长篇小说，讲述了一个中国农村家庭从辉煌到衰落的历程，以及主人公们的人生选择和价值观的塑造。小说通过一个家族三代人的故事，展现了中国农村社会的历史变迁和人性的复杂性。
小说以少平、彩英、少安、少平一家为代表，讲述了他们从农村走向城市、从辉煌走向衰落的人生历程。小说通过少安与彩英的爱情故事，展现了爱情与婚姻的价值观念，同时也揭示了社会阶层、家庭伦理等社会问题。小说语言简练，情节紧凑，人物形象鲜明，深受读者喜爱。
《平凡的世界》是一部充满人生哲理和价值观的小说，也是中国文学史上的一部经典之作。
这个答案看似很正确，但稍微看过便知，至少有两处是跟原著不相符的，如下图，
尤其奇怪的是，答案中冒出了一个新的人物：彩英。原著中我记得是没有这个人，看来AI编瞎话，真是一本正经啊。
我们来对比下open AI 同样问题给出的答案，用Joe 来提问，
open Ai给出的答案总结，基本无误，非常不错。
刚才用的是ChatGLM大模型尝试，这个月7号时候，我看有推出新版本ChatGLM2。
也来再测试下，看下升级后的版本如何？
问：《平凡的世界》中，田晓霞最后的结局如何？
《平凡的世界》是一部中国现实主义小说，作者是路遥。田晓霞是主人公孙少安的第二个妻子，她是一个善良、热情、勇敢的女性。在故事的结局部分，田晓霞在一次疾病的护理过程中，因为病情恶化而离开了这个世界。
妈呀，这一开口，就开始胡言乱语了。
耐着性子，继续再试下吧。囧
问：《平凡的世界》中，孙少平和孙少安是什么关系？
孙少平和孙少安是父子关系。孙少安是孙少平的大儿子，孙少平是孙少安的二儿子。在《平凡的世界》的故事中，孙少安因为经历了家庭的贫困、上学的不容易以及个人努力等原因，决定让孙少平这个大儿子去上学，支持他好好读书，希望他能够有出息。而孙少平也确实争气，完成了大学学业，并成为了一名老师。
很明显其中许多错误，孙少平和孙少安是兄弟关系，并非父子关系。
孙少平最后没继续上学，更没考上大学，考上大学的是他妹妹兰香。
问：《平凡的世界》中，秀莲最后如何？
秀莲是孙少安的第二个妻子，她是一个善良、勇敢、坚强的女性。在故事的结局部分，秀莲因为多种原因，最终选择了离开孙少安，前往外地城市寻找自己的儿子。虽然秀莲离开了孙少安，但是她一直怀念这位深情的女人，并深深祝福他。
答案也是错的。
秀莲是孙少安的妻子，但不是第二个。
秀莲是离开了孙少安，但不是因为她自己选择前往外地寻找儿子，而是病死的。
ChatGLM在国产大模型里算比较不错的了，但几番测试下来，效果仍然不尽人意，尤其是对比国外open AI ，更是相形见拙。
看来国产大模型，跟国外大模型相比，还有很大差距，要奋勇追赶才是，而不是在那里吹水，忽悠不明就里的吃瓜群众。
