国产大模型ChatGLM-6B / ai #13

AI的火越烧越旺了！ 今天OpenAI公开了GP4的调用，是个不错的消息。不过与此同时，OpenAI却是时时（对国人）封号封卡的，很是没办法畅快地玩耍，要不，看看国产的大模型？

国内呼声最高的开源模型大概是ChatGLM-6B。它小而美，性能也不错，看看它的介绍：

ChatGLM-6B模型是一个62亿参数规模的中英双语对话语言模型，它使用了清华大学KEG实验室与智谱AI公司共同构建的一个包含超过1000亿词汇量的中英双语数据集进行预训练。该数据集涵盖了各种类型和领域的文本数据，包括新闻、百科、社交媒体、小说、电影剧本等，并且特别增加了大量的对话数据，如电视剧台词、聊天记录、问答平台等。通过这样一个丰富多样的数据集，ChatGLM-6B模型可以学习到更加全面和深入的语言知识，并且可以更好地适应不同风格和主题的对话场景

通过这些优化措施，ChatGLM-6B模型可以在消费级的显卡上进行本地部署，并且可以实现实时的对话交互。根据清华大学KEG实验室与智谱AI公司提供的数据，ChatGLM-6B模型在INT4量化级别下最低只需6GB显存就可以运行，并且在RTX 3090显卡上的推理速度可以达到每秒10个句子（每个句子包含20个词）。

看了它的介绍，暂时还没有自己动手去布署，而是找来了它的API调用，智谱AI公司 提供的API服务，这有点类似于OpenAI API的服务。看下它的文档，感觉它是按照OpenAI的文档范本在写，下面是个简单的案例：

import zhipuai

zhipuai.api_key = "d86xxx.xxxx"

def invoke_example():
    response = zhipuai.model_api.invoke(
        model="chatglm_lite",
        prompt=[{"role": "user", "content": "说说李小龙"}],
        top_p=0.7,
        temperature=0.9,
    )
    print(45, response['data']['choices'][0]['content'])
invoke_example()

也是简单地几行代码就可以调用ChatGLM的服务了！ 效果说不上惊艳，尚可。

对于国内的AI服务来讲，比如客服，咨询等不需要太高推理能力的情形下，用国产大模型来代替ChatGPT是个不错的方案。国产的大模型更灵活、更简便、更合规。