来聊下 ChatGLM-6B 清华大学开源版 ChatGPT 的使用感受

温馨提示:本文使用 New Bing 润色

开源地址:https://github.com/THUDM/ChatGLM-6B

模型地址:https://huggingface.co/THUDM/chatglm-6b

安装教程:【ChatGLM】本地版 ChatGPT?6G 显存可用!ChatGLM-6B 清华开源模型一键包发布 可更新

前言

想必有不少人之前已经用过 ChatGPT 和 New Bing 了,但这两者都是闭源的,在使用上略有不便,接下来给各位读者介绍一个开源的类 ChatGPT 模型——ChatGLM-6B。

关于 ChatGLM-6B

ChatGLM-6B 是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的一个开源的类 ChatGPT 模型,可以在最低 6G 显存的电脑上运行,因此相比闭源的 ChatGPT 虽有很多不足,但却可以在本地运行,有了更多的可控性!

介绍一下自己

按照惯例,让 ChatGLM-6B 来介绍一下自己吧

image-20230315220018394

可以看到,自我认知还是非常正确的,确实是清华大学开源的版本。

js 实现一个归并排序

那么写代码的功底如何呢?

image-20230315220321886

image-20230315220611207

简单格式化了下后发现这写的是什么玩意儿,看来本地版本还是算力不足,有点缺陷。

润色文字

算了,还是叫它润色下文字好了。

image-20230315220725655

啊这……你搁这如蜜传如蜜呢?

可能是由于我给它的话本身就是被 New Bing 改过的话,所以也改的差不多。

续写文本

但有一说一,ChatGLM-6B 在续写方面居然惊人的牛逼,连带着结局都写完了,看来对中文的优化还是不错的。

image-20230315220946384

image-20230315221023173

炸显存了

本来按照惯例,后面要试下生成图片的 AI 关键词实现一个 express 程序,端口为 4399等,但我测试到这一步的时候,直接炸显存了。

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 56.00 MiB (GPU 0; 6.00 GiB total capacity; 5.22 GiB already allocated; 0 bytes free; 5.30 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

可以看出是显存不够了,因为我的电脑也就 6GB 显存,刚好达到运行下限,没聊几句就炸显存属实意料之中。

ChatGLM-6B 模型毕竟刚发布,在性能优化方面还有待提高,当然了,如果有更高的配置,例如 12GB 显存,应该能更好的运行。

后面的内容我就不测试了,估摸着也大差不差,有兴趣的读者可以自己试试。

总结

笔者试用了清华大学开源的 ChatGLM-6B 模型,它是一个可以在本地部署的对话语言模型,支持中英双语问答。

笔者对它进行了一些测试,发现它的效果虽然不如 ChatGPT 和 New Bing ,但也很惊人,尤其是考虑到它只需要 6GB 显存就可以运行。

笔者也指出了它的一些不足,比如对电脑配置的要求还是太高,以及在使用过程中出现了炸显存的情况。【本段为 New Bing 生成】


评论

发表回复