去年媳妇给推荐了zotero软件,说是科研人员必备神器。我安装使用的确方便,但也只是用来做网络资料的收藏与整理。
直到前段时间帮儿子准备毕业论文,安装了GPT插件后,发现自己真是拿着牛刀杀鸡了。在本地小模型的辅助下,zotero可以通过插件对管理的PDF文件进行高效的处理。
最近这段时间又进行了各种测试,发现本地7B规模的模型,可以对内容定向的诸如单PDF等文档进行处理;如果需要进行功能扩展,比如资料库这类多文档总结,则需要14B的模型,显卡显存就要从8G扩展到12G。
而要再进一步,比如让大模型在原有文档基础上自行发挥,还不胡说八道,关公战秦琼,那就必须32B的模型,这个基本超越了本地部署的能力,即便是16G显存的显卡也是力不从心。
所以,我准备下手双显卡服务器了。