周末回家期间，跟朋友的孩子提到他们学校一个大模型应用的时候，说这个应用的公众号新闻中的图片，直接把rag的界面截图发上去了，也不知道封装一下。
回来后，通过截图中的图标确认那个大模型用的是dify。然后又比较了一下dify和ragflow的性能：将一些人员体检的PDF报告文件导入资料库，然后让其总结体检人员的指标。
结果dify出现了大问题，将不同报告的人员信息搞混了。显然他只认导入后的汇总资料库，而没有将原始文件作为单一个体进行区分。
ragflow则表现完美。
毕竟硬件要求在那里摆着呢。
分类： IT天地
直线速度，i7名不虚传
去年组装了3台迷你机，老中青三代各司其职，运行正常。
其中主力劳模是时下流行的N100，承担日常业务，对性能也要求不高。上周某个业务需要生成1700份PDF文件，运行完成后扫了一下用时，14分40多秒。
感觉还是有些慢，就又用老一代的E3 1260Lv3跑了一下，4核8线程对4核，只是少了20秒。当时想可能是程序自身问题，大体上就是这个性能吧，还能接受。
今天想到用Chromebox也跑一下试试，正好也给儿子把Python环境安装好。程序同步运行后，我就走开干别的去了。
回来发现任务已经完成，当时只看到一个2m，第一反应是12分钟，少用了2分钟。后来凑近屏幕看，是2分钟。
看来这i7速度快，真是名不虚传。
解决ModuleNotFoundError: No module named ‘pip’ 错误方案
ubuntu24.04系统，因创建python虚拟环境导致新旧版本冲突，出现ModuleNotFoundError: No module named ‘pip’ 提示。
通过重新安装python-pip无法解决，使用get-pip.py脚本解决。
curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python get-pip.py
准备下手双显卡
去年媳妇给推荐了zotero软件，说是科研人员必备神器。我安装使用的确方便，但也只是用来做网络资料的收藏与整理。
直到前段时间帮儿子准备毕业论文，安装了GPT插件后，发现自己真是拿着牛刀杀鸡了。在本地小模型的辅助下，zotero可以通过插件对管理的PDF文件进行高效的处理。
最近这段时间又进行了各种测试，发现本地7B规模的模型，可以对内容定向的诸如单PDF等文档进行处理；如果需要进行功能扩展，比如资料库这类多文档总结，则需要14B的模型，显卡显存就要从8G扩展到12G。
而要再进一步，比如让大模型在原有文档基础上自行发挥，还不胡说八道，关公战秦琼，那就必须32B的模型，这个基本超越了本地部署的能力，即便是16G显存的显卡也是力不从心。
所以，我准备下手双显卡服务器了。
6月6日忆NBA
刚看完NBA总决赛第一场，步行者最后0.3秒绝杀了被国内几乎所有大V看好的雷霆队。
雷霆被看好不是没有道理，零零散散看的比赛，大部分时间领先的都是雷霆。可以说，步行者想赢，需要拼了命打，而雷霆只要正常打，就不会输。
98年的6月6号，同事婚礼，在现在已经被拆的齐鲁宾馆举行的，甚是隆重，不过我们不少帮忙的人抽空就跑一边，看一个同事的移动电视里直播的NBA总决赛，公牛乔丹大战爵士双煞。
那届总决赛，才真正是势均力敌，看的人是提心吊胆，却又热血沸腾。
不是念旧，现在的NBA真的没法比。
丑陋的Django自带admin
计算机知识本就是越学越发现自己不会的越多，但如果不持续学，会发现自己很无知。
在选定调校了erp系统并建账后，算是了却了一件大的心事，重新开始准备日常的技术工作。
原本是准备使用Django进行整合的，但一想到xadmin的安装设置就头疼。最后一次安装成功，Django还是3.0，昨天硬着头皮整理资料时候，发现其实xadmin已经落伍了。
试着安装了一下网上推荐的simpleUI，NND，一行安装命令，一行配置就解决了。
感慨自己无知浪费时间的时候，忍不住还是吐槽一下这Django，从我接触的1.7版本，到昨天的5.2，版本更新的那么快，这后台的admin就没有变过，已经不能用简陋来形容，简直就是丑陋。
磨刀不误砍柴工，还是得学啊，哪怕是走马观花。
ERPNext调校完成
自从切换成程序员视角后，这两天将ERPNext调校完成后，开始实战操作，嘁哩喀嚓一年的业务，小半天就处理完了，几乎都刹不住车了。
在原单位的时候，虽同是kjc的缩写，但科技处一向看不起会计处，那白眼翻的。真如网上段子：天天受气，偏偏自己还不争气。
不过这ERPNext确实好用，相比odoo，系统占用小，速度快，操作简便，odoo可以扔一边凉快去了。
下一步就是跟当初使用odoo一样，自己开发一个外挂程序调用数据，转换成符合中国会计传统的凭证和报表。
其实，这么多年来，自己开发的程序里面，最得意的就是那套外挂了。
换角度看ERPNext
上周脑子短路，把odoo的便携主机升级到24.04，今天克服拖延症要账务处理了，发现系统崩了。
折腾半天，最后通过卸载重新安装的方式，让系统重新正常运转。
在这个过程中，因为不确定成功与否，就重新测试了一下前段时间外甥推荐的ERPNext。
当时放弃它的原因，是因为感觉他的会计系统怪怪的，特别是他的科目设置。今天换个角度看，发现它应该是科技人员为会计人员编写的，会计知识匮乏，属于知其然不知其所以然，我给你实现你要的功能就行了。
如果是这样，那ERPNext加以调教，顺着会计思路和流程处理业务，应该是堪用的。
换角度看ERPNext
上周脑子短路，把odoo的便携主机升级到24.04，今天克服拖延症要账务处理了，发现系统崩了。
折腾半天，最后通过卸载重新安装的方式，让系统重新正常运转。
在这个过程中，因为不确定成功与否，就重新测试了一下前段时间外甥推荐的ERPNext。
当时放弃它的原因，是因为感觉他的会计系统怪怪的，特别是他的科目设置。今天换个角度看，发现它应该是科技人员为会计人员编写的，会计知识匮乏，属于知其然不知其所以然，我给你实现你要的功能就行了。
如果是这样，那ERPNext加以调教，顺着会计思路和流程处理业务，应该是堪用的。
期待TensorRT在大模型的应用
这个我信。
因为从katago版本升级就能够看出来，使用tensorrt框架后，相比原cuda其性能提升显著，可以说上了一个台阶。
而从前几天全新安装A3000时发现，在Ubuntu下，从NVIDIA的驱动开始，直到tensorrt安装，整个流程相比两年前，已经有了大的改进，基本不需要手工设置。
而涉及到AI，其支持的5个ISV集成中，第一个就是lmstudio，如此一来，使用普通显卡本地部署的性能会有一个大的提升。
期待。