这一个多月来,因为deepseek的火爆,一度沉寂的RAG也在短视频、论坛平台又重新热闹起来。
我把上次测试的文本重新导入向量数据库,使用阿里的deepseek-v3为引擎,重新进行查询。
这次的效果完全超出我的预期。deepseek给出的回答丰富而准确,因为这些资料涉及比较小众,为防止deepseek自作主张,我又将它给出的答案,在我提供的原文中进行搜寻核实。结果,deepseek的确是在总结了原文的基础上进行了再加工。
而且,这还是用英文内嵌模型进行的处理,中文专业术语并不十分精确。
这才是真正的RAG。
分类: IT天地
利益的拖累
昨晚临睡前在搜狐看到百度搜索全面接入deepseek的简要新闻,当时还特意搜索了一下别的新闻网站,并没有相关新闻。今早上大多IT媒体都进行了相关报道。
我关注的是标题省略的重点,接入的不止是deepseek,还有文心大模型。也就是说,百度并没有放弃自家掌控权。
在ChatGPT问世后,百度本是国内领先者,但之所以现在成为泯然跟跑者的原因,就是百度总是舍不下自己的既得利益——搜索业务。其实从百度之外的人都明白,百度搜索也就那么回事,而且,也就那点事。
当今,曾经利益有多大,拖累负担就加倍的大。
又一条起跑线
今天整理目前可用的deepseek应用时,发现在云服务器平台上找到他们都挺麻烦的,需要在一大堆大模型应用中查找鉴别。
也难怪,虽然现在国内大的云服务器平台都推出了deepseek服务,但都有各自的当家大模型,如阿里有千问,腾讯有混元,百度的则是文心一言。虽然deepseek如宝刀屠龙横空出世,技压群雄,但各门派,哦,各平台还是舍不得自家的那些独门秘籍。
当然,这也与开源协议有关,但技术是开源的,数据却是自家的。现在如果还舍不得那些瓶瓶罐罐,首鼠两端,百度就是最好的例子。
如果现在有后来者能够并力一向,打造以deepseek为基础的云平台,当能无负担地占得先机。
就如当年《第三次浪潮》书中所言,又一次,“穷国与富国站在同一起跑线上”。
大模型比着劲免费
在返程的火车上,看到苹果选择阿里作为国内AI合作者的新闻,显然苹果看重的不是阿里的千问,而是他运作deepseek的能力。
正盘算着测试阿里运行deepseek的速度,媳妇发来一个新闻,腾讯前几天也开始免费测试其deepseek大模型平台。而且相比其他平台赠送的百万token,腾讯是直接免费至2月25日。
这天大的便宜怎么能错过,进门后第一时间就给儿子安装调试,他用腾讯加cherry stadio,我那边也开机测试阿里云搭配chatbox。
测试一下午,无论是专业应用,还是业余娱乐,效果都是颠覆了我们之前的认知。
再次惦记Mac mini的M4
去年底苹果Mac mini的m4版本推出的时候,国家补贴后的价格不到3000元,当时有些心动,外甥如果不是已经有了两台Mac设备,估计直接动手了。也因为如此,所以一直鼓动我买。
最后因为Mac系统是通过OpenCL运行katago,性能无法发挥而作罢。
今天看到一个介绍本地部署deepseek的视频,里面使用的是Mac mini M4跟4060独显机。通过运行token/s值比较,M4还是低于4060的。这并不意外,不过考虑到价格,M4性价比无疑更高。
网上现在本地部署deepseek的视频已经泛滥,但脱离开硬件配置,离线版的deepseek性能只能属于玩具级,这难免有误导之嫌。
为Deepseek搭台
今天看到百度智能云提供deepseek服务,曾经国内领跑者沦为后辈的跑马场。
不止百度云,提供deepseek收费服务的还有华为和阿里云,阿里云更为滑稽一些,提供的模型是自家千问的7B蒸馏版。
此前看到国外评论,deepseek与其他AI服务商的区别,是自建服务器,而非使用云平台。百度等提供云服务平台,相当于补上了deepseek的短板。
不过这些云平台此举决非什么国家利益至上,除了赚取服务器租用费,应该有自己的盘算,那就是如我最初接触ChatGPT时评论那样,通过deepseek获取用户数据,进行进一步,甚至是定向的蒸馏。
春节期间看到过一个评论,感觉很有道理。那就是AI,人工智能,最终还是要像人。
否则那就是非我族类,其心必异。
关于“偷窃”的猜想
今天看新闻,不出所料,美国开始指责deepseek是“偷窃”,并正对其影响开展国家安全调查。
去年openAI曾经中止了对中国提供的API服务。当时讨论的时候,认为主要是针对国内那些挂羊头卖狗肉的套壳收费GPT,就是那些只是提供前端用户界面,后端都是通过ChatGPT的API接口接收,发送,返回数据。
现在看来,OpenAI是怀疑当时deepseek也参与其中,使用ChatGPT进行训练模型,等于通过RAG构建了高效的模型。
如果此猜想为真,这倒是验证了我最新的思路是可行的。
期待deepseek R1
放假之前只是简单测试了一下deepseek v3,并讨论了一下以他为引擎,结合内嵌模型,构建我们自己的RAG。
放假后看到新闻,deepseek推出了R1引发轰动。由于回来后机器被小子霸占,只是在手机上零星看了一些介绍。
今天早上趁着小子还在睡觉,在电脑上了解了一下情况。Ollama第一时间就推出了相关模型,这样本地部署更为便捷。
我属于看热闹的,看不懂那些高深的数据和图表,但有种感觉,这个deepseek R1所谓的蒸馏,有点类似于AlphaGo zero后的katago,在zero学习的基础上进行了人为知识干预,从而大幅提高了深度学习效率,并避开了诸如征子之类的bug。
不免还是有些期待。
卖呢,是卖呢,还是卖呢?
君子无罪,怀璧其罪。
再说,这tiktok也不是君子,他属于锦衣裘马行于异域闹市的商贾。
美国最高法院的老爷们说的也清楚:该法律针对的是 TikTok 的所有权,而不是其发表的言论。
也就是说,我要的是你的货,跟你卖不卖的自由无关。
这点谁都清楚,帮你Tiktok喊冤的律师也知道,但如阿春所言:美国的律师是不拿刀的强盗。
强盗环伺,你tiktok是卖呢,是卖呢,还是卖呢?
这跟用户自由,国家安全已经没有半毛钱关系,就是纯TM的利益。
不卖?把tiktok服务器搬回中国,让洋鬼子也漂洋过海转辗登录使用?
商人,没有这个魄力。
flask-admin的文档,岂一个烂字了得
最近一直在寻找一款后端管理系统,主要想替代僵化的Django。在先后尝试了Nocodb、nocobase等几个低代码管理工具后,颇为失望,这些更多是替代了数据库管理,而这种替代代价是限制。
昨天联系用友客服的间隙,尝试安装测试flask-admin,这个系统的确是简易、灵活,但就是文档实在太烂了,简直可以用坨来形容:getting started的第一个代码示例就出错,根本无法运行。
后来查了一下资料,发现原来这个示例是从github下的示例摘取出来的,没有环境设置当然运行不了。
这国外IT人现在也这么不靠谱。
暂且再试几天,不行就用Django低版本加xadmin将就一下吧。