-
分类于
后端开发
标签
GRPC
微服务
发表于2024-03-25 20:00
对于我来说,我更喜欢GRPC的点是:1.得益于Protobuf,在不同语言之间使用强类型定义数据结构的统一。2.通过 Protobuf文件,不仅可以生成主流语言的接口相关代码还可以通过第三方工具,例如buf生成各种语言的类型定义,也就是前端可以直接拿到 typescript文件。3.传输数据流byte,也就是多个服务之间可以相互推文件流和其他数据流。当然,protobuf 是一种通用的数据序列化框架,不止GRPC,RPCX也能使用这种数据序列化框架。...
阅读全文 »
-
分类于
其他技术
标签
docker
发表于2023-10-10 19:00
想着别人在部署我的项目时,可能对前端不熟悉,导致部署很麻烦,因此决定弄一个容器,加上现在 docker 支持多阶段编译,github 可以直接发布套餐包,正好实操一下顺便记录一些命令。...
阅读全文 »
-
因为人工智能的火热,组了一台13700K+4070的主机,想着要拿来跑图和跑模型学习,结果打开了steam下载了只狼嘎嘎炫,还好玩了几天就对游戏失去兴趣了,后面跑图就不说了(各种模型和LORA让人眼花缭乱,狗头.jpg),然后给别人开发了一个对接chatgpt的系统后,觉得要找一个开源本地能跑的LLM玩一玩,然后就发现了清华大学的ChatGLM2-6b,跑起来发现效果还行,这样的话不就可以用最少的代价建立起本地知识库问答机器人了?so 今天我们就研究一下基于AGI的向量实现语义搜索,并给聊天机器人提供更多的上下文从而建立自己的知识库问答机器人。关键词:ChatGLM2-6b、embedding、llama_index、cuda、pytorch...
阅读全文 »
-
分类于
前端开发
标签
SSE
WebSocket
分块传输编码
发表于2023-03-21 22:00
在研究和开发chatGPT的过程中,发现了分块传输编码和SSE技术,加上之前使用过的WebSocket,因此记录一下这三种技术。分块传输编码可以在数据发送过程中将数据分成一个个小块来传输,从而达到流式传输的效果;SSE则是将数据注入到一个已经打开的HTTP连接中,实现了服务器向客户端推送数据的功能;而WebSocket则是一种基于TCP协议的双向通信协议,可以实现浏览器与服务器之间的实时交互。...
阅读全文 »