MyGit

v0.3.4.dev1

dataelement/bisheng

版本发布时间: 2024-08-19 14:38:56

dataelement/bisheng最新发布版本:v0.3.4.dev3(2024-08-24 11:22:49)

BISHENG 0.3.4 dev1 版来啦~

  1. 模型管理功能全面升级改造>>模型管理(模型管理) a. 兼容多种推理框架:正式支持主流开源 LLM 推理框架(ollama/llamacpp/xinference/vllm)部署模型及在线模型快速接入,并提供模型上下线操作和单日调用量控制能力。 b. 系统配置大幅简化:知识库、助手、评测等功能所依赖的模型可在模型管理中进行可视化配置,内置工具(Dalle3绘画、Bing 搜索、天眼查)秘钥在工具页面中进行可视化配置。 c. 基于以上功能,大幅简化了部署和配置使用毕昇的步骤,部署文档也变得格外清爽:私有化部署(私有化部署)
  2. bisheng-unstructured组件变更为非必须部署,简化部署流程,并且新增对 OCR SDK 的支持(替换原RT中的闭源模型提供文档解析模型的推理服务)。
  3. 增加 BishengLLM 组件: 可快速选择模型管理中已接入的 LLM,无需重复填写模型地址和 key>>BishengLLM(BishengLLM) 注:鉴于市面上已经存在 Ollama 等一批优秀的开源推理框架,与 bisheng-rt 模块功能存在部分重合,从0.3.4 版本开始,建议各位开发者使用上述开源框架进行各类模型(LLM、Embedding、Rerank)部署,bisheng-rt中闭源模型的能力未来将由 OCR-SDK 替代(本次dev1版本使用OCR SDK暂无法实现知识库问答溯源,一周后的Release版将支持,继续使用RT仍可以进行知识库问答溯源)。 对于暂时不想替换bisheng-rt的用户,可以继续使用,我们提供了相应升级方案,详见:版本升级注意事项(版本升级注意事项)

相关地址:原始地址 下载(tar) 下载(zip)

查看:2024-08-19发行的版本