v0.4.26

bentoml/OpenLLM

版本发布时间: 2023-11-22 19:58:56

bentoml/OpenLLM最新发布版本:v0.6.13(2024-10-17 21:17:35)

Installation

pip install openllm==0.4.26

To upgrade from a previous version, use the following command:

pip install --upgrade openllm==0.4.26

Usage

All available models: openllm models

To start a LLM: python -m openllm start HuggingFaceH4/zephyr-7b-beta

To run OpenLLM within a container environment (requires GPUs): docker run --gpus all -it -P -v $PWD/data:$HOME/.cache/huggingface/ ghcr.io/bentoml/openllm:0.4.26 start HuggingFaceH4/zephyr-7b-beta

Find more information about this release in the CHANGELOG.md

What's Changed

fix(infra): setup higher timer for building container images by @aarnphm in https://github.com/bentoml/OpenLLM/pull/723
fix(client): correct schemas parser from correct response output by @aarnphm in https://github.com/bentoml/OpenLLM/pull/724
feat(openai): chat templates and complete control of prompt generation by @aarnphm in https://github.com/bentoml/OpenLLM/pull/725

Full Changelog: https://github.com/bentoml/OpenLLM/compare/v0.4.25...v0.4.26

相关地址：原始地址下载(tar) 下载(zip)

1、 openllm-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB

2、 openllm-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB

3、 openllm-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB

4、 openllm-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

5、 openllm-0.4.26-py3-none-any.whl 125.92KB

6、 openllm-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB

7、 openllm-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB

8、 openllm-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB

9、 openllm-0.4.26.tar.gz 117.15KB

10、 openllm-build-base-container-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB

11、 openllm-build-base-container-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB

12、 openllm-build-base-container-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB

13、 openllm-build-base-container-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

14、 openllm-build-base-container-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB

15、 openllm-build-base-container-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB

16、 openllm-build-base-container-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB

17、 openllm-dive-bentos-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB

18、 openllm-dive-bentos-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB

19、 openllm-dive-bentos-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB

20、 openllm-dive-bentos-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

21、 openllm-dive-bentos-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB

22、 openllm-dive-bentos-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB

23、 openllm-dive-bentos-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB

24、 openllm-get-containerfile-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB

25、 openllm-get-containerfile-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB

26、 openllm-get-containerfile-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB

27、 openllm-get-containerfile-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.23MB

28、 openllm-get-containerfile-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB

29、 openllm-get-containerfile-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB

30、 openllm-get-containerfile-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB

31、 openllm-get-prompt-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB

32、 openllm-get-prompt-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB

33、 openllm-get-prompt-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB

34、 openllm-get-prompt-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

35、 openllm-get-prompt-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB

36、 openllm-get-prompt-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB

37、 openllm-get-prompt-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB

38、 openllm-list-bentos-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB

39、 openllm-list-bentos-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB

40、 openllm-list-bentos-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB

41、 openllm-list-bentos-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

42、 openllm-list-bentos-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB

43、 openllm-list-bentos-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB

44、 openllm-list-bentos-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB

45、 openllm-list-models-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB

46、 openllm-list-models-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB

47、 openllm-list-models-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB

48、 openllm-list-models-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

49、 openllm-list-models-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB

50、 openllm-list-models-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB

51、 openllm-list-models-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB

52、 openllm-playground-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB

53、 openllm-playground-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB

54、 openllm-playground-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB

55、 openllm-playground-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

56、 openllm-playground-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB

57、 openllm-playground-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB

58、 openllm-playground-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB

59、 openllm_client-0.4.26-py3-none-any.whl 18.75KB

60、 openllm_client-0.4.26.tar.gz 20.54KB

61、 openllm_core-0.4.26-py3-none-any.whl 71.15KB

62、 openllm_core-0.4.26.tar.gz 58.84KB

查看：2023-11-22发行的版本