v0.4.16

版本发布时间: 2023-11-19 23:51:40

bentoml/OpenLLM最新发布版本:v0.6.13(2024-10-17 21:17:35)

Installation

pip install openllm==0.4.16

To upgrade from a previous version, use the following command:

pip install --upgrade openllm==0.4.16

Usage

All available models: openllm models

To start a LLM: python -m openllm start opt

To run OpenLLM within a container environment (requires GPUs): docker run --gpus all -it -P ghcr.io/bentoml/openllm:0.4.16 start opt

To run OpenLLM Clojure UI (community-maintained): docker run -p 8420:80 ghcr.io/bentoml/openllm-ui-clojure:0.4.16

Find more information about this release in the CHANGELOG.md

What's Changed

feat(ctranslate): initial infrastructure support by @aarnphm in https://github.com/bentoml/OpenLLM/pull/694
feat(vllm): bump to 0.2.2 by @aarnphm in https://github.com/bentoml/OpenLLM/pull/695
feat(engine): CTranslate2 by @aarnphm in https://github.com/bentoml/OpenLLM/pull/698
chore: update documentation about runtime by @aarnphm in https://github.com/bentoml/OpenLLM/pull/699
chore: update changelog [skip ci] by @aarnphm in https://github.com/bentoml/OpenLLM/pull/700

Full Changelog: https://github.com/bentoml/OpenLLM/compare/v0.4.15...v0.4.16

相关地址：原始地址下载(tar) 下载(zip)

1、 openllm-0.4.16-aarch64-apple-darwin.tar.gz 1.91MB

2、 openllm-0.4.16-aarch64-unknown-linux-gnu.tar.gz 1.97MB

3、 openllm-0.4.16-i686-unknown-linux-gnu.tar.gz 2.03MB

4、 openllm-0.4.16-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

5、 openllm-0.4.16-py3-none-any.whl 128.54KB

6、 openllm-0.4.16-x86_64-apple-darwin.tar.gz 2MB

7、 openllm-0.4.16-x86_64-unknown-linux-gnu.tar.gz 2.18MB

8、 openllm-0.4.16-x86_64-unknown-linux-musl.tar.gz 2.2MB

9、 openllm-0.4.16.tar.gz 119.22KB

10、 openllm-build-base-container-0.4.16-aarch64-apple-darwin.tar.gz 1.91MB

11、 openllm-build-base-container-0.4.16-aarch64-unknown-linux-gnu.tar.gz 1.97MB

12、 openllm-build-base-container-0.4.16-i686-unknown-linux-gnu.tar.gz 2.03MB

13、 openllm-build-base-container-0.4.16-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

14、 openllm-build-base-container-0.4.16-x86_64-apple-darwin.tar.gz 2MB

15、 openllm-build-base-container-0.4.16-x86_64-unknown-linux-gnu.tar.gz 2.18MB

16、 openllm-build-base-container-0.4.16-x86_64-unknown-linux-musl.tar.gz 2.2MB

17、 openllm-dive-bentos-0.4.16-aarch64-apple-darwin.tar.gz 1.91MB

18、 openllm-dive-bentos-0.4.16-aarch64-unknown-linux-gnu.tar.gz 1.97MB

19、 openllm-dive-bentos-0.4.16-i686-unknown-linux-gnu.tar.gz 2.03MB

20、 openllm-dive-bentos-0.4.16-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

21、 openllm-dive-bentos-0.4.16-x86_64-apple-darwin.tar.gz 2MB

22、 openllm-dive-bentos-0.4.16-x86_64-unknown-linux-gnu.tar.gz 2.18MB

23、 openllm-dive-bentos-0.4.16-x86_64-unknown-linux-musl.tar.gz 2.2MB

24、 openllm-get-containerfile-0.4.16-aarch64-apple-darwin.tar.gz 1.91MB

25、 openllm-get-containerfile-0.4.16-aarch64-unknown-linux-gnu.tar.gz 1.97MB

26、 openllm-get-containerfile-0.4.16-i686-unknown-linux-gnu.tar.gz 2.03MB

27、 openllm-get-containerfile-0.4.16-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

28、 openllm-get-containerfile-0.4.16-x86_64-apple-darwin.tar.gz 2MB

29、 openllm-get-containerfile-0.4.16-x86_64-unknown-linux-gnu.tar.gz 2.18MB

30、 openllm-get-containerfile-0.4.16-x86_64-unknown-linux-musl.tar.gz 2.2MB

31、 openllm-get-prompt-0.4.16-aarch64-apple-darwin.tar.gz 1.91MB

32、 openllm-get-prompt-0.4.16-aarch64-unknown-linux-gnu.tar.gz 1.97MB

33、 openllm-get-prompt-0.4.16-i686-unknown-linux-gnu.tar.gz 2.03MB

34、 openllm-get-prompt-0.4.16-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

35、 openllm-get-prompt-0.4.16-x86_64-apple-darwin.tar.gz 2MB

36、 openllm-get-prompt-0.4.16-x86_64-unknown-linux-gnu.tar.gz 2.18MB

37、 openllm-get-prompt-0.4.16-x86_64-unknown-linux-musl.tar.gz 2.2MB

38、 openllm-list-bentos-0.4.16-aarch64-apple-darwin.tar.gz 1.91MB

39、 openllm-list-bentos-0.4.16-aarch64-unknown-linux-gnu.tar.gz 1.97MB

40、 openllm-list-bentos-0.4.16-i686-unknown-linux-gnu.tar.gz 2.03MB

41、 openllm-list-bentos-0.4.16-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

42、 openllm-list-bentos-0.4.16-x86_64-apple-darwin.tar.gz 2MB

43、 openllm-list-bentos-0.4.16-x86_64-unknown-linux-gnu.tar.gz 2.18MB

44、 openllm-list-bentos-0.4.16-x86_64-unknown-linux-musl.tar.gz 2.2MB

45、 openllm-list-models-0.4.16-aarch64-apple-darwin.tar.gz 1.91MB

46、 openllm-list-models-0.4.16-aarch64-unknown-linux-gnu.tar.gz 1.97MB

47、 openllm-list-models-0.4.16-i686-unknown-linux-gnu.tar.gz 2.03MB

48、 openllm-list-models-0.4.16-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

49、 openllm-list-models-0.4.16-x86_64-apple-darwin.tar.gz 2MB

50、 openllm-list-models-0.4.16-x86_64-unknown-linux-gnu.tar.gz 2.18MB

51、 openllm-list-models-0.4.16-x86_64-unknown-linux-musl.tar.gz 2.2MB

52、 openllm-playground-0.4.16-aarch64-apple-darwin.tar.gz 1.91MB

53、 openllm-playground-0.4.16-aarch64-unknown-linux-gnu.tar.gz 1.97MB

54、 openllm-playground-0.4.16-i686-unknown-linux-gnu.tar.gz 2.03MB

55、 openllm-playground-0.4.16-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB

56、 openllm-playground-0.4.16-x86_64-apple-darwin.tar.gz 2MB

57、 openllm-playground-0.4.16-x86_64-unknown-linux-gnu.tar.gz 2.18MB

58、 openllm-playground-0.4.16-x86_64-unknown-linux-musl.tar.gz 2.2MB

59、 openllm_client-0.4.16-py3-none-any.whl 18.86KB

60、 openllm_client-0.4.16.tar.gz 20.62KB

61、 openllm_core-0.4.16-py3-none-any.whl 77.13KB

62、 openllm_core-0.4.16.tar.gz 60.75KB

查看：2023-11-19发行的版本