v0.4.26
版本发布时间: 2023-11-22 19:58:56
bentoml/OpenLLM最新发布版本:v0.6.13(2024-10-17 21:17:35)
Installation
pip install openllm==0.4.26
To upgrade from a previous version, use the following command:
pip install --upgrade openllm==0.4.26
Usage
All available models: openllm models
To start a LLM: python -m openllm start HuggingFaceH4/zephyr-7b-beta
To run OpenLLM within a container environment (requires GPUs): docker run --gpus all -it -P -v $PWD/data:$HOME/.cache/huggingface/ ghcr.io/bentoml/openllm:0.4.26 start HuggingFaceH4/zephyr-7b-beta
Find more information about this release in the CHANGELOG.md
What's Changed
- fix(infra): setup higher timer for building container images by @aarnphm in https://github.com/bentoml/OpenLLM/pull/723
- fix(client): correct schemas parser from correct response output by @aarnphm in https://github.com/bentoml/OpenLLM/pull/724
- feat(openai): chat templates and complete control of prompt generation by @aarnphm in https://github.com/bentoml/OpenLLM/pull/725
Full Changelog: https://github.com/bentoml/OpenLLM/compare/v0.4.25...v0.4.26
1、 openllm-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB
2、 openllm-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB
3、 openllm-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB
4、 openllm-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB
5、 openllm-0.4.26-py3-none-any.whl 125.92KB
6、 openllm-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB
7、 openllm-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB
8、 openllm-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB
9、 openllm-0.4.26.tar.gz 117.15KB
10、 openllm-build-base-container-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB
11、 openllm-build-base-container-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB
12、 openllm-build-base-container-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB
13、 openllm-build-base-container-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB
14、 openllm-build-base-container-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB
15、 openllm-build-base-container-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB
16、 openllm-build-base-container-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB
17、 openllm-dive-bentos-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB
18、 openllm-dive-bentos-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB
19、 openllm-dive-bentos-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB
20、 openllm-dive-bentos-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB
21、 openllm-dive-bentos-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB
22、 openllm-dive-bentos-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB
23、 openllm-dive-bentos-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB
24、 openllm-get-containerfile-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB
25、 openllm-get-containerfile-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB
26、 openllm-get-containerfile-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB
27、 openllm-get-containerfile-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.23MB
28、 openllm-get-containerfile-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB
29、 openllm-get-containerfile-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB
30、 openllm-get-containerfile-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB
31、 openllm-get-prompt-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB
32、 openllm-get-prompt-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB
33、 openllm-get-prompt-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB
34、 openllm-get-prompt-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB
35、 openllm-get-prompt-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB
36、 openllm-get-prompt-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB
37、 openllm-get-prompt-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB
38、 openllm-list-bentos-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB
39、 openllm-list-bentos-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB
40、 openllm-list-bentos-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB
41、 openllm-list-bentos-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB
42、 openllm-list-bentos-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB
43、 openllm-list-bentos-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB
44、 openllm-list-bentos-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB
45、 openllm-list-models-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB
46、 openllm-list-models-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB
47、 openllm-list-models-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB
48、 openllm-list-models-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB
49、 openllm-list-models-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB
50、 openllm-list-models-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB
51、 openllm-list-models-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB
52、 openllm-playground-0.4.26-aarch64-apple-darwin.tar.gz 1.91MB
53、 openllm-playground-0.4.26-aarch64-unknown-linux-gnu.tar.gz 1.97MB
54、 openllm-playground-0.4.26-i686-unknown-linux-gnu.tar.gz 2.03MB
55、 openllm-playground-0.4.26-powerpc64le-unknown-linux-gnu.tar.gz 2.24MB
56、 openllm-playground-0.4.26-x86_64-apple-darwin.tar.gz 1.99MB
57、 openllm-playground-0.4.26-x86_64-unknown-linux-gnu.tar.gz 2.17MB
58、 openllm-playground-0.4.26-x86_64-unknown-linux-musl.tar.gz 2.2MB
59、 openllm_client-0.4.26-py3-none-any.whl 18.75KB
60、 openllm_client-0.4.26.tar.gz 20.54KB
61、 openllm_core-0.4.26-py3-none-any.whl 71.15KB
62、 openllm_core-0.4.26.tar.gz 58.84KB