v0.1.9
版本发布时间: 2024-08-22 19:54:15
turboderp/exllamav2最新发布版本:v0.2.3(2024-09-29 19:04:44)
- Add experimental tensor-parallel mode. Currently supports Llama(1+2+3), Qwen2 and Mistral models
- CUDA Graphs to reduce overhead and CPU bottlenecking
- Various other optimizations
- Some bugfixes
Full Changelog: https://github.com/turboderp/exllamav2/compare/v0.1.8...v0.1.9
1、 exllamav2-0.1.9+cu117.torch2.0.1-cp310-cp310-linux_x86_64.whl 98.32MB
2、 exllamav2-0.1.9+cu117.torch2.0.1-cp310-cp310-win_amd64.whl 98.29MB
3、 exllamav2-0.1.9+cu117.torch2.0.1-cp311-cp311-linux_x86_64.whl 98.32MB
4、 exllamav2-0.1.9+cu117.torch2.0.1-cp311-cp311-win_amd64.whl 98.29MB
5、 exllamav2-0.1.9+cu117.torch2.0.1-cp38-cp38-linux_x86_64.whl 98.32MB
6、 exllamav2-0.1.9+cu117.torch2.0.1-cp38-cp38-win_amd64.whl 98.29MB
7、 exllamav2-0.1.9+cu117.torch2.0.1-cp39-cp39-linux_x86_64.whl 98.32MB
8、 exllamav2-0.1.9+cu117.torch2.0.1-cp39-cp39-win_amd64.whl 98.29MB
9、 exllamav2-0.1.9+cu118.torch2.2.0-cp310-cp310-win_amd64.whl 129.14MB
10、 exllamav2-0.1.9+cu118.torch2.2.0-cp311-cp311-win_amd64.whl 129.14MB
11、 exllamav2-0.1.9+cu118.torch2.2.0-cp312-cp312-win_amd64.whl 129.14MB
12、 exllamav2-0.1.9+cu118.torch2.2.0-cp38-cp38-win_amd64.whl 129.14MB
13、 exllamav2-0.1.9+cu118.torch2.2.0-cp39-cp39-win_amd64.whl 129.14MB
14、 exllamav2-0.1.9+cu118.torch2.3.1-cp310-cp310-linux_x86_64.whl 129.18MB
15、 exllamav2-0.1.9+cu118.torch2.3.1-cp310-cp310-win_amd64.whl 129.14MB
16、 exllamav2-0.1.9+cu118.torch2.3.1-cp311-cp311-linux_x86_64.whl 129.18MB
17、 exllamav2-0.1.9+cu118.torch2.3.1-cp311-cp311-win_amd64.whl 129.14MB
18、 exllamav2-0.1.9+cu118.torch2.3.1-cp312-cp312-linux_x86_64.whl 129.18MB
19、 exllamav2-0.1.9+cu118.torch2.3.1-cp312-cp312-win_amd64.whl 129.14MB
20、 exllamav2-0.1.9+cu118.torch2.3.1-cp38-cp38-linux_x86_64.whl 129.18MB
21、 exllamav2-0.1.9+cu118.torch2.3.1-cp38-cp38-win_amd64.whl 129.14MB
22、 exllamav2-0.1.9+cu118.torch2.3.1-cp39-cp39-linux_x86_64.whl 129.18MB
23、 exllamav2-0.1.9+cu118.torch2.3.1-cp39-cp39-win_amd64.whl 129.14MB
24、 exllamav2-0.1.9+cu118.torch2.4.0-cp310-cp310-linux_x86_64.whl 129.18MB
25、 exllamav2-0.1.9+cu118.torch2.4.0-cp311-cp311-linux_x86_64.whl 129.18MB
26、 exllamav2-0.1.9+cu118.torch2.4.0-cp311-cp311-win_amd64.whl 129.14MB
27、 exllamav2-0.1.9+cu118.torch2.4.0-cp312-cp312-linux_x86_64.whl 129.18MB
28、 exllamav2-0.1.9+cu118.torch2.4.0-cp312-cp312-win_amd64.whl 129.13MB
29、 exllamav2-0.1.9+cu118.torch2.4.0-cp38-cp38-linux_x86_64.whl 129.18MB
30、 exllamav2-0.1.9+cu118.torch2.4.0-cp38-cp38-win_amd64.whl 129.14MB
31、 exllamav2-0.1.9+cu118.torch2.4.0-cp39-cp39-linux_x86_64.whl 129.18MB
32、 exllamav2-0.1.9+cu118.torch2.4.0-cp39-cp39-win_amd64.whl 129.14MB
33、 exllamav2-0.1.9+cu121.torch2.2.0-cp310-cp310-win_amd64.whl 130.79MB
34、 exllamav2-0.1.9+cu121.torch2.2.0-cp311-cp311-win_amd64.whl 130.79MB
35、 exllamav2-0.1.9+cu121.torch2.2.0-cp312-cp312-win_amd64.whl 130.79MB
36、 exllamav2-0.1.9+cu121.torch2.2.0-cp38-cp38-win_amd64.whl 130.79MB
37、 exllamav2-0.1.9+cu121.torch2.2.0-cp39-cp39-win_amd64.whl 130.79MB
38、 exllamav2-0.1.9+cu121.torch2.2.2-cp310-cp310-linux_x86_64.whl 130.82MB
39、 exllamav2-0.1.9+cu121.torch2.3.1-cp310-cp310-linux_x86_64.whl 130.82MB
40、 exllamav2-0.1.9+cu121.torch2.3.1-cp310-cp310-win_amd64.whl 130.79MB
41、 exllamav2-0.1.9+cu121.torch2.3.1-cp311-cp311-linux_x86_64.whl 130.82MB
42、 exllamav2-0.1.9+cu121.torch2.3.1-cp311-cp311-win_amd64.whl 130.79MB
43、 exllamav2-0.1.9+cu121.torch2.3.1-cp312-cp312-linux_x86_64.whl 130.82MB
44、 exllamav2-0.1.9+cu121.torch2.3.1-cp312-cp312-win_amd64.whl 130.79MB
45、 exllamav2-0.1.9+cu121.torch2.3.1-cp38-cp38-linux_x86_64.whl 130.82MB
46、 exllamav2-0.1.9+cu121.torch2.3.1-cp38-cp38-win_amd64.whl 130.79MB
47、 exllamav2-0.1.9+cu121.torch2.3.1-cp39-cp39-linux_x86_64.whl 130.82MB
48、 exllamav2-0.1.9+cu121.torch2.3.1-cp39-cp39-win_amd64.whl 130.79MB
49、 exllamav2-0.1.9+cu121.torch2.4.0-cp310-cp310-linux_x86_64.whl 130.82MB
50、 exllamav2-0.1.9+cu121.torch2.4.0-cp311-cp311-linux_x86_64.whl 130.82MB
51、 exllamav2-0.1.9+cu121.torch2.4.0-cp311-cp311-win_amd64.whl 130.79MB
52、 exllamav2-0.1.9+cu121.torch2.4.0-cp312-cp312-linux_x86_64.whl 130.83MB
53、 exllamav2-0.1.9+cu121.torch2.4.0-cp312-cp312-win_amd64.whl 130.79MB
54、 exllamav2-0.1.9+cu121.torch2.4.0-cp38-cp38-linux_x86_64.whl 130.82MB
55、 exllamav2-0.1.9+cu121.torch2.4.0-cp38-cp38-win_amd64.whl 130.79MB
56、 exllamav2-0.1.9+cu121.torch2.4.0-cp39-cp39-linux_x86_64.whl 130.82MB
57、 exllamav2-0.1.9+cu121.torch2.4.0-cp39-cp39-win_amd64.whl 130.79MB
58、 exllamav2-0.1.9+rocm5.6.torch2.2.2-cp310-cp310-linux_x86_64.whl 40.72MB
59、 exllamav2-0.1.9+rocm5.6.torch2.2.2-cp311-cp311-linux_x86_64.whl 40.78MB
60、 exllamav2-0.1.9+rocm6.0.torch2.3.1-cp310-cp310-linux_x86_64.whl 42.08MB
61、 exllamav2-0.1.9+rocm6.0.torch2.3.1-cp311-cp311-linux_x86_64.whl 42.17MB
62、 exllamav2-0.1.9+rocm6.0.torch2.3.1-cp312-cp312-linux_x86_64.whl 42.3MB
63、 exllamav2-0.1.9+rocm6.1.torch2.4.0-cp310-cp310-linux_x86_64.whl 43.53MB
64、 exllamav2-0.1.9+rocm6.1.torch2.4.0-cp311-cp311-linux_x86_64.whl 43.63MB
65、 exllamav2-0.1.9+rocm6.1.torch2.4.0-cp312-cp312-linux_x86_64.whl 43.76MB
66、 exllamav2-0.1.9-py3-none-any.whl 1.42MB