v0.1.4
版本发布时间: 2024-06-04 07:34:22
turboderp/exllamav2最新发布版本:v0.2.3(2024-09-29 19:04:44)
- Option to keep calibration states in VRAM while measuring
- Fix for Q4 cache for odd key/value sizes (MiniCPM specifically)
- Alternative
fasttensorsoption on Windows to solve system memory issues - Prefix filter with multiple prefixes
Full Changelog: https://github.com/turboderp/exllamav2/compare/v0.1.3...v0.1.4
1、 exllamav2-0.1.4+cu117.torch2.0.1-cp310-cp310-linux_x86_64.whl 95.29MB
2、 exllamav2-0.1.4+cu117.torch2.0.1-cp310-cp310-win_amd64.whl 95.27MB
3、 exllamav2-0.1.4+cu117.torch2.0.1-cp311-cp311-linux_x86_64.whl 95.29MB
4、 exllamav2-0.1.4+cu117.torch2.0.1-cp311-cp311-win_amd64.whl 95.27MB
5、 exllamav2-0.1.4+cu117.torch2.0.1-cp38-cp38-linux_x86_64.whl 95.29MB
6、 exllamav2-0.1.4+cu117.torch2.0.1-cp38-cp38-win_amd64.whl 95.27MB
7、 exllamav2-0.1.4+cu117.torch2.0.1-cp39-cp39-linux_x86_64.whl 95.29MB
8、 exllamav2-0.1.4+cu117.torch2.0.1-cp39-cp39-win_amd64.whl 95.27MB
9、 exllamav2-0.1.4+cu118.torch2.2.0-cp310-cp310-win_amd64.whl 125.53MB
10、 exllamav2-0.1.4+cu118.torch2.2.0-cp311-cp311-win_amd64.whl 125.53MB
11、 exllamav2-0.1.4+cu118.torch2.2.0-cp312-cp312-win_amd64.whl 125.53MB
12、 exllamav2-0.1.4+cu118.torch2.2.0-cp38-cp38-win_amd64.whl 125.53MB
13、 exllamav2-0.1.4+cu118.torch2.2.0-cp39-cp39-win_amd64.whl 125.53MB
14、 exllamav2-0.1.4+cu118.torch2.3.0-cp310-cp310-linux_x86_64.whl 125.56MB
15、 exllamav2-0.1.4+cu118.torch2.3.0-cp310-cp310-win_amd64.whl 125.53MB
16、 exllamav2-0.1.4+cu118.torch2.3.0-cp311-cp311-linux_x86_64.whl 125.56MB
17、 exllamav2-0.1.4+cu118.torch2.3.0-cp311-cp311-win_amd64.whl 125.53MB
18、 exllamav2-0.1.4+cu118.torch2.3.0-cp38-cp38-linux_x86_64.whl 125.56MB
19、 exllamav2-0.1.4+cu118.torch2.3.0-cp38-cp38-win_amd64.whl 125.53MB
20、 exllamav2-0.1.4+cu118.torch2.3.0-cp39-cp39-linux_x86_64.whl 125.56MB
21、 exllamav2-0.1.4+cu118.torch2.3.0-cp39-cp39-win_amd64.whl 125.53MB
22、 exllamav2-0.1.4+cu118.torch2.3.1-cp312-cp312-linux_x86_64.whl 125.56MB
23、 exllamav2-0.1.4+cu118.torch2.3.1-cp312-cp312-win_amd64.whl 125.53MB
24、 exllamav2-0.1.4+cu121.torch2.2.0-cp310-cp310-win_amd64.whl 127MB
25、 exllamav2-0.1.4+cu121.torch2.2.0-cp311-cp311-win_amd64.whl 127MB
26、 exllamav2-0.1.4+cu121.torch2.2.0-cp312-cp312-win_amd64.whl 127MB
27、 exllamav2-0.1.4+cu121.torch2.2.0-cp38-cp38-win_amd64.whl 127MB
28、 exllamav2-0.1.4+cu121.torch2.2.0-cp39-cp39-win_amd64.whl 127MB
29、 exllamav2-0.1.4+cu121.torch2.3.0-cp310-cp310-linux_x86_64.whl 127.02MB
30、 exllamav2-0.1.4+cu121.torch2.3.0-cp310-cp310-win_amd64.whl 127MB
31、 exllamav2-0.1.4+cu121.torch2.3.0-cp311-cp311-linux_x86_64.whl 127.03MB
32、 exllamav2-0.1.4+cu121.torch2.3.0-cp311-cp311-win_amd64.whl 127MB
33、 exllamav2-0.1.4+cu121.torch2.3.0-cp38-cp38-linux_x86_64.whl 127.02MB
34、 exllamav2-0.1.4+cu121.torch2.3.0-cp38-cp38-win_amd64.whl 127MB
35、 exllamav2-0.1.4+cu121.torch2.3.0-cp39-cp39-linux_x86_64.whl 127.03MB
36、 exllamav2-0.1.4+cu121.torch2.3.0-cp39-cp39-win_amd64.whl 127MB
37、 exllamav2-0.1.4+cu121.torch2.3.1-cp312-cp312-linux_x86_64.whl 127.03MB
38、 exllamav2-0.1.4+cu121.torch2.3.1-cp312-cp312-win_amd64.whl 127MB
39、 exllamav2-0.1.4+rocm5.6.torch2.2.2-cp310-cp310-linux_x86_64.whl 35.23MB
40、 exllamav2-0.1.4+rocm5.6.torch2.2.2-cp311-cp311-linux_x86_64.whl 35.28MB
41、 exllamav2-0.1.4+rocm5.6.torch2.2.2-cp39-cp39-linux_x86_64.whl 35.24MB
42、 exllamav2-0.1.4+rocm6.0.torch2.3.0-cp310-cp310-linux_x86_64.whl 36.53MB
43、 exllamav2-0.1.4+rocm6.0.torch2.3.0-cp311-cp311-linux_x86_64.whl 36.61MB
44、 exllamav2-0.1.4+rocm6.0.torch2.3.0-cp39-cp39-linux_x86_64.whl 36.55MB
45、 exllamav2-0.1.4+rocm6.0.torch2.3.1-cp312-cp312-linux_x86_64.whl 36.73MB
46、 exllamav2-0.1.4-py3-none-any.whl 242.68KB