v0.1.5
版本发布时间: 2024-06-09 08:19:01
turboderp/exllamav2最新发布版本:v0.2.3(2024-09-29 19:04:44)
- Added Q6 and Q8 cache modes
- Defragment cache in dynamic generator
- Use SDPA with Torch 2.3.0+
- Updated wheels to Torch 2.3.1
- Added Python 3.12 wheels, plus Python 3.9 for ROCm
Full Changelog: https://github.com/turboderp/exllamav2/compare/v0.1.4...v0.1.5
1、 exllamav2-0.1.5+cu117.torch2.0.1-cp310-cp310-linux_x86_64.whl 95.53MB
2、 exllamav2-0.1.5+cu117.torch2.0.1-cp310-cp310-win_amd64.whl 95.53MB
3、 exllamav2-0.1.5+cu117.torch2.0.1-cp311-cp311-linux_x86_64.whl 95.53MB
4、 exllamav2-0.1.5+cu117.torch2.0.1-cp311-cp311-win_amd64.whl 95.53MB
5、 exllamav2-0.1.5+cu117.torch2.0.1-cp38-cp38-linux_x86_64.whl 95.53MB
6、 exllamav2-0.1.5+cu117.torch2.0.1-cp38-cp38-win_amd64.whl 95.53MB
7、 exllamav2-0.1.5+cu117.torch2.0.1-cp39-cp39-linux_x86_64.whl 95.53MB
8、 exllamav2-0.1.5+cu117.torch2.0.1-cp39-cp39-win_amd64.whl 95.53MB
9、 exllamav2-0.1.5+cu118.torch2.2.0-cp310-cp310-win_amd64.whl 125.87MB
10、 exllamav2-0.1.5+cu118.torch2.2.0-cp311-cp311-win_amd64.whl 125.87MB
11、 exllamav2-0.1.5+cu118.torch2.2.0-cp312-cp312-win_amd64.whl 125.87MB
12、 exllamav2-0.1.5+cu118.torch2.2.0-cp38-cp38-win_amd64.whl 125.87MB
13、 exllamav2-0.1.5+cu118.torch2.2.0-cp39-cp39-win_amd64.whl 125.86MB
14、 exllamav2-0.1.5+cu118.torch2.3.1-cp310-cp310-linux_x86_64.whl 125.88MB
15、 exllamav2-0.1.5+cu118.torch2.3.1-cp310-cp310-win_amd64.whl 125.87MB
16、 exllamav2-0.1.5+cu118.torch2.3.1-cp311-cp311-linux_x86_64.whl 125.89MB
17、 exllamav2-0.1.5+cu118.torch2.3.1-cp311-cp311-win_amd64.whl 125.87MB
18、 exllamav2-0.1.5+cu118.torch2.3.1-cp312-cp312-linux_x86_64.whl 125.89MB
19、 exllamav2-0.1.5+cu118.torch2.3.1-cp312-cp312-win_amd64.whl 125.87MB
20、 exllamav2-0.1.5+cu118.torch2.3.1-cp38-cp38-linux_x86_64.whl 125.88MB
21、 exllamav2-0.1.5+cu118.torch2.3.1-cp38-cp38-win_amd64.whl 125.87MB
22、 exllamav2-0.1.5+cu118.torch2.3.1-cp39-cp39-linux_x86_64.whl 125.89MB
23、 exllamav2-0.1.5+cu118.torch2.3.1-cp39-cp39-win_amd64.whl 125.86MB
24、 exllamav2-0.1.5+cu121.torch2.2.0-cp310-cp310-win_amd64.whl 127.34MB
25、 exllamav2-0.1.5+cu121.torch2.2.0-cp311-cp311-win_amd64.whl 127.34MB
26、 exllamav2-0.1.5+cu121.torch2.2.0-cp312-cp312-win_amd64.whl 127.34MB
27、 exllamav2-0.1.5+cu121.torch2.2.0-cp38-cp38-win_amd64.whl 127.34MB
28、 exllamav2-0.1.5+cu121.torch2.2.0-cp39-cp39-win_amd64.whl 127.34MB
29、 exllamav2-0.1.5+cu121.torch2.3.1-cp310-cp310-linux_x86_64.whl 127.36MB
30、 exllamav2-0.1.5+cu121.torch2.3.1-cp310-cp310-win_amd64.whl 127.34MB
31、 exllamav2-0.1.5+cu121.torch2.3.1-cp311-cp311-linux_x86_64.whl 127.36MB
32、 exllamav2-0.1.5+cu121.torch2.3.1-cp311-cp311-win_amd64.whl 127.34MB
33、 exllamav2-0.1.5+cu121.torch2.3.1-cp312-cp312-linux_x86_64.whl 127.36MB
34、 exllamav2-0.1.5+cu121.torch2.3.1-cp312-cp312-win_amd64.whl 127.34MB
35、 exllamav2-0.1.5+cu121.torch2.3.1-cp38-cp38-linux_x86_64.whl 127.36MB
36、 exllamav2-0.1.5+cu121.torch2.3.1-cp38-cp38-win_amd64.whl 127.34MB
37、 exllamav2-0.1.5+cu121.torch2.3.1-cp39-cp39-linux_x86_64.whl 127.36MB
38、 exllamav2-0.1.5+cu121.torch2.3.1-cp39-cp39-win_amd64.whl 127.34MB
39、 exllamav2-0.1.5+rocm5.6.torch2.2.2-cp310-cp310-linux_x86_64.whl 35.29MB
40、 exllamav2-0.1.5+rocm5.6.torch2.2.2-cp311-cp311-linux_x86_64.whl 35.34MB
41、 exllamav2-0.1.5+rocm6.0.torch2.3.1-cp310-cp310-linux_x86_64.whl 36.6MB
42、 exllamav2-0.1.5+rocm6.0.torch2.3.1-cp311-cp311-linux_x86_64.whl 36.68MB
43、 exllamav2-0.1.5+rocm6.0.torch2.3.1-cp312-cp312-linux_x86_64.whl 36.8MB
44、 exllamav2-0.1.5-py3-none-any.whl 245.55KB