v0.0.19
版本发布时间: 2024-04-19 14:44:56
turboderp/exllamav2最新发布版本:v0.0.21(2024-05-11 21:31:56)
- More accurate Q4 cache using groupwise rotations
- Better prompt ingestion speed when using flash-attn
- Minor fixes related to issues quantizing Llama 3
- New, more robust optimizer
- Fix bug on long-sequence inference for GPTQ models
Full Changelog: https://github.com/turboderp/exllamav2/compare/v0.0.18...v0.0.19
1、 exllamav2-0.0.19+cu117-cp310-cp310-linux_x86_64.whl 95.18MB
2、 exllamav2-0.0.19+cu117-cp310-cp310-win_amd64.whl 95.18MB
3、 exllamav2-0.0.19+cu117-cp311-cp311-linux_x86_64.whl 95.18MB
4、 exllamav2-0.0.19+cu117-cp311-cp311-win_amd64.whl 95.18MB
5、 exllamav2-0.0.19+cu117-cp38-cp38-linux_x86_64.whl 95.18MB
6、 exllamav2-0.0.19+cu117-cp38-cp38-win_amd64.whl 95.18MB
7、 exllamav2-0.0.19+cu117-cp39-cp39-linux_x86_64.whl 95.18MB
8、 exllamav2-0.0.19+cu117-cp39-cp39-win_amd64.whl 95.17MB
9、 exllamav2-0.0.19+cu118-cp310-cp310-linux_x86_64.whl 125.43MB
10、 exllamav2-0.0.19+cu118-cp310-cp310-win_amd64.whl 125.42MB
11、 exllamav2-0.0.19+cu118-cp311-cp311-linux_x86_64.whl 125.43MB
12、 exllamav2-0.0.19+cu118-cp311-cp311-win_amd64.whl 125.42MB
13、 exllamav2-0.0.19+cu118-cp38-cp38-linux_x86_64.whl 125.43MB
14、 exllamav2-0.0.19+cu118-cp38-cp38-win_amd64.whl 125.42MB
15、 exllamav2-0.0.19+cu118-cp39-cp39-linux_x86_64.whl 125.43MB
16、 exllamav2-0.0.19+cu118-cp39-cp39-win_amd64.whl 125.42MB
17、 exllamav2-0.0.19+cu121-cp310-cp310-linux_x86_64.whl 126.9MB
18、 exllamav2-0.0.19+cu121-cp310-cp310-win_amd64.whl 126.89MB
19、 exllamav2-0.0.19+cu121-cp311-cp311-linux_x86_64.whl 126.9MB
20、 exllamav2-0.0.19+cu121-cp311-cp311-win_amd64.whl 126.89MB
21、 exllamav2-0.0.19+cu121-cp38-cp38-linux_x86_64.whl 126.9MB
22、 exllamav2-0.0.19+cu121-cp38-cp38-win_amd64.whl 126.89MB
23、 exllamav2-0.0.19+cu121-cp39-cp39-linux_x86_64.whl 126.9MB
24、 exllamav2-0.0.19+cu121-cp39-cp39-win_amd64.whl 126.89MB
25、 exllamav2-0.0.19+rocm5.6-cp310-cp310-linux_x86_64.whl 34.39MB
26、 exllamav2-0.0.19+rocm5.6-cp311-cp311-linux_x86_64.whl 34.47MB
27、 exllamav2-0.0.19-cp38-cp38-linux_x86_64.whl 34.41MB
28、 exllamav2-0.0.19-cp39-cp39-linux_x86_64.whl 34.37MB
29、 exllamav2-0.0.19-py3-none-any.whl 214.7KB
30、 exllamav2-0.0.19.tar.gz 1.72MB