v0.1.6
版本发布时间: 2024-06-24 08:36:44
turboderp/exllamav2最新发布版本:v0.2.3(2024-09-29 19:04:44)
- Fix dynamic generator fallback mode (was broken for prompts longer than max_input_len)
- Fix inference on ROCm wave64 devices
- Made model conversion script part of
exllamav2package - CPU optimizations
Full Changelog: https://github.com/turboderp/exllamav2/compare/v0.1.5...v0.1.6
1、 exllamav2-0.1.6+cu117.torch2.0.1-cp310-cp310-linux_x86_64.whl 96.7MB
2、 exllamav2-0.1.6+cu117.torch2.0.1-cp310-cp310-win_amd64.whl 96.7MB
3、 exllamav2-0.1.6+cu117.torch2.0.1-cp311-cp311-linux_x86_64.whl 96.7MB
4、 exllamav2-0.1.6+cu117.torch2.0.1-cp311-cp311-win_amd64.whl 96.7MB
5、 exllamav2-0.1.6+cu117.torch2.0.1-cp38-cp38-linux_x86_64.whl 96.7MB
6、 exllamav2-0.1.6+cu117.torch2.0.1-cp38-cp38-win_amd64.whl 96.7MB
7、 exllamav2-0.1.6+cu117.torch2.0.1-cp39-cp39-linux_x86_64.whl 96.7MB
8、 exllamav2-0.1.6+cu117.torch2.0.1-cp39-cp39-win_amd64.whl 96.7MB
9、 exllamav2-0.1.6+cu118.torch2.2.0-cp310-cp310-win_amd64.whl 127.04MB
10、 exllamav2-0.1.6+cu118.torch2.2.0-cp311-cp311-win_amd64.whl 127.04MB
11、 exllamav2-0.1.6+cu118.torch2.2.0-cp312-cp312-win_amd64.whl 127.04MB
12、 exllamav2-0.1.6+cu118.torch2.2.0-cp38-cp38-win_amd64.whl 127.04MB
13、 exllamav2-0.1.6+cu118.torch2.2.0-cp39-cp39-win_amd64.whl 127.04MB
14、 exllamav2-0.1.6+cu118.torch2.3.1-cp310-cp310-linux_x86_64.whl 127.06MB
15、 exllamav2-0.1.6+cu118.torch2.3.1-cp310-cp310-win_amd64.whl 127.04MB
16、 exllamav2-0.1.6+cu118.torch2.3.1-cp311-cp311-linux_x86_64.whl 127.07MB
17、 exllamav2-0.1.6+cu118.torch2.3.1-cp311-cp311-win_amd64.whl 127.04MB
18、 exllamav2-0.1.6+cu118.torch2.3.1-cp312-cp312-linux_x86_64.whl 127.07MB
19、 exllamav2-0.1.6+cu118.torch2.3.1-cp312-cp312-win_amd64.whl 127.04MB
20、 exllamav2-0.1.6+cu118.torch2.3.1-cp38-cp38-linux_x86_64.whl 127.06MB
21、 exllamav2-0.1.6+cu118.torch2.3.1-cp38-cp38-win_amd64.whl 127.04MB
22、 exllamav2-0.1.6+cu118.torch2.3.1-cp39-cp39-linux_x86_64.whl 127.07MB
23、 exllamav2-0.1.6+cu118.torch2.3.1-cp39-cp39-win_amd64.whl 127.04MB
24、 exllamav2-0.1.6+cu121.torch2.2.0-cp310-cp310-win_amd64.whl 128.52MB
25、 exllamav2-0.1.6+cu121.torch2.2.0-cp311-cp311-win_amd64.whl 128.52MB
26、 exllamav2-0.1.6+cu121.torch2.2.0-cp312-cp312-win_amd64.whl 128.52MB
27、 exllamav2-0.1.6+cu121.torch2.2.0-cp38-cp38-win_amd64.whl 128.52MB
28、 exllamav2-0.1.6+cu121.torch2.2.0-cp39-cp39-win_amd64.whl 128.52MB
29、 exllamav2-0.1.6+cu121.torch2.3.1-cp310-cp310-linux_x86_64.whl 128.53MB
30、 exllamav2-0.1.6+cu121.torch2.3.1-cp310-cp310-win_amd64.whl 128.52MB
31、 exllamav2-0.1.6+cu121.torch2.3.1-cp311-cp311-linux_x86_64.whl 128.53MB
32、 exllamav2-0.1.6+cu121.torch2.3.1-cp311-cp311-win_amd64.whl 128.52MB
33、 exllamav2-0.1.6+cu121.torch2.3.1-cp312-cp312-linux_x86_64.whl 128.54MB
34、 exllamav2-0.1.6+cu121.torch2.3.1-cp312-cp312-win_amd64.whl 128.52MB
35、 exllamav2-0.1.6+cu121.torch2.3.1-cp38-cp38-linux_x86_64.whl 128.53MB
36、 exllamav2-0.1.6+cu121.torch2.3.1-cp38-cp38-win_amd64.whl 128.52MB
37、 exllamav2-0.1.6+cu121.torch2.3.1-cp39-cp39-linux_x86_64.whl 128.53MB
38、 exllamav2-0.1.6+cu121.torch2.3.1-cp39-cp39-win_amd64.whl 128.52MB
39、 exllamav2-0.1.6+rocm5.6.torch2.2.2-cp310-cp310-linux_x86_64.whl 36.44MB
40、 exllamav2-0.1.6+rocm5.6.torch2.2.2-cp311-cp311-linux_x86_64.whl 36.49MB
41、 exllamav2-0.1.6+rocm6.0.torch2.3.1-cp310-cp310-linux_x86_64.whl 37.75MB
42、 exllamav2-0.1.6+rocm6.0.torch2.3.1-cp311-cp311-linux_x86_64.whl 37.83MB
43、 exllamav2-0.1.6+rocm6.0.torch2.3.1-cp312-cp312-linux_x86_64.whl 37.93MB
44、 exllamav2-0.1.6-py3-none-any.whl 1.38MB