(相关资料图)
Whisper 是 OpenAI 推出的一个自动语音识别(ASR)系统,whisper.cpp 则是 Whisper 模型的 C/C++ 移植。whisper.cpp 具有无依赖项、内存使用量低等特点,支持 Mac、Windows、Linux、iOS 和 Android 系统。
whisper.cpp 1.4 增加了整数量化(Integer quantization)和部分 GPU(NVIDIA)支持
这可以让 ggml
Whisper 模型从默认的 16-bit 浮点权重转换为 4、5 或 8-bit 整数权重。
由此产生的量化模型在磁盘大小和内存使用方面更低,在某些架构上可以更快地处理,但转录质量在一定程度上会下降。
使用 cuBLAS 的结果主要是提高 Encoder 的推理速度,与只用 CPU 处理相比,使用现代 NVIDIA GPU 的 Encoder 评估至少可以快 2-3 倍。
更多详情可查看:https://github.com/ggerganov/whisper.cpp/releases/tag/v1.4.0
标签:
免责声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。如稿件版权单位或个人不想在本网发布,可与本网联系,本网视情况可立即将其撤除。