利用llama.cpp加载Qwen3.5-0.8B.BF16-mmproj.gguf模型文件识别图像和提取文字
·
Qwen3.5-0.8B是多模态模型,在ollama中打开时,默认能上传图像。
而用命令行
llama-server -m qw3508q4\Qwen3.5-0.8B-UD-Q4_K_XL.gguf --jinja -c 0 --host 127.0.0.1 --port 8033
启动服务器,上传文件类型选择菜单中的image文字是置灰的,并有提示信息。只能上传文本文件、文本类型pdf(非图像扫描)。
这就需要https://www.modelscope.cn/models/unsloth/Qwen3.5-0.8B-GGUF/files目录下的Qwen3.5-0.8B.BF16-mmproj.gguf文件。
改后的命令行如下:
注意必须用选项-mmproj加载mmproj.gguf模型文件,而不能用-m。
C:\d\models>\d\llama8\llama-server -m qw3508q4\Qwen3.5-0.8B-UD-Q4_K_XL.gguf --mmproj qw3508q4\Qwen3.5-0.8B.BF16-mmproj.gguf --jinja -c 0 --host 127.0.0.1 --port 8033 --reasoning-budget -1
srv init: init: chat template, thinking = 0
main: model loaded
main: server is listening on http://127.0.0.1:8033
然后在浏览器中输入http://127.0.0.1:8033,就能看到上传文件类型选择菜单中的image文字已经变黑,没有提示信息了。

上传一幅图片和一个截图测试,都能较好识别。


但将对图片的描述输入,他告知不能生成图像,用网页版的qwen 3.5plus可以生成。
描述复杂图像不够精确,不如思考过的ollama, 试图用--reasoning-budget -1打开llama.cpp思考模式也没有成功,仍然输出thinking = 0。
C:\d\models>\d\llama8\llama-server -m qw3508q4\Qwen3.5-0.8B-UD-Q4_K_XL.gguf --mmproj qw3508q4\Qwen3.5-0.8B.BF16-mmproj.gguf --jinja -c 0 --host 127.0.0.1 --port 8033 --reasoning-budget -1
srv init: init: chat template, thinking = 0
main: model loaded
main: server is listening on http://127.0.0.1:8033
更多推荐


所有评论(0)