Qwen3.5-0.8B是多模态模型,在ollama中打开时,默认能上传图像。
而用命令行

llama-server -m  qw3508q4\Qwen3.5-0.8B-UD-Q4_K_XL.gguf --jinja -c 0 --host 127.0.0.1 --port 8033

启动服务器,上传文件类型选择菜单中的image文字是置灰的,并有提示信息。只能上传文本文件、文本类型pdf(非图像扫描)。
在这里插入图片描述

这就需要https://www.modelscope.cn/models/unsloth/Qwen3.5-0.8B-GGUF/files目录下的Qwen3.5-0.8B.BF16-mmproj.gguf文件。
改后的命令行如下:
注意必须用选项-mmproj加载mmproj.gguf模型文件,而不能用-m。

C:\d\models>\d\llama8\llama-server -m  qw3508q4\Qwen3.5-0.8B-UD-Q4_K_XL.gguf --mmproj qw3508q4\Qwen3.5-0.8B.BF16-mmproj.gguf --jinja -c 0 --host 127.0.0.1 --port 8033 --reasoning-budget -1

srv          init: init: chat template, thinking = 0
main: model loaded
main: server is listening on http://127.0.0.1:8033

然后在浏览器中输入http://127.0.0.1:8033,就能看到上传文件类型选择菜单中的image文字已经变黑,没有提示信息了。

在这里插入图片描述

上传一幅图片和一个截图测试,都能较好识别。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

但将对图片的描述输入,他告知不能生成图像,用网页版的qwen 3.5plus可以生成。
在这里插入图片描述

描述复杂图像不够精确,不如思考过的ollama, 试图用--reasoning-budget -1打开llama.cpp思考模式也没有成功,仍然输出thinking = 0。

C:\d\models>\d\llama8\llama-server -m  qw3508q4\Qwen3.5-0.8B-UD-Q4_K_XL.gguf --mmproj qw3508q4\Qwen3.5-0.8B.BF16-mmproj.gguf --jinja -c 0 --host 127.0.0.1 --port 8033 --reasoning-budget -1

srv          init: init: chat template, thinking = 0
main: model loaded
main: server is listening on http://127.0.0.1:8033
Logo

智能硬件社区聚焦AI智能硬件技术生态,汇聚嵌入式AI、物联网硬件开发者,打造交流分享平台,同步全国赛事资讯、开展 OPC 核心人才招募,助力技术落地与开发者成长。

更多推荐