llamafactory webui报错httpx.RemoteProtocolError: Server disconnected without sending a response.
这也是因为llamafactory前端目前也只支持单卡训练或推理。指定模型做推理，前端访问。
·
使用了代理导致的
unset http_proxy
unset https_proxy
demo.launch(server_name=“0.0.0.0”, share=True, inbrowser=True)
ASCEND_RT_VISIBLE_DEVICES=0
CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=0 GRADIO_SERVER_PORT=8080 llamafactory-cli webui
指定模型做推理，前端访问
ASCEND_RT_VISIBLE_DEVICES=0 llamafactory-cli webchat examples/inference/llama3.yaml
这也是因为llamafactory前端目前也只支持单卡训练或推理
智能硬件社区聚焦AI智能硬件技术生态，汇聚嵌入式AI、物联网硬件开发者，打造交流分享平台，同步全国赛事资讯、开展 OPC 核心人才招募，助力技术落地与开发者成长。
更多推荐
1
0- 0
已为社区贡献1条内容
所有评论(0)