LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1震撼发布:AMD Ryzen AI优化的轻量级大模型来了!

【免费下载链接】LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1 【免费下载链接】LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1 项目地址: https://ai.gitcode.com/hf_mirrors/amd/LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1

LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1是一款由AMD优化的轻量级大模型,专为Ryzen AI 1.7.1环境打造,基于Liquid AI LFM2.5-1.2B-Thinking-ONNX基础模型构建,为开发者和AI爱好者提供了高效的本地运行体验。

🌟 模型核心亮点

✨ 轻量级架构设计

该模型采用创新的混合层结构,结合卷积层与全注意力机制,在config.json中可以看到其包含16个隐藏层,其中交替使用"conv"和"full_attention"层类型,既保证了计算效率又兼顾了模型性能。

🚀 AMD Ryzen AI优化

特别针对Ryzen AI硬件加速进行了深度优化,通过ryzenai_ep_utils.py脚本实现了与ONNX Runtime的无缝集成,默认配置了onnxruntime_providers_ryzenai.dll的路径,确保在AMD处理器上发挥最佳性能。

⚡ 高效量化技术

采用2-bit量化模式(group_size=64),在保持模型性能的同时显著降低了内存占用和计算需求,使普通设备也能流畅运行大模型推理任务。

📋 快速开始指南

1️⃣ 环境准备

  • 激活Ryzen AI 1.7.1 conda环境
  • 克隆仓库:
    git clone https://gitcode.com/hf_mirrors/amd/LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1
    

2️⃣ 运行步骤

⚠️ 注意事项

如果Ryzen AI未安装在默认路径,需要修改ryzenai_ep_utils.py中第16行的_EP_PATH变量,指向正确的onnxruntime_providers_ryzenai.dll路径。

📊 技术规格

参数 详情
模型类型 Lfm2ForCausalLM
隐藏层大小 2048
注意力头数 32
最大序列长度 128000
词汇表大小 65536
量化配置 2-bit affine量化,group_size=64
支持精度 bfloat16

📄 许可证信息

该项目采用MIT许可证,详细信息参见LICENSE文件。基础模型许可证信息可在LICENSE中查看。

Modifications copyright(c) 2026 Advanced Micro Devices, Inc. All rights reserved.

【免费下载链接】LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1 【免费下载链接】LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1 项目地址: https://ai.gitcode.com/hf_mirrors/amd/LFM2.5-1.2B-Thinking-ONNX_rai_1.7.1

Logo

智能硬件社区聚焦AI智能硬件技术生态,汇聚嵌入式AI、物联网硬件开发者,打造交流分享平台,同步全国赛事资讯、开展 OPC 核心人才招募,助力技术落地与开发者成长。

更多推荐