手机离线跑大模型-google AI Edge Gallery

Google AI Edge Gallery是谷歌2025年推出的开源实验性项目，旨在让开发者与用户直接在移动设备上离线运行复杂的生成式AI模型。该项目以Apache 2.0许可证托管在GitHub，支持Android设备（iOS版本计划中），核心目标是实现隐私保护、低延迟响应和无网络依赖的本地AI处理。其技术底座结合了谷歌自研的LiteRT运行时和MediaPipe框架，优化了移动设备的资源利用。

项目特色：

        在本地运行，完全离线：在没有互联网连接的情况下体验 GenAI 的魔力。所有处理都直接在您的设备上进行。
        自由选择模型： 在 Hugging Face 的不同模型之间轻松切换并比较它们的性能。
        询问图片：上传图片并询问相关问题。获取描述、解决问题或识别对象。
        提示实验室：总结、重写、生成代码或使用自由格式提示来探索单轮次 LLM 使用案例。 
        AI 聊天：参与多轮次对话。
        性能详情：实时基准测试（TTFT、解码速度、延迟）。
        自带模型：测试本地 LiteRT .task 模型。

技术特性

    离线多模态支持
    支持文本、图像及音频输入（未来将扩展至视频），可运行包括Gemma 3n、Qwen 2.5等开源模型。模型大小从轻量级500MB到完整版4GB不等，支持int4量化技术（Gemma 3n模型体积可缩小2.5-4倍）。
    隐私与性能优化
        完全本地处理：所有数据在设备端完成推理，无需连接云端或Google Play服务，规避数据泄露风险。
        低延迟响应：通过LiteRT运行时优化，显著降低内存占用和推理延迟，适合实时交互场景。
        硬件适应性：性能随设备硬件差异浮动，推荐Android 10+系统及6GB以上RAM。
    开发者友好设计
        Hugging Face集成：可直接下载社区预训练模型。
        LLM Inference API：提供设备端大型语言模型推理接口。
        自定义模型支持：开发者可导入LiteRT格式的自定义模型测试。
        RAG（检索增强生成） ：无需微调即可为应用注入领域知识

Google AI Edge Gallery通过开源+离线优先的策略，为边缘AI开发树立了新范式。其技术架构不仅解决了隐私和延迟痛点，更降低了AI应用开发门槛。

源代码：https://github.com/google-ai-edge/gallery