demo演示视频: qwen-omni-reader-helper
随着人口老龄化加剧,视力退化成为影响老年人生活质量的重要问题。许多老年人因看不清药品说明书、食品标签、信件等日常文本信息,导致生活不便甚至安全隐患。据统计,我国60岁以上老年人口中,视力障碍发生率超过60%,而现有辅助工具普遍存在操作复杂、功能单一等问题。
本项目“智能阅读助手”是专为视力不佳的老年用户设计的app,利用AI技术帮助他们轻松阅读小字体文本,旨在通过技术创新解决老年群体的阅读障碍问题,助力老年生活更便捷、安全。
智能阅读助手以“简单、实用、贴心”为核心设计理念,围绕老年用户的实际需求构建产品形态:
- 痛点直击:针对老年人视力退化、操作能力下降的特点,简化交互流程,突出核心功能
- 技术整合:采用成熟的React Native跨平台框架,结合大模型qwen omni强大的多模态能力
- 场景适配:聚焦日常高频阅读场景(药品说明、商品标签、信件单据等),提供精准识别与摘要
- 体验优化:通过大字体、高对比度界面、语音反馈等设计,降低老年用户使用门槛
- 系统版本:Android 8.0(API 26)及以上
- 硬件要求:具备后置摄像头(500万像素及以上)、扬声器、至少2GB运行内存
- 权限需求:相机、相册访问、录音、存储权限
- 系统版本:iOS 13.0及以上
- 硬件要求:iPhone 7及后续机型,具备摄像头与扬声器功能
- 权限需求:相机、照片库、麦克风访问权限
- 从相册选择图片或直接拍摄照片
- AI自动识别图片中的文字内容
- 生成简洁易懂的文本摘要
- 将识别和摘要的文本转换为语音播放
- 支持播放控制(开始/停止)
- 语速优化(默认0.8倍速,适应老年用户听觉习惯)
- 安全的本地API密钥存储
- 密钥配置和管理界面
- 密钥状态实时检查
app/
├── (tabs)/
│ ├── _layout.tsx # 标签页导航配置
│ ├── index.tsx # 主页(阅读器)
│ └── explore.tsx # 设置页
├── _layout.tsx # 应用根布局
└── +not-found.tsx # 404页面
- 图片选择和拍摄功能
- AI分析处理流程
- 结果展示和语音播放
- API密钥状态检查
- 多模态模型API密钥配置
- 密钥安全存储管理
- 使用说明和帮助信息
- 前端框架:React Native + Expo
- AI能力:多模态大模型qwen omni API(OCR与语音合成)
- 核心服务:
- 音频服务(audioService.ts):TTS语音合成与播放控制
- 图片服务(imageService.ts):图片选择与拍摄处理
- AI服务(qwenOmniService.ts):调用多模态API实现识别与摘要
- 存储服务(storageService.ts):安全存储API密钥
- 首次使用需在“设置”页面配置多模态模型API密钥
- 在“阅读器”页面选择图片或拍摄照片
- 等待AI分析完成,查看文本摘要
- 点击“开始朗读”听取内容
- 可通过“重新开始”按钮重置操作,进行新的识别
- 适老化设计:专为老年用户优化的界面与交互,大字体(标题32px、正文18px+)、高对比度配色、简化操作流程,减少学习成本
- 智能摘要:不仅识别文本,更能提炼核心信息,将复杂说明书转化为简洁口语化内容,减轻老年人信息处理负担
- 双模式语音播放:结合TTS与Base64音频播放,确保不同设备环境下的语音功能稳定性,语速默认放缓至0.8倍
- 跨平台兼容:基于React Native和Expo,一套代码同时支持安卓与iOS设备,降低推广成本
- 安全存储机制:API密钥本地加密存储,避免云端传输带来的安全风险,保护用户信息安全
智能阅读助手通过AI技术赋能,有效解决了老年群体的阅读障碍问题,具有显著的社会公益价值:
- 提升老年人生活自主性,减少对他人的依赖,增强生活自信心
- 降低因看不清文字导致的安全风险(如误服药品、错看说明等)
- 帮助老年人更好地融入数字社会,缓解“数字鸿沟”带来的不便
- 开源方案便于公益组织、社区服务机构等快速部署与推广,扩大受益人群
- 可复制的适老化技术方案,为其他老年辅助类应用提供参考
- 鸿蒙系统适配,扩大适用设备范围
- 更丰富的AI功能(翻译、关键词提取等)
- 个性化设置(字体大小、语音语速等自定义选项)
- 离线识别功能,提升无网络环境下的可用性
- 多语言支持,服务更多老年群体
- 增加图像放大、亮度调节等辅助功能,进一步优化阅读体验
-
安装依赖:
npm install
-
启动应用:
npx expo start
-
使用Expo Go扫描二维码运行
开发者信息:此项目为专注于老年生活辅助的AI公益创新项目,展示了在移动平台上集成AI能力的可行性,特别关注老年用户的实际需求,图片识别与语音合成能力由强大的qwen omni提供,代码由Qwen3-Coder 辅助开发。