Skip to content

zmrlft/react-native-app

Repository files navigation

智能阅读助手 - 项目说明文档

demo演示视频: qwen-omni-reader-helper

一、项目背景

随着人口老龄化加剧,视力退化成为影响老年人生活质量的重要问题。许多老年人因看不清药品说明书、食品标签、信件等日常文本信息,导致生活不便甚至安全隐患。据统计,我国60岁以上老年人口中,视力障碍发生率超过60%,而现有辅助工具普遍存在操作复杂、功能单一等问题。

本项目“智能阅读助手”是专为视力不佳的老年用户设计的app,利用AI技术帮助他们轻松阅读小字体文本,旨在通过技术创新解决老年群体的阅读障碍问题,助力老年生活更便捷、安全。

二、项目思路

智能阅读助手以“简单、实用、贴心”为核心设计理念,围绕老年用户的实际需求构建产品形态:

  1. 痛点直击:针对老年人视力退化、操作能力下降的特点,简化交互流程,突出核心功能
  2. 技术整合:采用成熟的React Native跨平台框架,结合大模型qwen omni强大的多模态能力
  3. 场景适配:聚焦日常高频阅读场景(药品说明、商品标签、信件单据等),提供精准识别与摘要
  4. 体验优化:通过大字体、高对比度界面、语音反馈等设计,降低老年用户使用门槛

三、硬件配置要求

安卓设备

  • 系统版本:Android 8.0(API 26)及以上
  • 硬件要求:具备后置摄像头(500万像素及以上)、扬声器、至少2GB运行内存
  • 权限需求:相机、相册访问、录音、存储权限

iOS设备

  • 系统版本:iOS 13.0及以上
  • 硬件要求:iPhone 7及后续机型,具备摄像头与扬声器功能
  • 权限需求:相机、照片库、麦克风访问权限

四、核心功能

1. 图片处理

  • 从相册选择图片或直接拍摄照片
  • AI自动识别图片中的文字内容
  • 生成简洁易懂的文本摘要

2. 语音朗读

  • 将识别和摘要的文本转换为语音播放
  • 支持播放控制(开始/停止)
  • 语速优化(默认0.8倍速,适应老年用户听觉习惯)

3. API密钥管理

  • 安全的本地API密钥存储
  • 密钥配置和管理界面
  • 密钥状态实时检查

五、技术架构

整体架构

app/
├── (tabs)/
│   ├── _layout.tsx         # 标签页导航配置
│   ├── index.tsx           # 主页(阅读器)
│   └── explore.tsx         # 设置页
├── _layout.tsx             # 应用根布局
└── +not-found.tsx          # 404页面

主要组件

阅读器页面(index.tsx)

  • 图片选择和拍摄功能
  • AI分析处理流程
  • 结果展示和语音播放
  • API密钥状态检查

设置页面(explore.tsx)

  • 多模态模型API密钥配置
  • 密钥安全存储管理
  • 使用说明和帮助信息

技术栈

  • 前端框架:React Native + Expo
  • AI能力:多模态大模型qwen omni API(OCR与语音合成)
  • 核心服务:
    • 音频服务(audioService.ts):TTS语音合成与播放控制
    • 图片服务(imageService.ts):图片选择与拍摄处理
    • AI服务(qwenOmniService.ts):调用多模态API实现识别与摘要
    • 存储服务(storageService.ts):安全存储API密钥

六、使用说明

  1. 首次使用需在“设置”页面配置多模态模型API密钥
  2. 在“阅读器”页面选择图片或拍摄照片
  3. 等待AI分析完成,查看文本摘要
  4. 点击“开始朗读”听取内容
  5. 可通过“重新开始”按钮重置操作,进行新的识别

七、创新点

  1. 适老化设计:专为老年用户优化的界面与交互,大字体(标题32px、正文18px+)、高对比度配色、简化操作流程,减少学习成本
  2. 智能摘要:不仅识别文本,更能提炼核心信息,将复杂说明书转化为简洁口语化内容,减轻老年人信息处理负担
  3. 双模式语音播放:结合TTS与Base64音频播放,确保不同设备环境下的语音功能稳定性,语速默认放缓至0.8倍
  4. 跨平台兼容:基于React Native和Expo,一套代码同时支持安卓与iOS设备,降低推广成本
  5. 安全存储机制:API密钥本地加密存储,避免云端传输带来的安全风险,保护用户信息安全

八、社会价值

智能阅读助手通过AI技术赋能,有效解决了老年群体的阅读障碍问题,具有显著的社会公益价值:

  • 提升老年人生活自主性,减少对他人的依赖,增强生活自信心
  • 降低因看不清文字导致的安全风险(如误服药品、错看说明等)
  • 帮助老年人更好地融入数字社会,缓解“数字鸿沟”带来的不便
  • 开源方案便于公益组织、社区服务机构等快速部署与推广,扩大受益人群
  • 可复制的适老化技术方案,为其他老年辅助类应用提供参考

九、未来发展方向

  1. 鸿蒙系统适配,扩大适用设备范围
  2. 更丰富的AI功能(翻译、关键词提取等)
  3. 个性化设置(字体大小、语音语速等自定义选项)
  4. 离线识别功能,提升无网络环境下的可用性
  5. 多语言支持,服务更多老年群体
  6. 增加图像放大、亮度调节等辅助功能,进一步优化阅读体验

十、安装和运行

  1. 安装依赖:

    npm install
  2. 启动应用:

    npx expo start
  3. 使用Expo Go扫描二维码运行


开发者信息:此项目为专注于老年生活辅助的AI公益创新项目,展示了在移动平台上集成AI能力的可行性,特别关注老年用户的实际需求,图片识别与语音合成能力由强大的qwen omni提供,代码由Qwen3-Coder 辅助开发。

项目技术支持通义千问 魔搭社区

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published