SW.AI-BusanHackaton

최우승작

[Base]

• 시각장애인이 카메라가 장착되어 있는 스마트 안경을 착용
• 스마트 안경에 있는 카메라의 데이터는 라즈베리파이를 사용하여 서버로 전송
• 서버에서는 AI 모델을 구동하여 결과 값을 다시 라즈베리파이로 반환
• 반환된 데이터에 따라 사용자에게 안내함

[Functions]

1. 내 앞에 있는 버스가 몇번 버스인지 알려줌

   • 초정밀 버스 안내 시스템이나 곧 도착하는 버스를 알려주는 기능이 이미 여러 버스 정류장에 도입되어 있으나, 안내 방송에서 나오는 버스와 실제로 들어오는 버스의 순서가 일치하지 않아 시각장애인이 버스를 탑승하는데 불편함이 있음.
   • YoloV5를 사용하여 버스를 감지하고 네이버 OCR API를 사용하여 버스 번호를 추출하여 사용자에게 안내함

2. 글자 인식

   • 시각 장애인은 글자를 읽기 위해선 점자가 있거나 누군가 읽어줘야 하지만, 편의점에서 생필품을 구매하려고 하더라도 점자가 없는 경우가 많으며 잘못된 점자가 있는 경우도 있고, 독서 등을 하기에도 어려움.
   • 스마트 안경의 버튼을 누르면 앞에 있는 글자를 OCR API를 통해 추출하고 추출된 글자를 TTS를 통해 읽어줌

3. 점자 인식

   • 후천적으로 시각장애인이 된 경우 점자를 배워야하므로 배우고 적응해야 하지만, 점자 인식 기능을 사용한다면 AI가 점자를 인식하여 점자를 읽어준다.

4. 장애물 감지

   • 시각 장애인은 보행 중 앞에 있는 장애물을 지팡이에 의존하여 확인해야 하지만, 지팡이가 잘 고장나고 잘 파손되는 등의 문제가 있다. 이럴 때 앞에 장애물이 있는지 AI가 감지하여 사용자에게 미리 안내해주고 장애물이 사라지면 "보행해도 안전합니다." 라는 안내 멘트를 보내준다.
   • 만약 시각 장애인이 장애물이 감지된 상태에서 자이로 센서와 카메라를 사용하여 넘어진 것으로 판단된다면 등록되어 있는 보호자에게 위치 정보와 넘어지기 전 ~ 넘어진 후 10초간의 영상을 전송한다.

5. 친구 인식

   • 시각 장애인이 친구를 만나러가거나 보호자를 만나는 등 누군가를 만날 때, 이미 그 사람을 만난적이 있다면 데이터베이스에 등록해놓았다가 등록된 사람이 감지되면 "OOO님이 전방에 있습니다." 라는 식으로 안내하여 시각 장애인이 사람을 찾는데 도움을 줄 수 있다.

6. 횡단 도우미

   • 시각 장애인은 횡단보도에 설치되어 있는 TTS 안내 시스템에 의존하여 횡단해야 하지만, 고장난 기기가 많고 관리가 안되는 경우가 많으며 소리가 작거나 심지어 안내 시스템이 없는 곳도 있다.
   • 이러한 상황에서 횡단보도에 설치되어 있는 신호등을 기반으로 밑의 조건에 따라 시각 장애인의 횡단 가능 여부에 따라 안내한다.

   [ 신호 조건 ]

   1. 빨간 불 : 횡단 불가
   2. 초록 불 : 횡단 가능
   3. 깜빡임 : 횡단 불가 [ 장애물 조건 ]
   4. 자동차가 횡단보도 위에 있는가? : 횡단 불가
   5. 오토바이가 횡단보도 위에 있는가? : 횡단 불가
   6. 횡단보도 위에 사람이 있는가? : 횡단 가능
   7. 이외의 물체가 횡단보도 위에 있는가? : 횡단은 가능하나 사용자에게 주의 멘트
   • 장애물 조건이 신호 조건보다 우선시되며 깜빡임은 초록 신호에서 모두 점멸된 상태을 1회라도 감지하면 깜빡임으로 값을 변경하고 사용자에게 안내함