소절별 mp3/wav 파일 분리

[nitronium102]

22.02.15 ~

사용자 음성 소절 분리

• 인식한 사용자 wav 파일을 소절별로 분리(코드)
• db에 업로드

기준 음악 소절 분리

• 기준 음악 mp3 소절별로 분리
• 분리해서 db에 업로드(수동)

DB 변경

• songDB에 쉼표 넣기
• 쉼표 특정 값 정하기

[nitronium102]

쉼표 포함 여부

상황

기준 음악 소절 분리 시 소절별로 쉼표를 포함할 것인가?
현재 song DB에는 점수 산출의 편의를 위해 쉼표를 포함하지 않았음. 그러나 기준 음악 소절을 분리하는 과정에서 쉼표를 제거하면 음악이 짤려서 들리는 현상이 발생함.

1. songDB에 쉼표를 포함하기
2. 기준 음악 소절에서 쉼표를 제거하기

결론

songDB에도 쉼표를 포함하는 1번으로 결정!
DB에 쉼표를 넣을 경우 note값에는 특정 값을 넣어놓고, 점수 산출 과정에서 if (note.equals("특정 값")이면 그냥 넘어가는 것으로~

[nitronium102]

소절 코드로 분리

상황

Java 코드로 wav 파일을 분리하는 법을 찾아보았지만 확실한 코드가 없고 star수나 fork 수가 적은 라이브러리들(신뢰도가 낮다)만 추천해주고 있음.
python 라이브러리인 librosa를 사용하면 아주 간결한 코드 몇 줄으로 wav 파일을 자르고 저장할 수 있다.
https://kaen2891.tistory.com/32

그래서 안드로이드에서 python 라이브러리를 사용할 수 있는 방법을 찾아보았는데, 크게 두 가지 방법이 있다.

1. cross-platform인 kivy를 사용하는 방법
   https://stackoverflow.com/questions/101754/is-there-a-way-to-run-python-on-android?rq=1
2. django나 flask 서버를 따로 구동한 후, API 콜을 날려 기능을 호출하는 방법

결론

장고를 사용하여 REST API를 만들기로 했다!
kivy의 경우 스택오버플로우에서 좋은 반응을 보였지만 실제로 검색해보니 자료가 많지 않아 실제로 사용하기는 어려울 것 같다. 일단 장고를 설치한 후, librosa 코드가 잘 돌아가는지 확인할 예정

[nitronium102]

Django를 사용한 소절분리

원래는 librosa를 사용하려고 했지만, librosa는 sec 값을 지정해서 그 길이만큼 자르는 방식이라 특정 구간을 지정해서 자를 수 있는 pydub으로 변경함

from pydub import AudioSegment

baseAudio = AudioSegment.from_mp3("/Users/pcy/Downloads/신호등-이무진.mp3")

t1 = 21.63691 * 1000
t2 = 26.89413 * 1000

newAudio = baseAudio[t1:t2]
newAudio.export("trimmed.mp3", format="mp3")