Midi Video Generator

MIDI 파일과 각 음계별로 촬영한 연주 영상들을 조합하여 하나의 완성된 합주 영상을 자동으로 생성하는 프로그램입니다.

배경

피아노나 악기 커버 영상을 만들 때, 한 음씩 따로 연주한 영상을 타임라인에 맞춰 배치하는 작업은 굉장히 반복적이고 시간이 오래 걸렸습니다. MIDI 파일에는 이미 각 음의 타이밍과 길이 정보가 들어있으므로, 이를 기반으로 영상 편집을 자동화했습니다.

주요 작업

1. MIDI 파일을 파싱하여 각 노트의 시작 시간, 길이, 피치 정보를 추출했습니다.
2. 해당 음계에 대응하는 미리 촬영된 개별 연주 영상을 매핑했습니다.
3. Adobe After Effects의 ExtendScript API를 활용하여 컴포지션 생성, 레이어 배치, 타이밍 조절까지 자동화했습니다.
4. React로 MIDI 파일 업로드 및 음계별 영상 매핑 인터페이스를 제공했습니다.