우리는 다양한 모양의 파형들이 사인파의 합으로 합성될 수 있다는 것을 이전 장에서 확인하였다.
$$x(t) = A_0 + \sum_{k=1}^N A_kcos(2\pi f_k t + \phi_k)$$
이러한 파형들은 상수부터 Cos 신호, 일반적인 주기 신호, 주기적이지 않은 복잡한 모습의 신호에 이르기까지 다양하다. 우리가 지금까지 한 가지 가정은 위 수식의 진폭, 위상 및 주파수가 시간에 따라 변하지 않는다는 것이다. 그러나 대부분의 신호는 시간이 지남에 따라 주파수가 변한다.
시간-주파수 스펙트럼 시
음악이 좋은 예이다. 매우 짧은 시간 간격 동안 음악은 하나의 "상수" 스펙트럼을 가질 수 있지만 장기적보면 음악 작품의 주파수는 바뀐다. 인간의 말도 좋은 예이다. “아~” 와 같은 모음 소리는 긴 시간 동안 유지되면서 "상수"적인 특성을 보인다. 왜냐하면 성대는 비교적 일정한 주파수로 진동하고, 특성 주파수로 공명하기 때문이다. 그러나 우리가 단어를 말할 때 주파수 내용은 계속 변하게 된다.
결론을 말하자면, 대부분의 신호는 주파수, 진폭 및 위상이 시간에 따라 변할 경우에도 사인파의 합으로 모델링될 수 있다. 따라서 신호에 대한 이해를 높이기 위해 우리는 시간-주파수 스펙트럼을 알 필요가 있다.
이것이 시간-주파수 스펙트럼 개념을 공부하게 되는 이유이다. 가장 일반적인 시간-주파수 표현은 스펙트로그램(Spectrogram)이다.
위 설명을 좀더 자세히 이해해 보자.
시간-주파수 스펙트럼의 수학적 개념은 정교하고 난해할 수 있는 아이디어이지만, 시간에 따라 변하는 스펙트럼의 직관적 개념은 일상적인 예제에서도 확인할 수 있다. 예를 들어, 음악 표기법이 있다 (아래 그림(1) 참). 음악 악보는 연주 방법을 지정하는 데 음표뿐만 아니라 각 음표의 지속 시간과 각 음표의 시작 시간도 지정한다.
많은 학생들이 음악을 배울 때 위 그림과 같이 악보를 보았을 것이다. 위 그림에서 수평 "축"은 시간이고, 수직 축은 주파수이다. 각 음표의 지속 시간은 음표 머리, 몸통 및 꼬리에 인코딩 된다. 인코딩된 지속 시간은 온음표, 반음표, 4분음표, 8분음표, 16분음표 등을 정의할 수 있다. 위 그림 에서 가장 많이 보이는 음표는 16분음표로, 작품을 빠르게 연주해야 함을 의미한다. 8분음표는 16분음표의 두 배의 지속 시간을 가지고, 4분음표는 16분음표보다 네 배 더 길어야 한다.
수직(주파수) 축은 주파수를 정의하기 위해 훨씬 복잡한 표기법을 사용한다. 위 그림을 주의 깊게 보면, 음표를 표시하는 검은 점들이 수평선 중 하나 위에 놓이거나 두 선 사이의 공간에 위치하는 것을 볼 수 있다. 이러한 위치 각각은 그림에 나타낸 피아노 키보드의 흰색 건반을 나타내며, 각 건반은 서로 다른 주파수의 음을 발생시킨다.
피아노의 검은 건반은 추가 표기가 필요하며, 이는 "샵" (♯) 또는 "플랫" (♭)을 사용하여 수행된다. 왼쪽 그림에는 몇 개의 음표 옆에 샾이 붙어있다. (예를 들어, D#5.) 악보는 높은 음 부분(상단 다섯 줄)과 낮은음 부분(하단 다섯 줄)으로 나뉘며, 음표의 중앙 참조점은 "미들 C"에 있다. 이는 높은음과 낮은음 사이에 있다 (오른쪽 그림의 40번 키). 따라서 높은 음 부분의 가장 아래 음반은 미들 C보다 두 개 위에 있는 흰색 건반이며, 이는 그림 (1)의 44번 키와 해당된다.
음악 악보에서 피아노 건반으로의 매핑이 완료되면 각 음표의 주파수에 대한 수학적 공식을 작성할 수 있다. 88개 키로 구성된 피아노 키보드는 각각 12개의 키를 포함하는 옥타브로 나뉜다. 한 옥타브의 키의 주파수는 다음 낮은 옥타브의 두 배이다. 옥타브 내에서 인접한 키들은 일정한 주파수 비율 (r)을 유지한다. 한 옥타브에는 12개의 키가 있으므로 비율 (r)은 다음과 같이 계산할 수 있다:
$$r^{12} = 2 \Rightarrow r=2^{1/2} = 1.0595$$
이 비율과 하나의 기준음만 잘 고른다면 모든 키의 주파수를 계산할 수 있다. 관례상 중간 C 위에 위치한 A 키인 A-440이 주파수 440 Hz를 갖는다. 중간 C는 키 번호 40이고 A-440은 키 번호 49이므로 중간 C의 주파수는
$$ f_{middleC} = 440 \times 2^{(40-49)/12} \approx261.6Hz$$
이다.
Stepped Frequency
여기서 Stepped Frequency 는 시간에 따라 주파수가 변하는 상태를 의미한다.
시간에 따라 주파수 내용이 변하는 가장 간단한 예는 주파수가 짧은 기간 동안 일정하게 유지되고 그 후에 더 높은 (또는 낮은) 주파수로 변경되는 신호를 만드는 것이다. 이와 같은 단계별 주파수 파형은 레이더 송신기에서도 사용된다. 여기서는 간단한 송신 하드웨어로 주파수 커버리지와 고출력이 필요한 경우에 사용된다.
음악의 경우, 한 음씩 올려 건반을 두드리는것으로 예를 들 수 있다. 예를 들어, C 장조 음계는 C4부터 시작하여 {C4, D4, E4, F4, G4, A4, B4, C5} 등의 음표를 차례로 연주하는 것이다. 이 음계는 모두 흰 건반으로 연주된다. 이러한 음표의 주파수는 아래 표와 같다.
위 그림은 C 장조 음계의 주파수 성분을 그래픽으로 표기한 것이다. 다음과 같이 해석해야 한다.
262 Hz 주파수를 200 ms 동안 cos(2π(262)t)로 연주한 후, 다음 200 ms 동안 294 Hz 주파수를 cos(2π(294)t)로 연주 하고 이어서 쭉 진행한다. 전체 파형 지속 시간은 1.6초이다. 악보로 표기한 경우 각 음표는 오른쪽의 그림과 같다. 여기서 각 음표는 4분음표이다.
스펙트럼 분석
신호의 주파수 차원에서의 내용은 분석(analysis) 또는 합성(synthesis) 두 가지 관점에서 고려될 수 있다. 예를 들어, 위 그림 (2) 에서의 이상적인 시간-주파수 다이어그램은 C 장조 음계를 합성하는 규칙을 보여준다. 분석은 더 어려운 문제이다. 우리가 배운 Fourier 시리즈 분석 적분법이 그 예이다. 시간에 따라 변화하는 주파수의 분석은 대부분의 신호 처리 과목에서 연구 및 응용의 중요한 주제이다. 이것은 고급 대학원 과정에 이르기까지 해당된다. 이유는 Fourier 시리즈 적분과 같은 수학적 공식을 작성하는 여러 가지 방법이 있기 때문이다. 반면에, 시간-주파수 스펙트럼 분석을 위한 우수한 수치 루틴은 이미 잘 구현되어 있다. 스펙트로그램을 계산하는 것은 쉽다. 스펙트로그램은 신호의 스펙트럼 내용의 시간 변화를 측정한 것으로, 시간과 주파수의 두 가지 차원 함수이다.
이것에 관한 내용은 추후에 더 자세히 배울 것이다.