[리눅스 멀티미디어 프로그래밍] 멀티미디어와 라즈베리 파이

<서영진 님의 사물인터넷을 위한 리눅스 프로그래밍 with 라즈베리파이 서적을 참고해서 작성하였습니다 :-)>

 

⭐ 멀티미디어

인간이 오감으로 인식하는 여러 매체들의 혼합을 의미

'많은', '다양한' 이라는 뜻을 가진 멀티 (Multi) 와 전달 등의 수단, 방법, 매체 들을 뜻하는 미디어 (Media) 의 합성어

 

인간은 감각기관을 이용해서 소리, 이미지 등의 정보를 받아들이고 데이터를 받아들이기 위해 눈, 귀, 코, 혀, 피부 의 오감을 사용한다

인간의 감각기관을 통해서 인식되는 정보를 미디어라는 단어로 표현할 수 있다

 

디지털 미디어는 일반적으로 하나의 미디어만 사용되지 않고 음성, 소리, 문자, 그림, 동영상 등의 미디어가 혼합된 형태로 사용되는데, 이를 멀티 미디어 라고 부른다

디지털 미디에서는 여러 미디어 중에서도 주로 시각과 청각을 사용하고 있다

 

⭐ 색상 체계

색상은 빛이 물체에 의해서 반사되어서 사람의 눈에 관찰된 빛의 파동을 의미한다

자연계에서 존재하고 있는 색상을 컴퓨터, 모니터, 컬러 프린터 등 장비로 표현하는 데 한계가 있다

이러한 색상들을 표현하고자 여러 색상 모델들이 만들어졋지만, 각 모델별로 표현할 수 있는 색상의 범위에 제한이 있다

 

많이 사용되는 모니터 (RGB 모드)와 인쇄물 (CMYK 모드) 은색상 표현 방식이 다르기 때문에 동일하게 표현되지 않는다

색상, 채도, 명도를 사용하는 경우 HSI 색상 모형은 영상 처리에서 주로 사용된다

영상 입력 디바이스는 YUV 를 많이 사용하는데, 영상의 압축에 많이사용되는 JPEG, MPEG 같은 코덱에서도 YUV를 사용한다

 

☑️ RGB 색상 모델

빛을 표현하기 위해서는 RGB 색상 모델을 사용하며, 이는 빨간색, 초록색, 파란색 의 세 가지 색으로 표현된다

이를 빛의 삼원색 이라고 부른다

컴퓨터상의 표시를 위해서 주로 사용되는 색상 모델이며, 모니터나 영화관 등에서 사용되는 빛의 혼합을 위한 색상 모델이다

 

☑️ CMY/CYMK 색상 모델

청록색, 자홍색, 노랑색으로 구성되며, 이를 색의 삼원색 이라 부른다

세 가지 색을 모두 합하면 검은색이 나와야 하지만, 실제적으로 진한 회색이 나오므로 검정색을 추가해서 CYMK 모델을 사용한다

 

☑️ HSI/HSV 색상 모델

색상, 채도, 명도 의 세 가지를 이용해서 영상을 나타낸다

색상은 색상 모델의 색으로 다양한 파장이 관측자에게서 느껴지는 느낌

채도는 백색으로 희석되지 않는 색깔의 정도 (순수성, 탁한 정도)

명도는 빛이 물체에 반사되어 느겨지는 밝기의 강도

 

☑️ YUV 색상 모델

색상 공간은 컬러 TV 에서 사용되는 색 표현 방식으로 YUV, YIQ 는 아날로그에서 사용하고 YCbCr 은 JPEG/MPEG 코덱이나 디지털 방송에서 사용한다

Y는 밝기 정도인 휘도

IQ/UV/CrCb는 비디오 신호의 색상 정보를 형성하며 색상 이라 한다

컬러의 표시를 위해서 사용하는 RGB 색상 모델은 흑백 TV 에서 바로 사용할 수 없다

이를 위해 YUV 모델이 나옴. 컬러 방송을 YIQ 로 송출했는데, 여기서 Y가 바로 흑백 TV 에서 사용하는 밝기와 동일한 신호이므로 YUV 를 사용해서 흑백 TV 와의 호환성을 유지할 수 있었다

 

⭐ 사운드

소리는 인간이 말하는 음성이나 악기가 내는 악기음 등의 다양한 형태가 존재한다

소리는 공기 입자의 보이지 않는 진동으로 잔잔한 수면에 돌을 던졌을 때 볼 수 있는 물결처럼 공기 중에서 퍼져간다

소리의 전파는 공기의 소밀로 표시할 수 있는데, 이는 사인 (sine) 형태의 파동으로 나타낼 수 있고, 이러한 파동은 주파수를 가지고 있다

 

파동의 주파수 중에 인간이 들을 수 있는 범위를 소리 라고 한다

사람의 청각 범위 9가청 주파수)는 20Hz ~ 20KHz

일반 사람이 말할 수 있는 언어의 진동 수는 1 ~ 3KHz

사람이 낼 수 있는 주파수 는 100Hz ~ 6KHz

 

☑️ 아날로그 / 디지털 신호 변환

실생활에서 우리가 사용하는 오디오나 이미지의 형태는 데이터의 값이 시간의 변화에 따라서 순차적으로 변화하는 아날로그 파동의 형태로 나타낼 수 있다

컴퓨터에서는 디지털 형태의 데이터만 이해하기 때문에 컴퓨터에서의 처리를 위해 아날로그 데이터를 디지털 형태로 변환하는 과정이 필요하다

 

☑️ 디지털 변환

우리가 사용하는 소리, 음악과 같은 데이터는 아날로그 신호

아날로그 신호는 디지털 신호와는 달리 시간에 따라서 연속적으로 값이 변화

디지털 신호는 작은 범위로 나누어진 시간의 영역에서 이산적인 값을 가진다

 

아날로그 신호를 디지털 신호로 변경하기 위해서는 표본화 (Sampling), 양자화 (Quantization), 부호화 (Encoding) 의 세 가지 단계를 거친다

먼저 아날로그 신호를 디지털의 크기를 가질 수 있도록 표본화 단계를 거쳐야 하는데, 시간 영역 (x축) 을 일정한 구역으로 나누고 각 구역마다 신호의 샘플 데이터를 구한다

양자화 과정에서 구해진 샘플 데이터의 크기 (y축)를 디지털 단위로 바꾼 후, 마지막으로 디지털 단위의 크기를 0과 1의 부호 (압축)로 줄이는 부호화 과정을 거쳐서 디지털 신호로 바뀌게 된다

 

☑️ 오디오 데이터의 디지털 변환

오디오 데이터의 표본화는 샘플링 레이트라는 샘플의 단계 (개수) 를 구하는 단계로 x 축의 단위를 정하는 것

양자화는 y축의 단위를 정하는 것인데 보통 8비트, 16비트를 사용하지만, 고품질 오디오는 24비트 이용함

 

☑️ 이미지 데이터의 표본화

영상 이미지는 스캐너나 디지털 나메라에 있는 이미지 센서를 통해서 전기적인 신호로 변경된다

전기적인 신호로 변경된 이미지 데이터를 디지털화하기 위해서는 먼저 표본화 과정을 거쳐야 한다

표본화 과정에서 이미지의 불연속적인 점을 픽셀 (pixel) 이라고 부른다

이미지는 2차원적인 구조로 이뤄져있기 때문에 2차원적인 공간 (x축과 y축) 을 동시에 표본화해야 한다

 

전체 이미지의 x축과 y축의 픽셀의 크기를 해상도 (Resolution) 이라 부른다

큰 해상도를 가지는 이미지는 더 많은 저장 공간을 필요로 한다

 

☑️ 이미지 데이터의 양자화

표본화에서 이미지의 해상도가 결정되면 양자화 단계에서는 픽셀의 밝기 값을 양자화하는 과정을 거친다

각 픽셀에 대한 수치 값은 색상이 되는데 킬러 이미지의 경우 RGB 값이 되고, 흑백 이미지 경우 빛의 강도 즉 밝기의 값이 된다

양자화에서 각각의 픽셀의 밝기 값으로 얼마의 비트를 할당할 것을 결정해야 한다

표현할 수 있는 색상의 수가 2^G 인 경우 G비트 양자화라고 한다

 

양자화 단계에서 색상의 수를 줄이는 이유는 이미지의 크기가 너무 크기 때문에 이를 조정해서 저장되는 양을 줄이기 위해서이다

 

☑️ 이미지 데이터의 부호화

일반적인 이미지의 크기는 해상도와 각 픽셀에 할당된 비트 수로 계산할 수 있다

이미지의 양자화 단계가 끝나면 부호화 단계를 거치게 된다

부호화를 통해서 이미지 데이터를 줄일 수 있는데, 이미지 데이터의 크기를 줄이는 방법으로 이미지에서 사람의 눈에 민감하지 않는 부분을 삭제하는 방법과 색상 맵을 사용하여 각 픽셀에 들어가는 비트 수 (색상의 수)를 줄이는 방법 등이 사용되고 있다

 

⭐ 리눅스 멀티미디어 시스템

리눅스 커널에서는 멀티미디어를 위해 다양한 시스템 호출을 제공한다

 

⭐ 리눅스 사운드 프로그래밍

커널 수준에서 오디의 출력을 위해 OSS와 ALSA 시스템을 지원하였으며, 

X 윈도에서 멀티미디어 환경을 제공하기 위해 aRits 나 EsounD 등 사운드 시스템에서 JACK, PolyAudio 로 변경됨

 

☑️ 리눅스 사운드 시스템

유닉스에서는 파일, 디렉터리, 디바이스 모두 가상 파일 시스템을 통해서 파일로 취급된다

OSS 는 리눅스와 유닉스 플랫폼에서도 사용할 수 있다

ALSA 는 고품질의 리눅스 서버 시스템을 개발하여, 멀티스레드와 2개 이상의 CPU를 사용하는 대칭형 다중처리 (SMP) 에서의 문제점들을 개선함

ALSA 는 기존에 존재하는 OSS 응용 프로그램 지원을 위해 애뮬레이션 래퍼 (wrapper) 라이브러리 (liboss) 를 제공한다

믹서, 사운드 플레이어 등 많은 콘솔 기반의 유틸리티 도구들을 제공한다

// ALSA 에서 OSS 사용하기
sudo apt-get install oss-compat alsa-oss

 

☑️ ALSA 유틸리티

멀티미디어 사용과 관련된 amizer, alamixer, alsactl, aply 등 다양한 유틸리티를 제공한다

볼륨을 조정하고 싶으면 alsamixer

오디오 파일을 재생하고 싶으면 aplay

라즈베리 파이에서 사운드가 나오는지 확인하고 싶으면 speaker-test

라즈베리파이에서는 사운드의 출력만을 지원하고 녹음을 위한 오디오 디바이스가 없다

사운드를 입력하기 위해서는 울프슨 Pi 오디오 카드나, USB 사운드 카드 같은 하드웨어가 필요하다

 

☑️ ALSA 구조

많은 종류의 사운드 카드들을 지원하기 위한 커널 디바이스 드라이브와 라이브러리로 구성되어 있다

제어 인터페이스: 사용가능한 디바이스들에 대한 정보 표시나 상태가 변하면 알려주기

PCM 인터페이스: 오디오 입출력을 받기 위해 사용되는 디바이스

믹서 인터페이스: 사운드 볼륨의 설정과 입력 디바이스의 선택 기능 제공

Raw MIDI 인터베이스: 미디 표준 인터페이스를 지원하기 위해 제공

타이머 인터페이스: 오디오 디바에스에서 사운드 이벤트의 동기화에 사용되는 내부 타이머 사용

시퀀서 인터페이스: 클라이언트와 포트 간에 미디 이벤트를 전달하기 위해 사용

 

⭐ 사운드 프로그래밍

ALSA 는 오디오를 위한 PCM 데이터를 녹음하고 출력할 수 있는 인터페이스를 제공한다

인터페이스를 이용하는 API 를 사용하기 위해서는 asoundlib.h 헤더 파일을 포함한다

1. 녹음이나 재생을 위한 인터페이스 열기 (snd_pcm_open() 함수)

2. 오디오 디바이스의 매개 변수 (접근모드, 데이터 포맷, 채컬, 샘플링 레이트) 설정한다

3. 데이터가 처리 중이라면 PCM 데이터를 읽거나 PCM 데이터를 쓴다 (snd_pcm_writei() 함수)

4. 위의 과정이 모두 끝나면 인터페이스를 닫는다 (snd_pcm_close() 함수)

// alsapcm.c
#include <stdio.h>              /* perror( ) 시스템 호출을 위해 사용 */
#include <limits.h>             /* SHRT_MAX 상수를 위해서 사용 */
#include <math.h>               /* sin( ) 함수를 위해서 사용 */
#include <alsa/asoundlib.h>     /* ALSA 사운드 시스템의 헤더 파일 */

#define BITS            2       /* 샘플당 16비트의 크기 : 2 × 8 = 16bit */
#define FRAGMENT        8
#define DURATION        5.0     /* sec */
#define MODE            1       /* 채널 수: mono */
#define FREQ            44100   /* 샘플링 레이트 */
#define BUFSIZE         (int)(BITS*FREQ*DURATION*MODE)  /* 위의 Duration 기간을 재생할 수 있는 버퍼의 크기 */

int setupDSP(snd_pcm_t *dev, int buf_size, int format, int sampleRate, int channels);

int main(int argc, char **argv)
{
    snd_pcm_t *playback_handle;
    double total = DURATION, t;         /* 재생 시간은 5초 */
    int freq = 440;                     /* 재생음의 주파수는 440Hz(A) */
    int i, frames, count = 1;           /* 반복 횟수 */
    char *snd_dev_out = "plughw:0,0";   /* 오디오 디바이스의 이름 */
    short buf[BUFSIZE];                 /* 입출력 오디오를 위한 버퍼 */

    /* ALSA 오디오 디바이스 열기 */
    if(snd_pcm_open(&playback_handle, snd_dev_out, SND_PCM_STREAM_PLAYBACK, 0) < 0) {
        perror("Cound not open output audio dev");
        return -1;
    }

    /* 오디오 디바이스 설정 */
    if(setupDSP(playback_handle, BUFSIZE, SND_PCM_FORMAT_S16_LE, FREQ, MODE) < 0) {
        perror("Cound not set output audio device");
        return -1;
    }

    /* 정현파 데이터 생성 */
    printf("Make Sine wave!!!\n");
    for(i = 0; i < BUFSIZE; i++) {
        t = (total / BUFSIZE) * i;
        buf[i] = SHRT_MAX * sin((int)(2.0 * M_PI * freq * t));
    }
    frames = BUFSIZE / (MODE * BITS);

    while(count--) {
        /* 오디오 출력을 위한 준비 */
        snd_pcm_prepare(playback_handle);

        /* 오디오 데이터를 디바이스로 출력(쓰기) */
        snd_pcm_writei(playback_handle, buf, frames);
    }

    /* 오디오 버퍼 버리기 */
    snd_pcm_drop(playback_handle);

    /* 오디오 디바이스 닫기 */
    snd_pcm_close(playback_handle);

    return 0;
}

int setupDSP(snd_pcm_t *dev, int buf_size, int format, int sampleRate, int channels)
{
    snd_pcm_hw_params_t* hw_params;     /* 오디오 디바이스 설정을 위한 매개변수 */
    snd_pcm_uframes_t frames;           /* 사운드 카드의 버퍼 프레임 */
    int fragments = FRAGMENT;
    int bits = (format == SND_PCM_FORMAT_S16_LE)?2:1;

    /* 오디오 디바이스의 매개변수 구조체를 위한 메모리 할당 */
    if(snd_pcm_hw_params_malloc(&hw_params) < 0) {
        perror("Cound not allocate parameter");
        return -1;
    }

    /* 오디오 디바이스의 매개변수들을 초기화한다. */
    if(snd_pcm_hw_params_any(dev, hw_params) < 0) {
        perror("Cound not initialize parameter");
        return -1;
    }

    /* 오디오 데이터의 접근(access) 타입(인터리브드, 논인터리브드)을 설정한다. */
    if(snd_pcm_hw_params_set_access(dev, hw_params, SND_PCM_ACCESS_RW_INTERLEAVED) < 0) {
        perror("Cound not set access type");
        return -1;
    }

    /* 샘플의 포맷을 설정한다: 부호 있는 16비트 리틀 엔디안 */
    if(snd_pcm_hw_params_set_format(dev, hw_params, format) < 0) {
        perror("Cound not set sample format");
        return -1;
    }

    /* 샘플링 레이트를 설정한다: 44.1KHz(CD 수준의 품질) */
    if(snd_pcm_hw_params_set_rate_near(dev, hw_params, &sampleRate, 0) < 0) {
        perror("Cound not set sample rate");
        return -1;
    }

    /* 채널 설정: MONO(1) */
    if(snd_pcm_hw_params_set_channels(dev, hw_params, channels) < 0) {
        perror("Cound not set channel count");
        return -1;
    }

    /* 프레임 주기 설정 */
    if(snd_pcm_hw_params_set_periods_near(dev, hw_params, &fragments, 0) < 0) {
        perror("Count not set fragments");
        return -1;
    }

    /* 버퍼의 크기 설정 */
    frames = (buf_size * fragments) / (channels * bits);
    if(snd_pcm_hw_params_set_buffer_size_near(dev, hw_params, &frames) < 0) {
        perror("Count not set buffer_size");
        return -1;
    }

    buf_size = frames * channels * bits / fragments;

    /* 앞에서 설정한 오디오 디바이스의 매개변수를 ALSA 시스템에 적용 */
    if(snd_pcm_hw_params(dev, hw_params) < 0) {
        perror("Count not set HW params");
        return -1;
    }

    return 0;
}

/*
소리를 출력하기 위해서는 출력을 위한 버퍼의 메모리 공간을 할당한다
필요한 미모리 공간은 다음의 공식을 이용해서 계산할 수 있다
오디오의 크기 = 표본화율 X 양자화 눈큼의 크기 (비트 수) X 모드 (모노/스테레오) X 시간 (초)

PCM 데이터를 저장하기 위해 필요한 버의 크기를 매크로로 정희하였다
양자화 비트 16비트, 샘플링 주파수 44.1KHz, 채널은 모노 (1)을 사용했다
*/