AVFoundation 오류에 관해

WWDC 10 에서 카메라에 관한 데모를

보여준 내용이 있습니다. 

아이튠즈에서 볼 수 있는 session video제목은

"Using the Camera with AV Foundation" 입니다.

여기서 카메라의 하부 API 를 이용해서 조작하는 

데모들이 선보입니다. 

WWDC 10 sample 코드를 다운로드 받으면 해당 코드들을 볼 수 있습니다.

AVFoundation  관련 코드 중에 FindMyIcon의 Process 를 실행 시켰는데, 빌드 에러가 났답니다.

AVFoundation 을 찾지 못하는 에러였지요.

cannot find protocol declaration for 'AVCaptureVideoDataOutputSampleBufferDelegate'

그래서 검색해 보니 다름이 아니라 시뮬레이터로 설정해놓으면 빌드에러가 나더군요.

Device 로 설정하고 나면 AVFondation 을 잘 찾고 빌드가 잘 됩니다.

참조하시길...






  iPhone 에서 OpenGL 로 AR 기능을

  사용하려고 하면 필수적으로 OpenGL 의 

  모델 도형을 투명한 배경위에 보여줘야 합니다.

  그래서 설정해야 할 것들이 몇가지 있습니다.

  우선 기본 설정에서 RGBA8 로 해주고, 

  배경의 색깔을 모두 지운 후 alpha 에 투명값을 

  설정하는 겁니다. "0" 으로 말이죠.

  다시 정리하면 아래 코드를 볼 수 있습니다.

// The GL view is stored in the nib file. When it's unarchived it's sent -initWithCoder:

- (id)initWithCoder:(NSCoder*)coder {

    

    if ((self = [super initWithCoder:coder])) {

CAEAGLLayer *eaglLayer = (CAEAGLLayer *)self.layer;

eaglLayer.opaque = NO;//no - transparent

eaglLayer.drawableProperties = [NSDictionary dictionaryWithObjectsAndKeys:

[NSNumber numberWithBool:NO], kEAGLDrawablePropertyRetainedBacking, kEAGLColorFormatRGBA8, kEAGLDrawablePropertyColorFormat, nil];

context = [[EAGLContext alloc] initWithAPI:kEAGLRenderingAPIOpenGLES1];

if (!context || ![EAGLContext setCurrentContext:context]) {

[self release];

return nil;

}

animating = FALSE;

displayLinkSupported = FALSE;

animationFrameInterval = 1;

displayLink = nil;

animationTimer = nil;

// A system version of 3.1 or greater is required to use CADisplayLink. The NSTimer

// class is used as fallback when it isn't available.

NSString *reqSysVer = @"3.1";

NSString *currSysVer = [[UIDevice currentDevice] systemVersion];

if ([currSysVer compare:reqSysVer options:NSNumericSearch] != NSOrderedAscending)

displayLinkSupported = TRUE;

[self setupView];

}

return self;

}


해당 코드는 일반적으로 제공되는 OpenGL 코드인데, eaglLayer.opaque = NO 로 설정해야 투명한 배경을


얻을 수 있습니다. 또한 도형을 그리는 부분에서는 배경화면의 색깔을 투명으로 지정해야 합니다.


        glBindFramebufferOES(GL_FRAMEBUFFER_OES, viewFramebuffer);

glClearColor(0.0f, 0.0f, 0.0f, 0.0f);

glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);


여기서 glClear(Red, Green, Blue, alpha) 값을 보시면 모두 0 으로 설정하면 됩니다.


그런데 이렇게 하고서 투명처리가 안되어 무지 고생을 했습니다.


알고 봤더니 인터페이스 빌더에서 해당 OpenGL 을 그리는 View 의 배경색이 흰색으로 설정되어 있었습니다.





그래서 위와 같이 View 를 선택한 뒤, 배경색 팔레트에서 Opacity 값을 0 으로 설정하면 


View 자체가 투명한 색을 가지게 됩니다.


그러면 아래와 같은 투명배경의 도형을 카메라와 같이 볼 수 있게 됩니다.





  Camera와 OpenGL 동시에 표시하기

  안드로이드에서 카메라와 OpenGL을 동시에 표시하는 

  것을 구현하려고 했더니 잘안되어서 검색을 좀 해봤습니다. 

  해당 이슈는 이미 Google groups 에서 논의되었었는데

  
  제목으로 검색하시면 찾을 수 있습니다.

  제가 처음 시도한 것처럼 카메라 Preview 를 먼저 보이게 하고

  투명한 배경의 OpenGL 화면을 보이게 하려고 했는데

  카메라만 보인다는 내용입니다.

  저역시 카메라만 보이는 것을 확인할 수 있었는데,

  Julius 라는 사람이 쓴 답글을 보면 순서를 거꾸로 하여

  OpenGL을 먼저하고 나중에 카메라를 더하라는 것이 있었습니다.

  그렇게 해보니 신기하게도 카메라 영상과 OpenGL 이 겹쳐져 나오더군요.

  <<디바이스 실행화면>>



  아래의 코드대로 해보시면 아시겠지만, 1.5 버전의 에뮬레이터에서

  투명한 배경이 동작하지 않는 것을 확인했습니다. 

  제가 설치한 에뮬레이터의 버전 문제일지 모르겠으나, 투명이 아니라 

  백색화면에 그래픽 객체는 나오지 않더군요. 

  또다른 구글그룹스의 내용에는 멀티 SurfaceView 를 권장하지 않는다고

  안드로이드 프레임웍 엔지니어가 답글을 달았군요.

  코드는 Cube.java 와 CubeRenderer.java 를 참조하고 있습니다.

  public class camGL extends Activity {

    @Override

    protected void onCreate(Bundle savedInstanceState) {

        super.onCreate(savedInstanceState);


        requestWindowFeature(Window.FEATURE_NO_TITLE);

        this.setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_LANDSCAPE);

        

        Preview mPreview = new Preview(this); 

        

        mRenderer = new CubeRenderer(true);

        

        mGLSurfaceView = new GLSurfaceView(this);

        //translucent

        mGLSurfaceView.setEGLConfigChooser(8, 8, 8, 8, 16, 0);

        mGLSurfaceView.getHolder().setFormat(PixelFormat.RGBA_8888);

        mGLSurfaceView.setRenderer(mRenderer);

        

     //OpenGL 먼저 표시하기

        setContentView(mGLSurfaceView); 

     //그 다음 카메라 표시하기

        addContentView(mPreview, new LayoutParams(LayoutParams.WRAP_CONTENT, LayoutParams.WRAP_CONTENT));

        

    }

    

    private GLSurfaceView mGLSurfaceView;

    private CubeRenderer mRenderer;


    @Override

    protected void onResume() {

        super.onResume();

        

    }


    @Override

    protected void onPause() {

        super.onPause();

        

    }

    

}

//////////////////////////////

// camer preview

////////////////////////////

class Preview extends SurfaceView implements SurfaceHolder.Callback { 

    SurfaceHolder mHolder

    Camera mCamera

    

    boolean mPreviewRunning = false;

    

    Preview(Context context) { 

        super(context); 

        mHolder = getHolder(); 

        mHolder.addCallback(this); 

        mHolder.setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS); 

        

    } 


    Camera.PictureCallback mPictureCallback = new Camera.PictureCallback() {

        public void onPictureTaken(byte[] data, Camera c) {

            mCamera.startPreview();

        }

    };

    

    public void surfaceCreated(SurfaceHolder holder) { 

        mCamera = Camera.open(); 

        try{

        mCamera.setPreviewDisplay(holder);

         if (false) throw new IOException(); 

        }catch (IOException e){

        //do something

        }

    } 


    public void surfaceDestroyed(SurfaceHolder holder) { 

        mCamera.stopPreview();

        mPreviewRunning = false;//// added

        mCamera = null

    } 


    public void surfaceChanged(SurfaceHolder holder, int format, int w, int h) { 

     if (mPreviewRunning) {    ///added

            mCamera.stopPreview();

        }

    

        Camera.Parameters parameters = mCamera.getParameters(); 

        parameters.setPreviewSize(w, h); 

        mCamera.setParameters(parameters);

        mCamera.startPreview(); 

        //

        try{

        mCamera.setPreviewDisplay(holder);

         if (false) throw new IOException(); 

        }catch (IOException e){

        //do something

        }

        mCamera.startPreview();

        mPreviewRunning = true///added

    } 


}