종단면 자료는 횡단면 자료에 비해 다양한 형태의 비표본오차(non-sampling errors)가 발생할 수 있기 때문에 조사 설계 및 실 사, 데이터 작업까지 전 과정에 걸쳐 면밀한 계획이 필요하다. 서구의 패널조사기관들은 패널자료의 질적 향상을 위해 다양한 평가연구를 진행하는 등 부단한 노력을 기울이고 있다. 반면 국내에서는 조사방법에 관한 연구를 찾아 보기 힘든 실정이다. 본 연구는 조사도구 효과(mode effect)에 관한 한국 최초의 연구이다. 구체적으로는 “CAPI의 도입이 데이터의 품질에 어떠한 영향을 미 치는가”에 대한 실증분석이다. 이를 위해 한국노동연구원의 노동패널자료 및 사업체패널자료를 주로 이용하였다. 본고의 실증 분석에 이용된 사업체패널 자료는 CAPI 조사 방식을 도입한 한국 최초의 조사라는 의의를 갖고 있다. 또한 노동패널자료는 2007년 10차년도 조사에서 CAPI와 관련 된 실험연구를 진행한 바 있으며, 2008년에는 CAPI가 조사 전반에 적용되면서 조사도구의 전환을 경험하기도 하였다. ◈ 한국 패널조사의 CAPI 도입 한국의 패널조사에 CAPI가 도입된 것은 2005년 후반 한국노동연구원이 고령자패널조사 및 사업체패널조사에 적용한 것이 처음이다. 당시 한국노동 연구원은 “CAPI 조사 방법이 조사 비용과 기간을 단축시키고, 면접원 및 응답자의 오류를 최소화시킴으로써 데이터의 질적 향상을 가져올 것”이라 고 내다보았다. 이러한 기대에 힘입어 CAPI는 불과 5년 만에 대표적 패널조사 도구로 급부상하였으며, 현재 9개의 패널조사가 CAPI로 실사 를 진행하고 있다. 그러나 이러한 CAPI의 급속한 확산에도 불구하고, CAPI의 실질적 효과에 대한 사후 검증 및 실증연구는 전혀 진전된 바 가 없는 상태이다. ◈ 10차년도 노동패널 CAPI 실험연구 지난 2007년 한국노동연구원은 노동패널 원표본 중에서 대전?충청지역의 약 560가구에 대해 조사도구 변경(CAPI) 실험을 실시한 바 있다. 분석방법은 실험집단에 속한 가구(CAPI)와 비교집단(PAPI)의 응답 특성이 유의미한 차이를 갖는지를 검증하는 방식으로 진행되었다. 본 분석 에 사용된 자료는 면밀한 계획하에 진행된 실험연구 자료에 국한되어 있으며, 실사과정에서 슈퍼바이저의 리뷰가 진행되기 전과 진행된 후의 자료(실사 과정 중 실사업체의 슈퍼바이저에 의한 리뷰는 가장 원초적인 자료의 정제(editing) 과정을 의미한다)를 모두 활용하여 분석하였다. 2007년 대전?충청지역을 대상으로 실시된 ‘노동패널 CAPI 이행실험’의 주요 결과는 다음과 같다. 첫째, 응답률은 조사도구에 따라 큰 차이가 없는 것으로 나타났다. 실험가구로 배정받은 원가구 중 PAPI 성공 가구는 212가구, CAPI 성공 가구는 218가구(부분성공 58가구 포함)였다. CAPI로 조사를 완료하지 못하고 부분성공한 이유는 대부분 배부 오류나 기술적 문 제로 CAPI 조사 준비기간이 짧아 발생한 문제들이었다. 둘째, CAPI 도입으로 인한 응답시간 단축 효과는 없는 것으로 분석되었다. 다만, ‘CAPI 조사 방식에 관한 면접원 설문’ 조사 결과, CAPI가 체감적으로 응답시간을 감소시키는 효과가 있다는 쪽이 다수 응답이었다. 또한 면접원들과 응답자들의 CAPI에 대한 반응은 대체로 중립적 이거나 호의적이었다. 셋째, CAPI는 설문 로직을 따라가지 못하는 스킵오류(skip error)및 항목무응답률은 유의미하게 감소시키는 것으로 나타났다. 또한, 전정보를 활용하는 설문에 대한 오류 교정도 CAPI가 PAPI에 비해 효과적인 것으로 나타났다. 넷째, 응답 분포에 대한 영향은 일부 변수에서 통계적으로 유의한 차이가 나타나긴 했지만, 전반적으로 모드 효과가 있다고 보기는 어려운 상황이 다. 이는 CAPI 이행 과정에서 PAPI를 병행하는 과도기를 가져도 데이터 품질에 큰 영향을 미치지 않을 것이라는 긍정적인 신호일 수 있다. 그러나 생활만족도를 비롯해 일부 통계적으로 유의하게 나타난 변수들에 대해서는 좀더 면밀한 검토가 필요한 것으로 보인다. ◈ CAPI가 차수 간 정합성에 미친 영향(노동패널자료 분석) 제5장에서는 CAPI로의 이행이 KLIPS 자료의 차수 간 정합성에 어떠한 영향을 미쳤는지를 분석하였다. 주요 분석내용은 CAPI로의 이행이 표 본이탈을 비롯한 전반적인 조사성과에 미친 효과, 항목 응답 및 무응답 오차에 미친 효과, 그리고 사회적으로 민감한 문항의 응답성향의 변화에 미 친 효과 등이다. 분석 결과 CAPI 실험 연구에서 확인되지 않았던 몇 가지 주목할 만한 점들이 발견되었다. 우선 전반적인 조사성과와 관련하여 CAPI 도입 이 후 응답자의 조사협조도와 설문이해도의 향상, 본인응답 및 면접조사의 비중 증가, 응답시간의 단축 등 조사의 전반적인 성과에서 긍정적인 결과가 나 타났다. 반면 소폭이기는 하지만 조사에 대한 강력거절이 증가하면서 조사 진행 기간의 연장과 조사성공률의 감소도 확인되었다. 그러나 이는 CAPI 도입의 부정적 효과라기보다 장기간 반복된 조사로 인해 ‘패널 피로도’가 증가하여 조사성공 잠재력을 높이는 것이 한계에 이르렀기 때문인 것으로 해석된다. 실사과정 혹은 펀칭, 데이터 산출 과정에서 발생했던 핵심변수의 오차 및 skip 에러는 CAPI 프로그래밍으로 인해서 상당 부분 감소한 것으로 확인되었다. 이에 따라 데이터 클리닝 과정에서 처리되었던 주요 변수의 항목 응답 및 무응답 오차의 일부가 실사과정에서 미리 차단되는 효과를 가져 온 점은 긍정적으로 평가할 수 있다. 그러나 자료에 대한 크로스 체킹과 종단면 클리닝 과정에서 발견된 오차는 CAPI의 도입으로 감소했다는 증거를 확인할 수 없었다. 마찬가지로 사회 적으로 민감하거나 응답이 번거로운 질문에 대해서도 CAPI가 응답 비중을 높이는 데 기여했다는 증거는 발견되지 않았다. CAPI의 도입 이후 소 비지출과 저축 문항의 히핑(heaping)은 오히려 증가한 것으로 나타났다. 이상의 분석결과를 종합하면 KLIPS의 CAPI 도입은 비교적 성공 적으로 이행했다고 평가할 수 있다. 그러나 일부 문항에서 나타난응답패턴의 변화, 조사의 장기화에 따른 ‘패널 피로도’ 증가의 효과 등에 대해서 는 향후 추가적인 연구가 필요할 것으로 보인다. ◈ 피면접자 변경과 CAPI 효과(사업체패널자료 분석) 가구(혹은 개인)조사와는 다른 특성을 갖는 사업체조사에서 CAPI의 효과는 어떠할까? 한국노동연구원 사업체패널조사의 경우 중간에 조사도구가 변경 된 노동패널과는 달리 1차년도 조사부터 CAPI로 조사가 진행되었다. 이에 따라 비교집단을 설정하기가 곤란한 면이 있었다. 그러나 사업체조사는 사업체를 추적하여 조사하기 때문에 차수간 응답자가 변경되는 특징을 갖는다. 즉 사업체 내에서의 인사이동이나 이직 등으로 인하 여 응답자가 바뀌게 되면 그 개인의 해당 사업체와 관련된 지식의 포괄 범위가 다르기 때문에 응답의 연속성 문제가 발생된다. CAPI의 도입은 응 답자 교체로 인한 비표본오차를 감소시킬 것으로 기대된다. 제6장의 연구는 사업체패널자료를 사용하여 ‘피면접자 변경에 따른 응답 불일치가 나타나는지’와 ‘CAPI 도입이 이러한 문제점을 해결하였는지’에 관한 분석 결과이다. 인사담당자 설문의 주요 변수들에 대해 CAPI의 사전 정보 탑재 기능이 들어간 경우와 아닌 경우에 대해 응답 일치 여부가 어떻게 다른지를 비교분석하였다. 실증분석 결과, CAPI에 사전 정보를 탑재하지 않은 경우 피면접자 변경으로 인한 응답 불일치가 유의하게 발생한 반면, 사전 정보가 탑재된 경 우 피면접 변경이 응답의 불일치에 미친 영향은 유의하지 않은 것으로 나타났다. 이는 CAPI 조사 방법이 응답의 일관성에 긍정적인 효과를 미치 고 있음을 시사한다. ◈ CAPI-EHC의 기대효과 주로 교육, 직업훈련, 고용, 혼인, 주거 등 생애사의 주요 사건들을 조사하는 데 활용되는 EHC는 가독성을 높여 과거 사건이 발생한 시점들 간 의 회고 오류를 줄여줌으로써 자료의 신뢰도를 높이는 효과가 있는 것으로 알려져 있다. 반면 EHC는 설계와 입력이 복잡하여 많은 시간과 비용을 발생시킨다는 단점을 가지고 있다. 그러나 이러한 단점은 CAPI의 도입으로 상당 부분 완화될 것으로 예상된다. 왜냐하면 CAPI 조사의 경우 초 기 프로그램 개발에 많은 시간과 비용이 들지만 차수가 거듭될수록 비용부담이 줄어드는 특징을 갖기 때문이다. 또한 CAPI 조사는 데이터의 입출 력이 실사와 동시에 이루어지기 때문에 입출력 부담이 크게 줄어들게 된다. 특히 CAPI-EHC는 실사과정에서 실시간으로 오류 체크가 진행되기 때 문에 일관성 있는 생애사 자료를 확보할 수 있다는 장점을 갖는다. 한국노동연구원의 CAPI-EHC 프로그램은 원활한 실행속도, 사전정보 혹은 다른 CAPI 프로그램과의 손쉬운 연동, 설문과 조사 설계에 맞춰 쉽 게 설정 가능한 EHC 프로그램에 중점을 두고 개발하였다. 한국노동연구원의 CAPI-EHC 프로그램은 Calendar 구현을 위해 달력 구성의 기본이 되는 일곱 가지 변수를 Blaise 설문 파일에서 지정할 수 있고, 환경 설정 파일에서 프로그램의 제목, Calendar의 형태 및 디자 인, 외부 연계 파일 등을 지정만 하면 조사에 바로 활용 가능하도록 설계되어 있다. 한국노동연구원의 CAPI-EHC 시스템은 CAPI와 EHC의 장점을 골고루 살린 실용적 프로그램이다. 그러나 한국노동연구원 CAPI-EHC 프로그램은 아직까지 실사에 적용된 적이 없어, 이 프로그램의 안정성 및 효과가 검증되지 않았다는 한계를 갖 는다. ◈ 종합 결론 및 향후 과제 CAPI 도입은 자료 안에서의 정합성을 확보하고, 면접원의 편의를 증진시키며, 스킵 오류를 줄이는 등 기계적 오차를 감소시키는 효과가 있는 것으로 분석됐다. 한편 응답률, 응답시간, 조사비용, 데이터 가공 및 클리닝 시간 등에 관한 효과는 좀더 시간을 두고 관찰해 볼 과 제이다. 본고는 CAPI를 중심으로 조사도구 효과(mode effect)를 사후 검증한 한국 최초의 실증연구이나, 이는 조사방법 연구의 극히 일부에 지나 지 않는다. 이를 시발점으로 향후 한국에서 보다 체계적이고 장기적인 조사기법 연구가 활성화될 수 있기를 기대해 본다.

요 약 i 제1장 머리말(최효미) 1 제2장 패널조사의 비표본오차와 CAPI에 관한 이론적 검토(이상호) 4 제1절 일반적인 조사연구의 비표본오차 4 1. 비표본오차 관리의 필요성 4 2. 비표본오차의 유형 6 3. 비표본오차의 관리 11 제2절 패널조사의 비표본오차 12 1. 모집단의 정의와 표본설계 13 2. 표본이탈 15 3. 회고오차 18 4. 돌출효과 20 5. 패널 컨디셔닝 효과 22 제3절 패널조사의 비표본오차 관리와 CAPI 24 1. CAPI를 이용한 조사관리의 개요 24 2. 모드효과 27 3. 종속형 설문의 도입과 CAPI 28 4. EHC와 CAPI 30 제4절 소 결 31 제3장 국내외 주요 패널조사의 CAPI 도입 현황(배기준) 34 제1절 서 론 34 제2절 패널조사에서의 CAPI 도입 목적과 고려사항 35 제3절 국내외 패널조사의 CAPI 도입 과정과 현황 37 1. 국외 패널조사의 경우 39 2. 국내 패널조사의 경우 42 제4절 국내외 패널조사의 CAPI 도입 결과와 평가 47 제5절 결 론 51 제4장 컴퓨터를 활용한 조사의 효과에 관한 실증연구: 노동패널 CAPI 실험 데이터의 분석(최효미․성재민) 53 제1절 서 론 53 제2절 노동패널 실험 설계 개요 54 제3절 CAPI의 효과에 관한 실증분석 58 1. 조사성공률, 응답시간 59 2. 응답자 및 면접원 태도 64 3. 항목무응답률, 항목응답률, 자료수정률 68 4. 분포의 차이 89 제4절 요약 및 결론 95 제5장 한국노동패널조사의 CAPI 이행 효과 : 차수 간 데이터 정합성 여부를 중심으로(이상호․배기준) 98 제1절 서 론 98 제2절 CAPI로의 이행과정 99 제3절 CAPI 도입이 조사성과에 미친 효과 103 제4절 항목 응답 및 무응답 오차 분석 111 1. 자료 처리 단계의 오차 112 2. 항목무응답 오차 113 3. 항목응답 오차 116 제5절 응답성향의 변화에 미친 효과 118 1. 민감 문항의 응답 비중 118 2. 히 핑 121 제6절 소 결 123 제6장 CAPI 도입을 통한 피면접자 변경 시 발생하는 응답 불일치 제어 효과: 사업체패널조사의 사례(김기민) 125 제1절 서 론 125 제2절 연구배경 126 제3절 분석자료 및 분석방법 129 1. 분석 자료 및 변수 설명 129 2. 분석방법 131 제4절 분석결과 132 제5절 요약 및 결론 137 제7장 Event History Calendar 프로그램 개발과 기대효과: 한국노동연구원 CAPI-EHC의 주요 기능과 특징(김기민․최효미) 139 제1절 서 론 139 제2절 선행연구에 나타난 EHC 효과 140 제3절 한국노동연구원 CAPI-EHC 주요 기능과 특징 144 1. CAPI-EHC 모듈 144 2. 구현된 CAPI-EHC 화면의 특징 145 3. CAPI-EHC의 주요 기능 148 제4절 요약 및 결론 152 제8장 결 론 (최효미) 154 참고문헌 158 <부록> 호주의 주요 패널조사 현황과 국내패널에의 시사점(최효미․배기준) 168 1. 호주 패널조사 개요 169 2. 장기적이고 체계적인 조사기법 연구 170 3. 공공 DB 연계와 연구 협력 171 4. 기관 간 협동 연구 체계 구축 173