타당성

(1) 타당도의 의의

• 조사자가 측정하고자 한 것을 실제로 측정했는가 하는 문제이다.
• 타당한 측정수단이란 측정하고자 하는 것을 측정할 수 있는 도구이다. 따라서 어떤 측정수단이 조사자가 의도하지 않은 측면을 측정할 경우 이 수단은 타당하지 못한 것이 된다.
• 실증적 수단인 조작적 정의나 지표가 측정하고자 하는 개념을 제대로 반영하는 정도를 의미한다.
• 만약 조사자가 조작적 정의나 지표 또는 척도를 사용하여 처음 측정하고자 했던 개념이 의미하는 바를 제대로 측정하였다면, 이들 조작적 정의나 지표 또는 척도의 타당도는 높다. 반면에 조작적 정의, 지표 또는 적도를 사용하여 처음 측정하고자 했던 개념이 의미하는 바를 제대로 측정하지 못한 경우 이들의 타당도는 낮은 것이 된다.
• 사회과학에서 특히 타당도가 문제시되는 이유는 보통 측정을 간접적으로 할 수밖에 없는 사회과학 고유의 특성 때문이다. 측정을 간접적으로 하는 경우 조사자는 자신이 측정하고자 하는 속성들을 제대로 측정하는가에 대해 완전한 확신을 가질 수 없다.

(2) 조사설계의 타당도

1. 내적 타당도

• 각 변수 사이의 인과관계를 추론하여 그것이 실험에 의한 진정한 변화에 의한 것인지를 판단하는 인과조건의 충족 정도를 말한다.
• 내적 타당도를 저해하는 요인에는 외부사건(역사요인, 우연한 사건), 성숙(성장) 또는 시간의 경과, 통계적 회귀, 검사요인(주시험효과, 테스트효과), 선별요인(선택요인), 도구요인, 상실요인(실험대상의 탈락), 모방 등이 있다.

2. 외적 타당도

• 연구의 결과에 의해 기술된 인과관계가 연구대상 이외의 경우로 확대 . 일반화될 수 있는 정도를 말한다.
• 외적 타당도를 저해하는 요인에는 연구표본의 대표성, 실험조사에 대한 반응성(호손 효과), 플라시보 효과위약효과, 검사의 상호작용 효과, 표본의 편중 등이 있다.

(3) 타당도의 평가

1. 내용타당도(Content Validity)

• 표면타당도, 액면타당도(Race Validity) 또는 논리적 타당도(tLgical Validity)라고도 불린다.
• 측정항목이 연구자가 의도한 내용대로 실제로 측정하고 있는가 하는 문제이다.
• 측정도구가 측정대상이 가지고 있는 많은 속성 중의 일부를 대표성 있게 포함하는 경우 타당도가 있다고 본다.
• 논리적 사고에 입각한 논리적인 분석과정으로 판단하는 주관적인 타당도로서 객관적인 자료에 근거하지 않는다.
• 예를 들어 어느 한 후보의 인지도를 측정하기 위한 두 가지 측정도구로서, 하나는 그 후보를 좋아하느냐를 묻는 문항, 다른 하나는 그 후보에 대해 알고 있느냐를 묻는 문항을 개발했다고 할 때, 어느 정도는 후자가 후보 인지도를 측정하기에 적합하다고 판단할 수 있다.
• 이와 같이 측정도구의 내용타당도는 문항구성 과정이 그 개념을 얼마나 잘 반영하고 있는지, 그리고 해당 문항들이 각 내용영역들의 독특한 의미를 얼마나 잘 나타내주고 있는지를 의미한다.
• 관련 분야 전문가들의 자문이나 패널토의, 워크숍 등을 통하여 타당도에 관한 의견을 수렴한다.
• 내용타당도의 장ㆍ 단점은 다음과 같다.

  1. 장점

  • 계량화되어 있는 정보를 제공하지 못한다고 해도 전문가들의 판단에 의해 검사의 타당도를 입증받게 되므로, 검사의 목적에 대한 부합성의 여부를 검정할 수 있다.
  • 질문내용에 기초를 두어 관찰할 수 있고, 추정할 수도 있다.
  • 적용이 용이하고 시간이 적게 든다.

  2. 단점

  • 조사자의 주관적인 해석과 판단에 지나치게 의존함으로써 판단에 의한 오류나 착오가 개입할 여지가 많다.
  • 통계적 검증이 이루어지지 않는다.
  • 측정하고자 하는 속성과 해당 속성을 반영하는 항목 간의 상응관계(Correspondence)의 정도를 파악할 수 없다.

2. 기준타당도(Crterion Validity)

• 기준관련타당도(Criterion-related Validity), 실용적 타당도(Pragmatic validity) 또는 경험적 타당도(Bmpirical Validity)라고도 한다.
• 경험적 근거에 의해 타당도를 확인하는 방법으로서, 이미 전문가가 만들어 놓은 신뢰도와 타당도가 검증된 측정도구에 의한 측정결과를 기준으로 한다.
• 통계적으로 타당도를 평가하는 것으로서, 사용하고 있는 측정도구의 측정값과 기준이 되는 측정도구의 측정값 간의 상관관계에 관심을 두는 것이다.
• 연구하려는 속성을 추정해줄 것으로 알려진 외적변수(기준)와 측정도구의 측정결과(척도의 점수) 간의 관계를 비교함으로써 타당도를 파악하는 방법이다.
• 내용타당도보다 경험적 검증이 용이하다.
• 동시적 타당도와 예측적 타당도로 구분된다.

  1. 동시적 타당도(Concurrent Validity)

  • '일치적 타당도'라고도 하며, 새로운 검사를 제작했을 때 새로 제작한 검사의 타당도를 위해 기존에 타당도를 보장받고 있는 검사와의 유사성 혹은 연관성에 의해 타당도를 검정하는 방법이다.
  • 계량화를 통해 타당도에 대한 객관적인 정보를 제공할 수 있으며, 타당도의 정도를 나타낼 수 있는 장점이 있다.
  • 기존에 타당도를 입증 받고 있는 검사가 없을 경우 타당도를 추정할 수 없으며, 타당도가 입증된 검사가 있을지라도 그 검사와의 관계에 의해 동시적 타당도가 검정되므로 기존에 타당도를 입증받은 검사에 의존할 수밖에 없다.
  • 타당도계수는 응답자집단의 응답걸과에 의해 추정되므로, 응답자집단이 보다 이질적일 때 타당도계수가 높아지는 경향을 보이는 반면 응답자집단이 동질적인 경우 타당도계수는 낮아진다.

  2. 예측적 타당도(Predictive Validity)

  • 어떠한 행위가 일어날 것이라고 예측한 것과 실제 대상자 또는 집단이 나타낸 행위 간의 관계를 측정하는 것이다.
  • 검사점수가 미래의 행위를 얼마나 잘 예측하느냐가 관건이다.
  • 예를 들어 비행사 적성검사를 보았을 때 해당 적성검사에서 높은 점수를 받은 비행사가 실제 안전운행 기록상에도 높은 점수를 보이는 경우 예측적 타당도가 높다고 할 수 있다.
  • 검사도구가 미래의 행위를 예언하므로 채용, 선발, 배치 등의 목적을 위해 사용할 수 있으나, 이러한 검사의 타당도계수를 위해 오랜 시간을 기다려야 한다.

3. 개념타당도(Construct Validity)

• 구조적 타당도 또는 구성(구성체)타당도라고도 한다.
• 조작적으로 정의되지 않은 인간의 심리적 특성이나 성질을 심리적 개념으로 분석하여 조작적 정의를 부여한 후, 검사점수가 조작적 정의에서 규명한 심리적 개념들을 제대로 측정하였는가를 검정하는 방법이다.
• 여기에서 '개념(Construct)'이란 심리적 특성이나 행동양상을 설명하기 위해 존재를 가정하는 심리적 요인을 말하는 것으로서, 창의성 검사의 경우 이해성, 도전성, 민감성 등을 개념이라고 한 수 있다.
• 측정에 의해 얻는 측정값 자체보다는 측정하고자 하는 속성에 초점을 맞춘 타당성이며, 이론과 관련하여 측정도구의 타탕도를 검증한다.
• 응답 자료가 계량적 방법에 의해 검정되므로, 과학적이고 객관적이라 할 수 있다.
• 측정방법에는 다중속성-다중측정 방법, 요인분석, 이론적 구성개념 등이 있다.
• 이해타당도, 수렴타당도, 판별타당도로 구분된다.

  1. 이해타당도(Nomological Validity)

  • 특정 개념에 대해 이론적 구성을 토대로 어느 정도 체계적 · 논리적으로 이해하고 있는가를 나타내는 타당도이다.
  • 예를 들어 지능은 창조력, 판단력, 해석능력 등으로 다양하게 정의할 수 있으며, 서로 유사한 여러 개념들을 모두 측정할 수 있는 측정도구일수록 이해타당도가 높다고 평가할 수 있다.

  2. 수렴타당도(Convergent Validity)

  • 집중타당도라고도 하며, 동일한 개념을 측정하기 위해 서로 다른 측정방법을 사용하여 측정으로 얻은 측정치들 간에 높은 상관관계가 존재해야 함을 전제한다.
  • 예를 들어 새로 개발한 지능검사를 기존의 지능검사와 비교하여 두 검사 간의 상관계수가 높게 나타났다면, 새로운 지능검사는 지능이라는 개념을 잘 측정한 것으로 간접적인 결론을 내릴 수 있다. 이 경우 검사의 수렴타당도가 높다고 한다.

  3. 판별타당도(Discriminant Validity)

  • 서로 다른 개넘들을 측정했을 때 얻어진 측정문항들의 걸과 간에 상관관계가 낮아야 함을 전제로 한다.
  • 예를 들어 정치인의 선호도와 정당지지도라는 상이한 개념의 문제들을 측정했을 때 두 개념을 측정한 측정치들 간의 상관계수가 낮게 나왔다면, 판별타당도가 높다고 해석할 수 있다.