신뢰성

(1) 신뢰도의 의의

• 측정도구가 측정하고자 하는 현상을 일관성 있게 측정하는 능력을 말한다. 다시 말해 어떤 측정도구(척도)를 동일한 현상에 반복 적용하여 동일한 결과를 얻게 되는 정도를 그 측정도구의 신뢰도라고 한다.
• 어떤 측정도구를 사용해서 동일한 대상을 측정하였을 때 항상 같은 결과가 나온다면 이 측정도구는 신뢰도가 매우 높다고 할 수 있다.
• 신뢰도가 높은 측정도구는 연구자의 변경이나 측정 시간 및 장소의 차이에도 불구하고 항상 동일한 결과를 가져온다. 반면에 신뢰도가 낮은 측정도구는 매번 측정할 때마다 측정치가 달라진다.
• 신뢰도와 유사한 표현으로서 신빙성, 안정성, 일관성, 예측성 등이 있다.

  신뢰도의 개념 정의

  • 동일한 대상을 동일한 측정도구를 사용하여 측정할 경우 동일한 결과를 엄을 수 있는 정도로 신뢰도를 정의하는 방법이다. 이러한 신뢰도의 정의에는 안정성, 신빙성, 예촉성의 의미가 크게 내포되어 있다. 이 개념 정의 방법은 기초적인 정의로서 가장 많이 사용되는 방법이다.
  • 정확성 및 정밀성, 즉 측정도구가 측정하려고 하는 속성을 얼마나 진실에 가깝도록 측정했느냐 하는 것으로 신뢰도를 정의하는 방법이다. 이러한 정확성 및 정밀성을 강조하는 정의는 첫 번째의 안정성을 강조하는 정의를 내포하고 있다.
  • 측정도구에 있어서 측정오차가 어느 정도인가를 파악함으로써 신뢰도를 정의하는 방법이다. 이 방법은 신뢰도의 실제적인 문제점과 이론적인 문제점을 보다 잘 해결해주고 개념 정의를 분명하게 해줄 뿐만 아니라, 다른 개념 정의나 접근방법을 포괄적으로 설명하도록 해준다.

(2) 신뢰도의 검증 방법

1. 재검사법(Retest Method)

• 가장 기초적인 신뢰도 검증방법으로서, 동일한 대상에 동일한 측정도구를 서로 상이한 시간에 두 번 측정한 다음 그 결과를 비교하는 것이다.
• 재검사에 의한 반복측정을 통해 그 결과에 대한 상관관계를 계산하여 도출된 상관계수로 신뢰도의 정도를 추정한다. 여기서 상관계수가 높다는 것은 신뢰도가 높다는 것을 의미한다.
• 안정성계수(Coefficient of Stability)를 사용한다. -1.00에서 +1.00의 척도상에서 통계치가 나타나며 안정성 계수가 높으면 이 검사는 신뢰도가 높고, 안정성 계수가 낮으면 신뢰도가 낮다.
• 재검사법의 장 · 단점은 다음과 같다.

  • 장점

  1. 적용이 매우 간편하다.
  2. 측정도구 자체를 직접 비교할 수 있다.
  3. 실제 현상에 적용시키는 데 매우 용이하다.
         

  • 단점

  1. 응답자들이 질문문항을 잘못 이해하거나 또는 이들 사이의 개인차를 극복할 수 없기 때문에 두 번의 검사에서 동일한 결과(점수)가 측정되지 않을 수 있다.
  2. 검사 사이의 기간이 가져올 수 있는 문제로 기간이 너무 짧으면 첫 번째 검사 내용을 기억할 수 있으며, 너무 길 경우 측정의 대상이 심경의 변화를 일으켜 측정상의 변화가 나타날 수 있다.
  3. 동일한 측정대상을 두 번씩 측정에 응하게 하는 것은 비용이 많이 들 뿐만 아니라 경우에 따라서는 가능하지 않을 수 있다.

2. 복수양식법

• 두 개 이상의 유사한 측정도구를 사용하여 동일한 표본에 적용한 결과를 서로 비교하여 신뢰도를 측정하는 방법으로서, '대안법(Alternate-form Method)' 또는 '평행양식법(Parallel-forms Technique)'이라고도 한다.
• 재검사법의 변형이라고 함 수 있는 방법으로서, 동일한 조작적 정의 또는 지표들에 대한 측정도구(ex. 일련의 질문문항들)를 두 종류씩 만들어 동일한 측정대상에게 각각 응답하도록 하는 방법이다.
• 평행을 이루는 두 가지 형태의 측정도구를 사용하여 각각 동일한 표본에 차례로 적용해봄으로써 신뢰도를 측정한다. 이 경우 두 가지 형태의 측정도구는 유사성이 매우 높아야만 신뢰도를 측정할 수 있는 수단으로서 인정받을 수 있다.
• 복수양식법의 장 · 단점은 다음과 같다.

  • 장점

  1. 재검사법에서 나타나는 외생변수의 영향 문제를 극복할 수 있다.
  2. 두 개의 동형검사를 동일집단에 동시에 시행하므로 주시험 효과의 영항을 받지 않는다.
  3. 신뢰도 계수 추정이 비교적 쉽다.
         

  • 단점

  1. 동일한 현상을 측정하기 위한 두 개의 동등한 측정도구를 개발하는 것이 쉽지 않다.
  2. 신뢰도가 낮은 것으로 결과가 나타날 경우 그것이 측정도구의 신뢰성 문제인지 동등화에 실패한 것인지 설명할 수 없다.
  3. 측정양식을 차례로 만들어 두 양식 간에 높은 반복성을 보일 경우 똑같은 체계적 오차가 각 양식에 포함될 수 있다. 즉, 두 개의 측정도구의 측정치 간에 상관관계가 높을 경우 주시험 효과를 완전히 극복하기 어렵다.

3. 반분법

• 복수양식법의 변형으로서 측정도구를 임의로 반으로 나누어 각각 독립된 두 개의 척도로 사용함으로써 신뢰도를 측정하는 방법이다.
• 조사항목의 반을 가지고 조사걸과를 획득한 다음 항목의 다른 반쪽을 동일한 대상에 적용하여 얻은 결과와 비교하는 방법이다(두 부분 간의 상관성 측정)
• 이 방법은 문항 분석을 통해 문항의 내용 및 판별도, 문항의 곤란도 등을 고려하여 두항목의 가장 동등한 것을 선정하여 양쪽으로 동등하게 나누어 가는 방법이다.
  • 측정도구가 경험적으로 단일성을 지녀야 한다. 여기서 단일성이란 측정도구의 항목들이 같은 종류로 구성되거나 아니면 적어도 유사한 항목들로 구성되어야 함을 의미한다.
• 양분된 각 측정도구의 항목수는 그 자체가 각각 완전한 척도를 이률 수 있도록 충분히 많아야 한다. 반분된 항목수는 적어도 8~10개 정도가 되어야 하며, 전체항목수는 16~20개의 항목을 가지고 있어야 한다.
• Spearman-Brown 예측공식
  반분하는 방법에는 보통 항목을 짝수항목과 홀수항목으로 반분하거나 아니면 무작위적으로 항목을 반을 추출하여 나머지를 또 하나의 척도를 만드는 식으로 일반적으로 사용되고 있다. 그런데 실제로는 두 부분을 따로 떼어 적용하는 것이 아니라 내용적으로만 반으로 갈라놓고 본래의 측정도구를 그대로 사용한다. 그리하여 두 부분의 측정결과를 비교하여 상관관계를 계산함으로써 신뢰도를 측정하는 것이다. 이렇게 하여 얻어진 상관계수를 시정하기 위해서 Spearman-Brown 예측공식을 적용한다.
• 반분법의 장. 단점은 다음과 같다.

  • 장점

  1. 두번검사를 시행하지 않고 신뢰도를 추정할 수 있다.
  2. 재검사법이나 복수양식법에서의 시험간격이나 동형검사 제작 등이 문제되지 않는다.
  3. 반분된 각각의 측정도구들에 대한 동질성 여부를 판단할 수 있도록 하여 측정도구의 내적 일관성을 측정할 수 있다.
  4. 동등하지 않은 문항들을 발견하여 배제할 수 있도록 한다.
         

  • 단점

  1. 반분된 각각의 측정문항들을 동등하게 만들기가 어렵다.
  2. 측정문항이 적은 경우 사용할 수 없다.
  3. 어떤 특정 항목의 신뢰도를 정확히 파악하는 데 한계가 있다.

4. 관찰자 신뢰도

• 관찰의 안정성을 기초로 한 신뢰도 측정방법으로서, 재검사적 관찰자 신뢰도와 대안적 관찰자 신뢰도로 구분된다.
• 재검사적 관찰자 신뢰도 : 한 사람의 관찰자가 일정한 관찰지침과 절차에 의거하여 동일 측정 대상에 대해 시간적 간격에 의한 반복관찰을 시행한 후, 그 결과의 상관관계를 점수로 산정하여 신뢰도를 평가하는 방법이다.
• 대안적 관찰자 신뢰도 : 두 사람 이상의 관찰자가 일정한 관찰지침과 절차에 의거하여 동시에 독립적인 관찰을 시행한 후, 관찰자 간 관찰의 결과를 점수로 산정하여 신뢰도를 평가하는 방법이다.
• 관찰자 신뢰도는 주로 탐색적인 목적을 위해 사용된다.
• 관찰자들의 관찰지침에 대한 정확한 이해와 체계적인 절차가 이루어져야 하며, 관찰자들에 대한 지속적인 훈련이 요구된다.

5. 내적 일관성 분석법(internal Consistency Method)

• 단일의 신뢰도 계수를 계산할 수 없는 반분법의 문제점을 고려하여, 가능한 한 모든 반분신뢰도를 구한 다음 그 평균값을 신뢰도로 추정하는 방법이다.
• 동일한 개념을 측정하는 항목인 경우 그 측정결과에 일관성이 있어야 한다는 논리에 따라 일관성이 없는 항목, 즉 신뢰성을 저해하는 항목을 찾아서 배제시킨다.
• 크론바하 알파계수가 대표적이며, 신뢰도 계수를 구할 수 있으므로 현실적으로 가장 많이 사용된다.

• 크론바하 알파계수(Cronbach's α Coeficient)
  · 척도를 구성하는 항목들 간에 나타난 상관관계 값을 평균처리한 것이다.
  · 내적 일관성 분석법에 따라 신뢰도를 측정하는 척도이다.
  · 신뢰도가 낮은 경우 신뢰도를 저해하는 항목을 찾을 수 있다.
  · 신뢰도 측정의 계수를 '크론바하 알파값' 이라 한다.
  · 계수는 '0~1'의 값을 가지며. 값이 클수록 신뢰도가 높다.
  · 문항 간의 평균 상관계수가 높을수록, 문항의 수가 많을수록 크론바하 알파값은 커진다.
  · 알파값은 '0.6' 이상이 되어야 만족할 만한 수준이 되며. '0.8 ~ 0.9' 정도를 신뢰도가 높은 것으로 본다

(3) 신뢰도의 제고방법

1. 항목을 명확히 구성한다.

• 측정도구가 되는 항목은 누구에게나 동일하게 이해되도록 명백하게 구성해야 한다.
• 애매모호한 항목은 서로 다른 해석을 야기하므로 오차분산이 개입할 여지가 발생하며, 그로 인해 측정의 신뢰도를 떨어뜨리는 결과를 초래한다.

2. 측정상황을 분석하고 일관성을 유지한다.

• 측정도구는 항상 표준화되고 잘 통제되며, 최대한 동일한 조건하에서 적용되도록 해야 한다.

3. 측정항목을 추가적으로 사용한다.

• 측정도구가 충분히 믿을 만한 것이 못될 경우 동일한 종류와 질을 가진 항목을 추가로 사용하도록 한다.
• 측정항목을 보다 많이 사용한다는 것은 실제 측정치가 진실된 값에 보다 근접할 가능성을 높이는 것이며, 이를 통해 신뢰도를 증가시킬 수 있다.

4. 대조적인 항목들을 비교 ㆍ 분석한다.

• 측정도구가 되는 각 항목의 성격을 비교하여 서로 대조적인 항목들을 비교 . 분석하는 방법이다.
• 이것은 항목의 성격이 서로 대조적인 것은 그 결과도 서로 대조적으로 나타난다는 논리에서 개발된 것이다. 여기서는 상관계수가 '0'에 가까워지는 것이 신뢰도가 높은 것을 의미한다

5. 표준화된 지시와 설명을 한다.

• 측정도구의 사용이나 응답에 있어서 가능한 한 분명하고 표준화된 설명을 사전에 충분히 함으로써 측정오차를 줄이도록 해야 한다.
• 불분명한 지시나 설명은 오차분산을 크게 하여 측정의 신뢰도를 떨어뜨린다.

6. 조사대상자가 잘 모르거나 관심이 없는 내용에 대한 측정을 하지 않는 것이 좋다.
7. 조사자의 주관을 제외한다.
8. 신뢰성이 인정된 기존 측정도구를 사용한다.