통계학, 마케팅, 여론조사 등 설문조사에 관련한 학습을 할 때 항상 중요하게 나오는 말이 바로 신뢰도와 타당도이다. 보통 책에는 신뢰도는 타당도의 필요조건이고, 타당도는 신뢰도의 충분조건이라는 말이 나온다.

그러나 몇 번을 읽어봐도 저 말은 쉽게 이해가 되지 않는다. 뭐가 필요하고 뭐가 충분하다는 것인지… 그러나 신뢰도와 타당도는 그림으로 보면 쉽게 이해할 수 있다.

신뢰도는 보통 어떤 것을 똑같이 해낼 수 있는 일관성을 말하고 타당도는 의도한 대로 결과를 잘 도출해내는 정확성을 말한다.

본 자료에서는 두 예제를 준비하였다. 하나는 남성이 조금 더 익숙한 사격이라는 개념으로, 다른 하나는 대다수 여성의 일상인 화장을 주제로 하였다.

신뢰도와 타당도(사격 예시)

높은 신뢰도 / 낮은 타당도

앞에도 언급했듯이 신뢰도는 전에 했던 행동을 이후에도 똑같이 할 수 있는지의 일관성을 말한다. 위의 그림으로 예를 들자면 총으로 사격할 때 영점조절을 얼마나 잘 했는지를 생각하면 된다.

영점이 안 맞으면 아무리 똑같은 자리에 쏘려고 해도 총알이 여기저기 빗나가게 된다. 반면 위의 그림처럼 영점조절이 잘 되면 똑같은 자리에 맞출 수 있게 된다.

위의 그림은 영점조절이 잘 되어 신뢰도는 높으나 맞추고자 했던 중앙 과녁에는 맞추지 못했기 때문에 정확도가 떨어져 타당도는 낮은 결과이다.

영점조절을 잘 해놨다고 해도 사격수의 실력이 엉망이면 좋은 결과를 얻을 수 없다. 이는 총의 신뢰도가 높아도 사격수의 명중률(타당도)이 항상 좋을 수 없다는 것을 뜻한다.(신뢰도는 타당도의 필요조건)

높은 신뢰도 / 높은 타당도

위의 그림은 정중앙 맞추고자 하는 목표를 모두 맞췄다. 같은 자리에 모두 들어왔기에 신뢰도도 높은 결과이며 의도했던 가운데에 명중해 타당도도 높은 결과이다.

타당도가 높으면 신뢰도도 자동으로 높아지는 결과를 낳는다. 결과적으로 총알이 모두 한자리에 모이게 되기 때문이다.(타당도는 신뢰도의 충분조건)

낮은 신뢰도 / 낮은 타당도

위의 그림은 영점조절도 안되었고 목표와는 전혀 상관없는 곳에 총알이 박힌 모습이다. 신뢰도와 타당도가 모두 낮은 결과라고 할 수 있다.

영점조절도 해야 하고 실력도 키워야 하고 사격수가 할 일이 많은 상황이다.

신뢰도와 타당도(화장 예시)

이번에는 여성의 일상 중 하나인 화장과 비교해 보고자 한다.

높은 신뢰도 / 낮은 타당도

위의 그림은 머릿속으로 화장을 어떻게 할지 구상을 했으나, 막상 화장을 하니 생각대로 안 그려지는 상황이다. 깔끔하게 그리고 싶은데 매번 똑같이 비뚤비뚤 그려진다. 하루 이틀이면 좋은데 계속 생각대로 화장이 되지를 않는다. 상상에 비해 숙련도가 부족해 손이 못 따라가는 것이다.

매번 생각과는 다르게 화장을 해서 의도와는 다르므로 타당도가 떨어지는 상황이나, 일관되게 같은 상황이 반복되므로 신뢰도(낮은 숙련도)는 높은 상황이라고 볼 수 있다.

높은 신뢰도 / 높은 타당도

이번에는 매일매일 원하는 대로 화장을 잘 하는 화장 고수의 경우이다. 생각한 대로 똑같이 그려내, 타당도도 높고 매일 성공하므로 신뢰도(화장스킬) 또한 높다.

매일 생각한 대로 그려냈기 때문에(타당도) 자동적으로 매번 신뢰도(화장스킬)까지 따라온 모습이다.

낮은 신뢰도 / 낮은 타당도

이 경우는 이상적으로 하고 싶은 화장이 있어 노력하여 그리지만 매번 다른 결과가 나온다. 상상한 대로 화장을 못하는 것도 아쉬운데, 어떤 날은 잘 되는 거 같다가 또 어느 날은 실망스럽고… 실력도 들쭉날쭉한다.

원하는 대로 그리지 못해 타당도도 떨어지고 실력도 왔다 갔다 해서 신뢰도(스킬)도 떨어지는 상황이라고 볼 수 있다.

이상으로 신뢰도와 타당도의 개념에 대해 살펴보았다. 신뢰도는 일관성, 타당도는 정확성이라는 개념을 알고, 위의 그림을 참고하면 조금 더 쉽게 이해하는데 도움이 될 것으로 생각한다. 이는 설문조사나 검사와 관련해서 중요한 개념이므로 확실하게 이해하는 계기가 되었기를 바란다.