1. 내적 타당도 저해요인

1) 내적 타당도의 의미

0 실험의 필요조건으로서 시험적 처리가 실제로 의미있는 차이를 가져 왔는가하는 문제를 검토하는 것

설명적 조사연구에서 내적 타당성이란 추정된 원인(정책, 프로그램)과 그 결과 사이에 존재하는 인과적 추론의 정확성을 의미하는 개념==> 인과관계의 추론이 정확한 것인가?

2) 내적 타당성의 위협요인

제3의 변수(경쟁가설)의 영향을 분리하거나 배제할 수 있도록 연구를 설계

시간적 선행성, 공변성, 경쟁가설의 배제의 원칙중 경쟁가설의 배제의 원칙과 관련됨.

추정된 원인(정책 또는 프로그램) 이외에 결과(상황이나 조건의 변화)를 설명할 수 있는 제 3의 변수 또는 경쟁가설을 ‘내적 타당성의 저해요인 또는 위협요인임

(1) 추정된 원인 이외의 요인에 기인한 대상집단의 특성 변화

(가) 성숙요인

-순전히 시간의 경과 때문에 발생하는 조사대상집단의 특성 변화

성숙요인이 사전검사와 사후검사에서 대상집단의 특성의 차이를 설명할 수 있는 유력한 경쟁가설이 될 수 있음

성숙요인의 효과는 실험집단과 이에 비교되는 통제집단을 두고, 두집단에 조사대상을 무작위 배정하게 되면 통제될 수있다.

(나) 역사요인

조사기간(정책 및 프로그램의 집행기간)중에 연구자의 의도와는 관계없이 일어난 사건으로 결과변수에 영향을 미칠 수 있는 사건을 의미: 정치, 경제, 사회 및 자연환경의 변화를 가져오는 사건이 발생할 경우 그 영향 때문에 조사대상 집단의 특성이 변할 수 있다.

단순히 조사대상기간중 발생하는 외재적 사건을 의미함

역사요인의 효과는 실험집단과 함께 비교집단이 있어서, 서비스 제공 후에 두 집단에 대한 측정값의 차이를 비교할 수 있는 경우에 통제될 수 있다.

(2) 표본의 무작위 배정 및 대표성에 관련된 요인

(가) 선발요인

조사실시 전에 이미 차이가 있는 두 비교집단을 선정함으로써 조사결과의 타당도가 문제되는 요인

선발요인의 효과는 프로그램 집행 이후에 실험집단과 비교집단에서 결과변수값을 측정하여 비교하는 정태적 집단비교설계에서 특히 강력한 내적 타당성이 저해요인이 나타난다.

사전측정을 포함하는 조사설계는 자기선발요인의 효과를 어느정도 통제할 수있다.

(나) 상실요인

정책집행기중에 관찰대상집단의 일부가 탈락 또는 상실됨으로써 남아 있는 대상이 처음의 관찰대상집단과 다른 특성을 갖게 되는 현상.

사전 측정을 포함하는 조사설계 필요.

(다) 통계적 회귀

극단적인 측정값을 갖는 사례들을 재정측할 때, 평균값으로 회기하여 처음과 같은 극단적 측정값을 나타낼 확률이 줄어드는 현상

가장 도움을 필요로 하는 집단을 대상으로 하는 치료적인 사회 서비스 프로그램에서 회귀요인이 유력한 경쟁가설로 대두된다.

(3) 관찰 및 측정방법에 관련된 요인

(가) 검사요인

-정책 및 프로그램이 실시전과 실시후에 유사한 검사를 반복하는 경우에 프로그램 참여자들이 시험에 친숙도가 높아져서 측정값에 영향을 미치는 현상

(나) 측정수단요인

-정책 또는 프로그램 집해전과 집행후에 측정자의 측정기준이 달라지거나 측정수단이 변화함에 따라 정책효과가 왜곡되는 경우

-측정도구를 표준화하여 사전측정과 사후측정시 측정도구의 동등성을 확보해야함

-측정의 신뢰성과 안정성을 확보해야함.

(4) 단일위협요인들이 상호작용

-두 가지 이상의 위협요소가 상호작용하여 내적 타당성에 위협요인으로 작용함.

-선발요인과 성숙요인의 상호작용 효과

선발요인과 역사적 요인의 상호작용 효과--> 국지적 역사요인

2. 외적 타당도 저해 요인

1) 외적 타당성의 의미

연구의 결과로 밝혀진 독립변수의 효과에 대한 결론을 일반화시킬 수 있는 범위를 말함.

- 특정 변수에 관하여 특정 집단을 대상으로, 특정 시기에, 특정 상황에서 연구한 결과를 다른 대상집단, 다른 시기, 다른 환경 또는 상황에 일반화시킬 수 있는 범위

인과적 추론의 진실이 다른 상황 또는 다른 모집단에도 적용될 수 있느냐에 관한 것.

일반화가 가능한 상황이나 환경, 가능한 대상집단의 범위, 가능한 시기.

(1) 실험상황

사전검사와 복수의 실험처리를 포함하여 연구대상이 실험 때문에 겪게되는 모든 경험을 말함.

(가) 사전검사에 대한 반응의 효과

(나) 복수 독립변수 또는 실험처리의 개입

한가지를 반복하여 여러번 개입시키거나 아니면 여러개의 독립변수를 조합하여 개입시키는 경우는 그 효과를 일반화하기 어렵다.

하나이상의 독립변수가 있는 실험의 경우에는 특정한 결합이 실험처리 또는 실험처리의 순서가 종속변수의 변화를 가져올 수 있다.

(다) 선발요인의 상호작용 효과: 실험적 처리가 선발된 집단에게만 특별한 영향을 미치는 경우 이 효과를 모집단에 일반화하는 데 문제가 있음

-두집단을 동등화시켰을 경우 선정된 집단이 모집단을 대표하는가?

(라) 역사요인의 상호작용 효과: 실험이 실시되고 있는 당시의 상황과 적용시의 상황이 다르므로 해서 발생하는 효과.

(2) 실험의 맥락

실험의 처리의 효과는 실험이 이루어진 맥락(실험실, 길거리, 공장, 학교, 가정 등)과도 관계된다

실험실 연구에 대한 비판자들은 사회현상에 대한 연구가 생태적 타당성을 가져야 함.