우리의 활동이 정말 사회에 변화를 일으키고 있을까? 우리의 활동이 수혜자들의 변화를 불러왔을까? 프로그램이 계획대로 진행되고 있을까? 잘못되고 있다면, 어디서 문제가 발생했으며, 어떻게 개선해야하는가? 효과를 향상시키기 위해서는 어떻게 할 수 있을까? 이 질문은 사회성과를 효과적으로 달성하는 과정에 반드시 답을 해야합니다. 그리고 평가(Evaluation)은 바로 질문에 답을 하는 방법이자 과정입니다. 평가는 결과를 통한 비교가 목적이 아닙니다. 평가는 도출된 내용을 학습(Learning)하고, 반영(Reflect)하여 기존보다 더 나은 대안을 마련하기 위한 자기발전적 행위입니다. 그러면 더 나은 프로그램, 더 나은 의사결정을 위한 평가는 진행하는 것이며, 어떤 과정을 거칠까요? 미국의 대표적인 비영리 재단인 켈로그 재단에서 200여 페이지에 달하는 평가 안내서를 배포하고 있어 소개합니다. |
*이 글은 켈로그 재단 (W.K. Fellogg Foundation)에서 출간하여 무료로 배포하는 평가설계 안내지침서인 <The Step-by-Step Guide to Evaluation>를 일부 번역·편집하였습니다. 인용 및 배포 시 원문 출처를 반드시 밝혀주시기 바랍니다.
무엇을 평가하고 싶은가?
역량?, 프로그램? 대상 집단?
| 역량 평가 Capacity Outcomes | 프로그램 평가 Program Outcomes (Strategy or initiative) | 대상 집단 평가 Population Outcomes |
평가 대상 | - “무슨 역량”, “무엇을 위한 역량”, “누구의 역량”인지를 명확하게 하는 과정이 필요 - 변화이론과 논리모형을 통해서 역량에서의 개선정도와 의도한 사회적 변화와의 관계를 파악 가능 | - 프로그램/전략/계획의 결과로 참여자/수혜자가 경험한 혜택 | - 다수의 서로 다른 전략, 계획, 프로그램 기관/조직의 결합된 노력에 따른 장기적 결과 - 위의 노력이 인구집단 수준에 끼친 변화의 확장가능성, 지속가능성, 파급력에 대한 평가 |
예시 | - 다양한 사회구성원의 보건/건강에 대한 요구에 대응하는 조직/기관의 역량 평가 - 보건/건강 불평등 감소 목표 관련 역량에 대한 평가 | - 이민자 대상 보건/건강 정보제공 및 교육 프로그램의 효과성을 입증을 통한 교육프로그램 내 교통안전 교육 포함 여부 결정에 대한 평가 | - 지역사회, 가족, 어린이의 삶의 질에 발생한 변화 (e.g. 고용 및 졸업비율 증가, 어린이 사망률 감소, 10대 임신율 감소 등) |
평가 중점 (분석 단위)
[그림 1. 평가 대상의 분석 수준에 따른 방법론적 복잡성 정도]
(출처: p.53)
분석 수준 | 분석 내용 | 특징 | 예 |
개인 Individual | 개인이 경험한 변화 - 전략, 계획, 프로그램을 수행한 정도 측정 - 개인 참여자가 바라는 성과(긍정적 변화)를 경험했는지 여부 측정 | - | - 특정 교육 프로그램을 참여한 참여자의 성적 향상 정도 |
기관/조직 Orgnaization | 조직 역량/환경/문화 변화에 따른 기관/조직의 우선순위, 정책, 수행에 나타난 변화 | - 조직 관련 주요 성과 지표에 대한 정보를 수집/분석 | - 다른 집단과의 협업 및 관계 지속 정도 - 구성원의 다양성(피부색, 출신, 문화적 배경 등)이 존중받고, 가치있게 여겨지는 정도 |
계획/프로그램 Initiative/ Program | 특정 계획, 프로그램이 기획한 효과를 발생시키는지 여부 및 정도 - 어느 정도의 노력을 수행했는지 - 어떤 요소가 효과적이었는지 - 무엇이 작동했고, 무엇이 작동하지 않았으며, 왜 그런지 - 어떤 지식, 기술, 기타 역량이 수행스텝의 활동에 요구되는지 - 계획/프로그램의 활동을 어떻게 개선했는지 | - 효과성 입증을 위한 ‘준실험적 설계(Quasi-experimental design)’ 사용* *실험군과 비교군으로부터 정보를 수집 및 비교/분석하여 효과성 입증. 무작위대조군-비교군 실험(RCT)보다 과학적 엄밀성이 낮음 | - |
지역사회 Community | 비영리활동/프로그램에 따른 지역사회 나타난 변화 (내용/정도) | - 계획 착수 단계에서 평가 대상이 되는 지역에 대한 정의 필수 - 의도하는 ‘변화’의 특징/성격/내용에 대한 명확화/구체화 필요 - 기대하는 변화 및 시도하려는 활동의 내용에 대한 변화이론, 논리모형 등이 있어야 함. - 지역설문조사 활용의 경우, 전수 조사가 불가능하기 때문에 표본 추출이 중요 | - 비역사회에 기여하는 공공, 민간, 비영리 기관 간의 관계 나타난 변화 - 지역사회의 물리적 구조 또는 사회적 규볌에 나타난 변화 - 서로 다른 다양한 사회구성원 간의 교류활동, 의사소통 등에 나타난 변화 |
정책 Policy | 지역, 지자체, 국가 단위의 정책상 변화를 촉구하는 캠페인 또는 기타 사회운동의 노력 평가 | - 변화이론, 논리모형, 기타 성과측정 기법 착수 시 평가 대상 명확화 필요 - 평가자가 정책 평가 전문지식, 사례연구, 정치주제와의 관여, 지역사회 운동 조성 과정, 정책 성과 등에서의 수행 경력 보유 권장 | - 캠페인 및 외부적 상황 조성이 정책 결정에 어떻게 작용했는지를 평가 - 긍정적 변화를 가로막는 정책에 대한 평가 |
시스템 System | 주제/분야 관련 중앙정부/지자체의 시스템(제도, 물리적 구조 등)에 나타난 변화 | - 형성/과정 평가(Formative/process), 총괄/성과 평가(Summative/outcomes), 성과 맵핑 방법 등 사용* *시스템 상의 각기 다른 기점의 관련자/기관이 참여 필수 - 변화를 일으키고자하는 시스템의 구성 요소에 대한 관계도 또는 구조도 작성 필요 - 기획하는 ‘변화’에 대한 명확화 필요 | - 취약계층의 보건서비스 접근성 향상을 위한 보건 형평성 향상 계획 시행에 따라 보건 체계에서 발생한 변화 양상 예) 건강보험 취득 및 취득에 관한 정보 접근성 정도, 예방 조치에 대한 이해 및 활용 정도, 의료/보건서비스 공급자의 취약계층 대응 능력 및 문화 등 |
내부 평가 Vs. 외부 평가
| 내부 평가(자체 평가) | 외부 평가(제3자 평가) |
평가 수행 주체 | 기관/조직 내 구성원 또는 부서 | 기관/조직에 속하지 않은 외부 평가자 |
평가자의 특징 | 기관/조직의 전략, 계획, 프로그램이 운영되는 맥락과 환경에 대한 밀접한 지식 보유 | 포괄적이고 전체적인 관점 보유 |
객관성 정도 | 낮음 | 높음 |
내 · 외부 평가 결정시 고려 사항
- 가능한 재원의 규모
- 평가의 범위 / 목적
- 재정 지원자의 요구사항
※내 ․ 외부 평가 방법 결정시 주의사항
평가 착수 시점부터 책무성에 대한 명확한 범위를 설정이 중요
평가의 이해관계자 간 내부정치적 특징
평가가 이해관계자 간 내부정치적 상황이 조성되는 이유
- 누가 평가의 대상인가?
- 정보가 어떻게, 누구로부터 수집될 것인가?
- 누가 수집된 정보를 소유할 것인가?
- 누가 평가로부터 도출된 발견사항/결과를 활용할 것인가?
- 누가 평가로부터 도출된 발견사항/결과로 이득을 보거나 이득을 보지 못할 것인가?
이해관계자 간 내부정치를 관리하기 위한 확인사항
- 가급적 초기 단계부터 주요 핵심 이해관계자를 파악하고, 참여시킨다.
- 생산 정보가 미치는 영향이 감소되지 않도록, 실험적 지식과 이론적 지식에 동등한 가치를 부여한다.
- 프로그램, 계획, 전략, 기관/단체로부터 혜택을 받는 집단/대상에 대해서 잘못된 또는 편향적인 가정을 갖지 않도록 하기 위해서, 평가 문항 설계 및 구성할 때 충분하게 주의를 기울여 고려할 시간을 갖는다.
- 어떻게 평가결과를 활용할 것인지 및 누가 평가결과를 이행할 것인지에 대한 협의/확산 전략을 평가 수행 계획에 포합시킨다.
켈로그 재단(W.K. Kellog Foundation)은,
켈로그 재단은 미국의 비영리재단으로서, 어린이, 가족, 지역사회를 지원합니다. 특히 취약계층 어린이들이 개인적 성취는 물론 지역사회와 더 큰 사회를 위해 긍정적으로 기여할 수 있는 시민으로 성장할 수 있는 환경을 조성하고 역량을 향상시키기 위한 활동을 하고 있습니다. 모든 어린이들이 공평하고 촉망되는 미래를 누릴 수 있는 세상을 구현하고자 노력하고 있습니다. |
WKKF_StepByStepGuideToEvaluation_smaller (1).pdf
(8.3M)
코멘트를 달아주세요!