사회성과 측정은 프로젝트의 기획 단계에서부터 <변화이론> 등의 논리모델을 활용하여 변화의 내용과 과정 등을 논리적으로 구체화하고 명확하게 하는 것으로부터 시작합니다. 기획한 사회성과에 이르는 과정을 명확하고 구체적인 단위로 만들고 이 과정을 추적/관찰하며, 이 과정에서 수집된 정보를 비교/분석하면서 사회성과를 측정할 수 있습니다. 프로그램이 기획한 사회성과로 가는 과정에 ‘무엇’을 추적/관찰해야할까요? 이 ‘무엇’을 가리키는 개념이 바로 ‘지표’입니다. 목표로 하는 사회성과로 가는 과정을 적절하게 보여주는 지표는 무엇이며, 어떻게 만들어야 할까요? 영국의 국제개발부에서 이러한 질문에 답하기 위한 지표 개발 안내서를 발행하여 소개드립니다. 

문서 제목

- 치안 및 정의 프로그램에서의 투입, 활동, 활동결과, 활동성과, 사회성과에 대한 지표

(Indicators of Inputs, Activities, Outputs, Outcomes, and Impacts in Security and Justice Programming)

목적 및 용도

- 본 안내서는 활동(Activities), 활동결과(Outputs), 활동성과(Outcomes), 사회성과(Impacts)를 이해하기 위한 개념적 차이를 설명하며, 각 개념을 측정하기 위한 예시 지표를 소개한다. 또한 적절한 데이터 출처 및 데이터 접근 방법에 대해서 생각해볼 사항을 제시한다.

문서가 답하는 주요 질문

- 활동(Activities), 활동결과(Outputs), 활동성과(Outcomes), 사회성과(Impacts)은 각각 어떻게 다른가?

- 위의 프로그램 주요 구성요소를 반영하는 지표를 어떻게 만들 수 있는가?

- 각각의 구성요소에 해당하는 지표를 측정하기 위한 데이터 출처는 무엇인가?

- 지표 선정시 프로그램 운영자가 주의해야할 사항은 무엇인가?

학습 목표

- 지표 사용 시점

- 지표 사용 방법

- 지표 측정 방법

- 지표 관련 정보 수집 방법 

프로그램을 구성하는 활동을 모니터링하고(성과관리), 프로젝트의 활동결과를 설명하며(보고), 기획한 목표에 프로그램이 도달했는지 여부를 평가하기 위해 (성과측정/평가) 지표가 필요합니다. 측정을 위한 각 단계 (활동, 활동결과, 활동성과, 사회성과)를 측정하기 위해서는 설계한 프로그램의 면면을 보여줄 수 있는 정교하게 맞춰진 지표가 필요합니다. 본 안내서는 활동, 활동결과, 활동성과, 사회성과의 차이점을 설명하며, 각각에 관련된 예시 지표를 소개합니다. 또한 지표를 추적/관찰하기 위한 적절한 데이터 출처 및 접근 방법에 대해서 논의합니다. 

개요 (7)

- 안내서 목적 및 구성 (9)

섹션 1: 왜 투입요소(Inputs), 활동(Activities), 활동결과(Outputs), 활동성과(Outcomes), 사회성과(Impacts)를 추적해야하는가? (10)

섹션 2: 변화이론 (11)

섹션 3: 항목별 지표 – 투입요소, 활동, 활동결과, 활동성과, 사회성과 (13)

- 투입요소(Input) 지표: 필요한 자원은 무엇인가? (13)

- 활동(Activity) 지표: 프로젝트가 하는 일 (14)

- 활동결과(Output) 지표: 프로젝트 활동이 산출한 결과 (15)

- 활동성과(Outcomes) 지표: 프로젝트가 성취한 내용 (16)

- 사회성과(Impact) 지표: 프로젝트가 상위의 전략 목표에 기여한 정도 (17)

섹션 4: 데이터 출처 선정하기 (19)

- 양적 데이터와 질적 데이터 융합하기 (22)

- 데이터 수집 체크리스트 (22)

- 데이터 수집 계획 수립하기 (27)

참고 문헌 (27)

부록 B (29) 

Activities

활동

프로젝트의 목적을 달성하기 위해서 지정된 행동/활동

Data Source

데이터 출처

성과측정을 위해서 사용될 것으로 보이는 정보. 여론조사, 설문조사, 행정기록, 인터뷰, 포커스그룹, 관찰 등. 데이터 출처에는 예산계획, 보고서, 입법문서 등의 기존에 존재하는 자료 및 성과측정을 목적으로 구체적으로 수집된 정보도 포함

Fragile and conflict-affected settings

취약상황 및 분쟁 영향 상황

폭력적 분쟁을 경험하고 있거나, 분쟁의 위험에 있거나, 전쟁 및 기타 폭력적 폭동을 겪은 국가, 지역, 지역사회 등​

Impacts

사회성과 

상위 수준의 전략적 목표. (예. 공공 치안 분야 향상, 사법 체계에 대한 접근성 향상 등)​

Indicator

지표 

성과정도를 측정하거나, 프로그램에 따른 개입활동과 관련된 변화를 반영하며, 또는 행위자의 활동성과를 측정할 수 있도록 하는 간단하면서 신뢰할 만한 수단으로서의 기능을 하는 정량적/정성적 요소 또는 변수​

Inputs

투입요소 

프로그램을 위한 바탕을 제공하는 가공되지 않은 자원. (예. 돈, 기술적 전문지식, 관계망, 전문가 등)​

LogFrame (Logical Framework)

로그프레임 (논리관계틀) 

주요 투입요소, 활동경과, 활동성과, 사회성과에 대한 이정표 및 지표를 담고 있는 프로젝트 계획 및 관리 수단​

Objectivity

객관성 

연구 결과와 관련된 주체의 선호성향, 사항으로부터의 영향을 최소화하기 위한 조치 및 사실에 기반하는 것으로 연구 및 평가가 가져야할 중요한 사항​

Outcomes

활동성과 

프로젝트 또는 개입활동이 대상집단(target population)에게 전달한 긍정적 효과​

Outputs

활동결과 

프로젝트에 구성된 활동의 결과로서 발생한 정형, 비정형의 결과물​

Results chain

결과사슬 

투입요소, 활동, 활동결과, 활동성과, 사회성과 간의 가설적 관계에 대한 시각화된 표현​

Theory of change

변화이론 

프로젝트 활동과 목표 간의 관계에 대한 논리적 가정의 집합​

Value for Money (VFM)

자원 최적 사용* 

기획한 활동결과를 달성하기 위한 자원의 최적 사용

*의미 전달을 위해 의역함 

- 지표와 관련해서 기존 정보원 중에서 사용할 수 있는 정보출처가 있는가? 있다면 이용할 수 있는가?

- 지표의 측정을 위해서 사용가능한 ‘대용물’이 있는가?

- 지표 측정을 위해 확보한 정보/정보출처가 신뢰할 만하고, 온전한가?

- 해당 측정방법은 실제상황 또는 이해관계자 또는 행동주체에게서 나타나는 변화를 나타날 수 있는가?

- 해당 측정방법은 ‘빈곤층 친화적’이며, ‘성 감수성’을 고려하고 있는가? 

국제개발부(DFID)는 극심한 빈곤을 종식시키기 위한 영국정부의 활동을 이끼는 정부 기관입니다. 국제개발부는 빈곤, 질병, 대규모 강제이주, 불안정, 분쟁 등 지구촌 인류가 직면한 세계적 도전과제를 해결하기 위해 노력하고 있습니다. 국제개발부는 영국은 물론, 개발도상국의 사람들을 위한 더 안전하고, 건강하며, 풍요로운 세계를 만들기 위해 노력하고 있습니다. 특히 국제개발부 연구소는 국제개발부의 핵심입니다. 국제개발부는 논리적으로 타당하고 적용가능한 증거를 도출하는 고품질의 연구를 통해서 더욱 바람직한 사회개발 프로그램을 설계할 수 있도록 합니다. 연구결과는 Research for Development Outputs을 통해서 공개하고 있습니다.