공익성 향상을 통해서 모두를 위한 포용적 사회를 만드는 것이 비영리 활동의 주요 목적입니다. 영리활동의 경우, 순이익이라는 금전적 가치로 활동의 성과를 직접 측정 가능한 반면, 비영리활동의 경우는 공익성이라는 비정형, 비물적적 가치를 측정해야하는 어려운 과제를 안고 있습니다. 지표는 바로 이러한 추상적이고, 비정형, 비물질적 가치를 좀 더 구체적이고 관찰가능하도록 해석하는 기능을 합니다. 따라서 어떤 지표를 선정하느냐에 따라 비영리활동의 구체성이 좀 더 명확하게 드러날 수 있습니다. 유엔개발계획(the UN Development Program, 이하 UNDP)은 대표적인 성과 기반 사회개발활동을 진행하는 국제기구입니다. UNDP에서 출간 지표 개발 및 선정 방법에 관한 안내서를 소개합니다. |
*이 글은 유엔개발계획(the UN Development Program)의 루비 산두로존(Ruby Sandhu-Rojon)이 사회성과 측정 과정 설계의 한 부분인 ‘지표선정’에 대한 이해를 돕기 작성한 안내서인 <사회적 영량력 평가를 위한 지표선정(Selecting Indicators for Impact Evaluation)>을 번역, 편집했습니다. 인용 및 배포 시 원문 출처를 반드시 밝혀주시기 바랍니다.
▶원문 바로가기
* 2023년 1월 현재 원문을 찾을 수 없어 웹페이지 접근이 불가합니다.
안내서 요약
‘지표(Indicator)’는 사회개발로 가는 여정에서 일어나는 변화를 알려주는 이정표입니다. 우리가 목표를 성취하는데 만들어 낸 진전이 진짜인지, 진짜라면 어느 정도 진전인지를 확인하기 위해서 우리가 관찰하는 것이 바로 ‘지표’입니다. ‘지표’는 활동의 결과를 입증할 수 있게 합니다. 또한 ‘지표’는 ‘성과관리(Monitoring)’, ‘의사결정(Decision-Making)’. ‘이해관계자 협의’, ‘평가(Evaluation)’을 위한 기준점을 제공함으로써 우리가 원하는 결과를 만들어 낼 수 있도록 돕습니다. ‘지표’의 주요 기능은 다음과 같습니다. - 진전 과정 및 성취 정도를 측정할 수 있도록 함 - ‘활동(Acitivities)’, ‘산출물·활동결과(Outputs)’, ‘활동성과(Outcomes)’, ‘사회성과·목표(Impact, Goals) 간의 일관성을 분명하게 할 수 있게 함 - 진전 과정을 입증하게 하여, 관련 이해관계자에게 프로그램의 정당성과 책임성을 보일 수 있음 - 프로젝트 및 구성원의 역량 평가를 가능하게 함 변화를 입증하는 기능을 하면서 ‘지표’는 활동이 올바른 방향을 향해서 진전이 이뤄지고 있는지를 확인하고 입증할 수 있게 합니다. 또한 활동에 문제가 발생했는지를 조기에 파악할 수 있도록 하는 조기경보 기능을 합니다. 즉, ‘지표’는 조직의 전략 및 수행과정을 통해서 성취하고자 하는 변화를 파악할 수 있도록 합니다. ‘지표’가 바탕이 된 ‘성과관리(Monitoring)을 통해서 효과적인 ’평가(Evaluation)’을 할 수 있습니다. |
* 2023년 1월 현재 원문을 찾을 수 없어 웹페이지 접근이 불가합니다.
안내서 목차
1. 도입 Introduction 2. 지표의 구조적 한계: ‘지표’는 가리킬 뿐 Indicators Only Indicate - 지표의 한계와 주의사항 - 변화에 대한 실재적 대응물(Proxy) 3. ‘지표’의 유형 Types of Indicators - 상황 지표(영향 지표) - 성과 지표 - 산출 지표 4. ‘지표’의 정성적, 정량적 표현 Qualitative and Quantitative Expressions of Indicators - 지표의 정보 성격(Signals) 및 단위(Scales) - 변화에 대한 정성적 측정 - ‘정성(Qualitative)’와 ‘정량(Quantitative)’의 결합 - 옹호활동과 정책적 결과 5. ‘지표’ 선정하기 Selecting Indicators - ‘지표’ 선정의 중요성 - ‘지표’ 선정 기중 - SMART 6. ‘지표’ 모니터링 계획 수립: 실용적이고, 관찰가능하게 Indicators are Practical and Observable - 현실적이고 실용적인 과정 - 관찰 기준 수립 7. 협력자와의 합의 A Shared Commitment With Partners - 외부 데이터 출처 - ‘지표’ 공유를 통한 파트너십 형성 8. ‘기초선’, ‘목표치’, ‘시간계획’ Baseline, Target and Timeframe - 의미있는 ‘지표’ 형성 - ‘기초선(Baseline)’ 설정 - ‘목표치(Targets)’ 설정 9. ‘지표’ 해당 정보 수집 Indicator Data Collection - 실천적 고려 - 데이터 획득 방법 10. 결론 Conclusion |
주요 내용
‘지표’의 주요 기능
- 진전 과정 및 성취 정도를 측정할 수 있도록 함
- ‘활동(Acitivities)’, ‘산출물·활동결과(Outputs)’, ‘활동성과(Outcomes)’, ‘사회성과·목표(Impact, Goals) 간의 일관성을 분명하게 할 수 있게 함
- 진전 과정을 입증하게 하여, 관련 이해관계자에게 프로그램의 정당성과 책임성을 보일 수 있음
- 프로젝트 및 구성원의 역량 평가를 가능하게 함
지표의 구조적 한계
1. 한계와 주의사항
‘지표’는 “나타내는” 기능을 할 뿐입니다. ‘지표’가 “설명”을 하지 않습니다. 즉 “변화가 일어났다”는 것을 알아차린다는 의미가 “왜” 그 변화가 발생했는가를 말하지 않는다는 뜻입니다.
좋은 ‘지표’의 핵심은 ‘신뢰성(Credibility)’이지 지표의 ‘양(Volume)’이나 ‘정확성(Precision)’이 아닙니다. 지나치게 많은 수의 서로 다른 지표 또는 지나친 정밀성을 요구하는 지표를 사용하는 것은 오히려 프로젝트/프로그램 운영에 도움이 되지 않습니다.
‘정량 지표(Quantitative)’가 ‘정성 지표(Qualitative)’보다 생래적으로 객관적인 것이 아니라는 것도 염두해야 합니다.
적은 수더라도 “중요한(Important)” 질문에 “근접한(Approximate)“ 답을 하는 태도가, 많은 수의 ”덜 중요한(Unimportant)“ 질문에 ”정확한(Exact)“ 답을 하는 것보다 훨씬 도움이 됩니다.
2. 변화에 대한 ‘실제적 대응물(Practical proxy)‘
“의미가 있는” 중요한 변화 또는 “결과”를 짚어내는 것은 ‘지표’가 가지고 있는 근본적인 과제입니다. 실질적으로 타당한 것을 실제적으로 추적·관찰(monitor)할 수 있는 것과 조합할 수 있어야 ‘지표’의 기능이 실현될 수 있습니다.
해결하고자 도전한 사회문제가 실제로는 너무 복잡해서 객관적이고 그 변화와 꼭 맞는 관찰이 어려울 수 있습니다. 그래서 의도한 변화에 근접한 의미를 가진 것을 추적·관찰합니다. 즉, 긴밀하게 관련되어 있는 것으로 이해할 수 있는 지표를 사용합니다.
예1) “국가 정책의 빈곤층 지향성” ≒ 정부 예산 중 사회보장 비용 지출 비중
예2) “국가적 의사결정 과정에서 여성의 권한“ ≒ 의회 또는 국무회의 구성원에서 여성의 비중
지표의 유형
유형 | 설명 |
상황 지표 Situational | 사회개발적 변화가 일어나고 있는지 여부에 대한 광범위한 상황을 제공 (일반적 수준, 개괄적 형태로 제공) - 거시적 수준의 기초선 역할 |
영향 지표 Impact | 사회개발적 변화가 일어나고 있는지 여부에 대한 광범위한 상황을 제공 (구체적인 수준/형태로 제공) - 거시적 수준의 변화치 제공 |
성과 지표 Outcome | 구체화된 ‘성과(활동의 결과, 산출이 미친 영향)’에 대한 진전 정도를 측정 사회개발 현장에서 사실적으로 나타난 “의도된” 긍정적 변화를 입증하는 기능 |
산출 지표 Output | 단기간에 생성된 실체적이고 구체적인 활동에 대한 진행 정도를 측정 예) 2020년 말까지 훈련된 교사 50명 양성 (산출 단위 목표) - 훈련된 지역단위 학교 교사 (산출 지표) |
(그림1) 지표 간 관계
예1) 기대 성과와 ‘성과 지표(Outcome Indicator)’ 관계
기대 성과 | 성과 지표 |
정보통신기술(ICT) 접근성을 실질적으로 확대하기 위한 정책적, 법적, 행정적 구조 | 인터넷 접근이 가능한 인구 비중 및 인구 수 *성별 구분 필요 |
의회의 감독 기능 수행의 효과성 증가 | 국정 감사 기능(행정부 책무성 확인) 예) 입법 감독 기능 보장을 위한 공개청문회의 가동 |
공정하고 효율적인 사법 행정 | 사법 체계에 대한 대중 신뢰도 |
기초 사회서비스에 대한 전국민 접근 달성을 위한 국가 정책 구조 | 제도화된 사회보장 및 보험체계(연금, 건강보험, 고용보험 등) 및 긴급 사회 안전망 (단기 실업 구제, 기초 연금, 현금 지원 등) 등에 의해서 보호 받는 빈곤층의 비중 |
여성 지위 향상에 대한 옹호 및 추적·관찰이 가능한 여성 조직 | 여성의 비정부기구(NGO) 활동을 가능하게 하는 국가적 법령, 규제, 행정 조치의 여부 |
예2) ‘산출 지표(Output Indicator)’
산출(활동결과)-활동성과-사회영향(사회성과) 관계에 따른 수준별 ‘지표’ 체계*
*UNDP의 개발도상국 개발협력 활동을 반영한 예시인 점을 감안
| 물 공급 | 여성 권한 강화 | 환경 | 인권 |
산출물 (활동결과) Output | 설치된 관정(管井)의 수 | 대출 및 대출 상환 수 | 적절하게 심어지고 살아남은 종(種)의 수 | 역량강화 및 기타 인권활동 지원을 받은 사람 및 분야의 수 |
성과· 활동성과 Outcome | 깨끗한 가정용수를 지속적으로 활용 가능한 인구의 비중 및 수 | 여성들이 다양한 사회적, 경제적 역할을 수행할 수 있도록 하는 여성들의 향상된 가처분 소득의 비중 | 다시 조림(造林)되고 지속가능한 농업 기법이 적용되는 새로운 지역 격오지의 지역사회를 위한 더 나은 경제적 기회 | 정치인 및 법집행기관에 대한 더욱 활발한 인권 감사 및 질책 인권 침해 및 유린 상황을 감시·감독하고 해결하기 위해서 정부의 더 많은 예산배정 |
사회성과 (사회영향) Impact | 수인성 질병 감염 및 사망자 감소 | 남성에 대한 여성들의 향상된 경제적 통제, 의사선택 및 지윈 | 조림(稠林)지역의 증가 또는 유지 | 정치적으로 더욱 투명하고 책임감 있는 국가 행위 |
지표의 정성적(Qualitative), 정량적(Quantitative) 표현 - 정보성격(Signals)과 단위(Scale)
예) 지표의 정보 성격과 단위 – 산출 지표(Outputs) / 성과 지표(Outcome)
| 정보 성격 | 예시 | ||
단위 (예) | 성과 지표 | 산출 지표 | ||
정성적/내용 지표 | 여부 | 예/아니오 | 지방자치법률 가결/부결 | 정책안 제출/미제출 |
종류 (내용별) | “홍길동”, “콩쥐”, “흥부” 등 | 사회보장정책의 집중도 “높음”, “보통”, “낮음” | 빈곤 범위 “동부”, “서부”, “전국” | |
정량적/수량 지표 | 수 | 1, 20, 5,000 등 | 소상공업 분야에서 새롭게 생성된 일자리 수 | 훈련 받은 상공인(기업가, 자영업자) 수 |
백분율 (퍼센트) | 12%, 95% 등 | 기초 보건 시설 접근이 가능한 농촌지역 인구의 백분율 | 사회 복지 분야에 배정된 정부 예산의 백분율 | |
비율 | 1/3, 10만명 당 125명 등 | 남성의 학교 등록 기준 여성의 비율 | 남성 국회의원 대비 여성의 비율 | |
성과(Outcome) ‘지표‘의 내용 비교 기준
- 다른 종류의 서비스 간의 비교
- 분리된 지역 간의 비교
- 시간 차이에 따른 비교
‘지표’ 선정하기
1. 효과적인 지표 선정 기준
| 내용 | 지표 검토 사항 |
S | 구체적인가? (Specific) | - 측정할 대상이 정확하게 분명합니까? 측정이 가능한 수준으로 대상이 구체화 되었습니까? - 본 지표가 기대하는 결과의 핵심을 짚어낼 수 있습니까? - 본 지표가 지역별, 사람의 유형간 차이점을 짚어낼 수 있습니까? - 기대 결과까지 가능 진전 정도를 측정할 수 있을 만큼 본 지표가 충분히 구체적입니까? |
M | 측정할 수 있는가? (Measurable) | - 본 지표가 나타나는 변화가 객관적으로 검증가능합니까? - 본 지표가 바람직한 변화를 보여줍니까? - 본 지표가 결과를 신뢰할 수 있고, 명확하게 측정합니까? - 본 지표는 정책 및 프로그램 상의 변화에 민감합니까? - 이해관계자가 측정할 대상에 대해서 정확히 동의했습니까? |
A | 달성 할 수 있는가? Attainable | - 활동의 결과로서 어떤 변화를 예상할 수 있습니까? - 기대하는 결과가 현실적입니까? 산출물, 협력관계, 성과 간의 신뢰할 만한 연관성이 결과의 현실성 확보를 위해 필수적 요소 |
R | 타당한가? Relevant | - 본 지표가 기대하는 결과의 핵심사항을 짚어냅니까? - 본 지표가 의도하고 있는 산출물 및 성과와 타당하게 연관되어 있습니까? ‘지표’ 타당성을 확인하기 위해서 목표 대상집단과 해당 집단의 필요사항, 기대사항, 기준을 반드시 파악해야 합니다. - 본 지표가 활동 영역과 타당하게 연관되어 있습니까? |
T | 추적가능한가? Trackable | - 본 지표에 해당하는 데이터를 합리적인 비용과 노력으로 수집 가능합니까? - 본 지표의 데이터 출처가 알려져 있습니까? 지표 관련 데이터 수집을 위해서 반드시 현실적인 수집원칙, 체계, 담당 책임범위 및 내용을 수립해야 합니다. - 지표 추적·관찰·관리 계획이 수립되어 있습니까? |
‘지표’ 모니터링 계획 수립
1. ‘지표’ 모니터링이 실용적이고 현실적인 과정이 되도록 수립
아무리 심혈을 기울여 지표를 정의하고, 선정했더라도, 실제 활동에 사용되지 않거나, 실제 활동에 부담을 주거나, 혹은 실제 활동의 진행과 무관하게 진행해야 한다면 소용이 없습니다. 따라서 실제 지표를 운용하기에 앞서 지표를 모니터링(추적·관찰·관리)하는 과정이 얼마나 현실적이고 실용적인가를 시험 운용 해봐야 합니다.
2. ‘지표’ 추적·관찰·관리의 기준 수립
예1) “X라는 프로그램이 더 효과적/효율적으로 운영되고 있다“
지표를 통해서 도출된 위의 의견(예1)이 타당하기 위해서는 해당 지표의 효율성 측정 방법이 정의되어야 합니다. 무엇을 관찰하고, 어디서 관찰하는지가 명확하지 않은 지표는 의미가 없습니다. 따라서 의미 있는 지표가 되기 위해서는, 무엇을 계산해야하고, 어떻게 계산되어야 하는지를 구체화할 필요가 있습니다.
기초선(Baseline), 목표치(Target), 시간계획(TImeframe) 설정
사회개발 활동의 결과에 대한 입증이 실질적으로 유용하기 위해서는 1) 기초선, 2) 목표치, 3) 시간구성이 되어있어야 합니다. 이 세 가지 구성 요소가 시간의 흐름에 따른 변화를 증명할 수 있도록 돕습니다.
기초선 (Baseline) | - 프로그램 또는 활동이 시작하기 전 상황 - 결과에 대한 추적/관찰을 시작하는 시점 |
목표치* (Target) | - 활동 또는 프로그램이 종료되었을 때의 상황 *기초선과 목표치 사이에는 주기적 간격에 맞춰 기대되는 수행내용과 연관된 이정 지표를 설정할 수 있습니다. |
시간계획 (Timeframe) | - 주어진 프로그램 기간 안에서 구체적으로 특정된 관찰 시점 |
‘지표’ 관련 정보 수집
1. 대표적 정보 수집 출처 및 방법
- 행정 기록
- 통계적 조사
- 의식 및 태도에 관한 설문조사
- 전문가 패널 조사, 훈련된 관찰기록자를 통한 조사
- 포커스그룹 및 핵심 정보 관계자 인터뷰
지역사회 지표 컨소시엄(the Community Indicators Consortium, 이하 CIC)은,
CIC는 2005년 설립된 미국의 비영리 연구단체입니다. 지역사회 삶의 질의 지속가능한 향상을 위해 지역사회 삶의 질이 측정가능할 수 있도록 지역사회 관련 지표를 개발하고, 제공하며, 효과적인 사용을 지원하는 활동을 수행하고 있습니다. CIC는 지역사회 지표가 “우리의 상황이 어떻지?”에 대한 질문에 답할 수 있는 지역사회 지표를 만들고 확산하고자 노력하고 있습니다. 뿐만 아니라, 지표의 사용 방법을 확산하고, 기존의 지표를 개선하기 위해서 공개적인 토론을 함께 진행하고 있습니다. |
▶CIC 바로가기
* 2023년 1월 현재 원문을 찾을 수 없어 웹페이지 접근이 불가합니다.
코멘트를 달아주세요!