공익활동가들이 사업을 기획하며 중요하게 생각해야 하고, 놓치지 말아야 할 것들은 무엇이 있을까요?
NPO스쿨의 이재현 대표가 ‘활동가의 사업기획 ABC’를 주제로 연재합니다.
[연재 목차]
(1) 공익활동가를 위한 사업기획의 기초
- 공익적 관점으로 구상하는 사업기획
- 기획서, 계획서, 제안서의 차이
- 좋은 사업기획, 나쁜 사업기획
(2) 단체의 미션·비전과 사업의 연결
- 단체의 미션·비전을 연결해야 하는 이유
- 미션·비전과 사업의 브릿지, 전략목표
- 공익활동을 기획한다는 진짜 의미
(3) 명분과 타당성을 부여하는 분석 기법
- 기획서를 돋보이게 만드는 분석 기법
- 사업포트폴리오 분석 방법과 도구
- 개별사업 분석 방법과 도구
(4) 활력있는 사업의 실행과 평가
- Plan-Do-Check의 순환고리의 비밀
- 성과관리 이론과 성과평가 이론 비교
- 논리체인으로 적용하는 평가측정의 실제
(5) 결과보고서 작성법과 사례
- 좋은 보고서는 좋은 기획서로부터
- 설득력 있는 기획서 및 보고서 작성법
- 실무에 바로 적용가능한 보고서 탬플릿
(4)-2 활력있는 사업의 실행과 평가-2(측정도구의 적용)
추상을 현실로 끌고 오기 위한 가장 좋은 방법은 무엇일까요? 숫자에서 그 답을 찾으려는 것이 최근의 경향입니다. 그러나 숫자가 주는 한계도 분명합니다. ‘역량강화를 위한 교육 프로그램을 수행하여 10명이 수료했다’면 ‘10명이 수료했으니 10명이 역량강화되었다’고 단정할 수 있을까요? 수료자 10명은 역량강화를 위한 요건 중 하나일 뿐입니다. ‘아프리카에 깨끗한 식수를 공급하기 위해 우물을 10개 팠다’ 역시 비슷한 오류에 빠질 수 있습니다. 숫자를 통해 의도했던 변화가 충분히 설명되는지 점검하는 일은 그래서 중요합니다. 만일 충족이 된다면 적절한 성과라 납득할 수 있겠지만 그렇지 않다면 왜곡과 비약이 개입되었다는 지적을 피할 수 없습니다.
성과를 정량으로 표현해야 하는지, 정성으로 표현해야 하는지는 기술적인 이슈입니다. 다시말해 사업의 성과를 숫자로 설명하는가, 글자로 설명하는가 자체는 방법상의 문제일 뿐 성과의 본질과는 다른 차원입니다. 사업이 창출한 변화를 무슨 근거로 납득시킬 수 있을지에 관한 논리구성과 설득력이 핵심입니다. 논리구조의 핵심은 개연성에 기초한 인과관계입니다. ‘교육을 통해 사람들의 역량이 강화되었다’보다 ‘교육에 10명 참석, 10명이 수료했고 그중 9명의 참석자가 교육 내용에 만족했으며, 8명의 참석자는 현업에 적용했다. 이를 통해 참여자의 80%에서 교육의도에 부합한 긍정적 변화가 있음을 확인했다’가 설득력이 있어 보이는 이유는 무엇일까요? 숫자보다 정작 중요하게 봐야 할 관점은 단계별로 전개되는 내용이 논리적 연결을 통해 최종 결과를 설명하고 있는지 여부이기 때문입니다. 이러한 논리적 구성을 표준화한 일반적인 형태는 보통 네 단계로 구성됩니다.
대표적인 논리모형인 로직모델(Logic model)은 투입-활동-산출-결과의 네 단계로 설명됩니다. 각 단계별로 해당 사업에 단계를 설정하며 전체 연결고리를 검토함으로써 기획과 성과의 통합적 관리를 가능케 합니다. 이 구조의 장점은 사업 전반의 조감도를 사업실행 전에 그려볼 수 있다는 점입니다. 그러나 모든 사업에 로직모델이 들어맞는 것은 아닙니다. 만일 한 번도 실행하지 않은 신규사업이라면 모든 단계를 상상해야 하는데, 이때 논리의 왜곡과 비약이 발생할 수 있기 때문입니다. 이 경우 순차가 아닌 역순차의 질서를 가진 변화이론(Theory of change)을 통해 조감도를 그릴 수 있습니다. 즉 사업이 추구하는 최종 결과(outcome)를 먼저 도출한 후 이를 충족하기 위한 조건인 output을 도출하고, 이어 활동, 자원을 차례대로 도출하는 방식입니다.
흔히 사업의 성과로 정의되는 범위는 output과 outcome 두 개입니다. outcome이 다년간 반복되어 구조적 변화를 창출했다면 임팩트로 정의하기도 합니다만 이 시점에서 꼭 알아야 할 것은 성과의 필수 범위인 output과 outcome의 특성입니다. output의 결과치는 대부분 숫자로 산출되고 복잡한 측정방법이 필요하지 않습니다. 가령 교육사업의 1차적 결과인 output은 수료자가 몇 명인지로 확인가능하지요. 한편 outcome은 output을 통해 창출되는 근원적 변화결과입니다. 가령 교육사업의 outcome이 ‘역량강화’라면 이는 교육 후 즉시 확인도 어렵거니와 숫자로 표현하기도 난해할 것입니다. outcome의 이러한 특성은 다양한 측정방법의 개발을 불러왔습니다. outcome의 막연함을 어떻게 현실로 끌고 내려올 수 있을지가 공통 관심사였습니다. 그러면 현장에서 바로 적용가능한 접근은 무엇이 있을까요?
<표 출처> 건강한 비영리경영, 이재현, 한국문화사, 2024
outcome을 평가하는 가장 쉬운 접근은 관찰에 기반해 결과보고서를 작성하는 일입니다. 사업담당자가 자료를 확보하고 정리하며 자신이 바라본 시선에서 임의로 평가하는 방식입니다. 이 평가방식은 가장 전통적인 방식이자 주관성을 전제로 한 접근입니다. 경우에 따라 객관성 보완을 위한 체크리스트가 활용되기도 합니다. 다음으로는 타인의 시선을 뜻하는 객관의 입장에서 성과를 평가하는 일입니다. 타인의 평가의견을 개별적으로 인용하면 인터뷰기법, 집단적으로 인용하면 토론기법으로 봅니다. 이 둘이 추구하는 것은 결국 담당자의 주관이 아닌 다양한 객관으로 조망하여 주관성을 최소화하려는 데 그 의의가 있습니다. 이러한 방법론이 하나둘 발전해 갈 때 결국 성과란 질문을 통해 확인되는 결과임을 알게 되어 설문법이 대중화됩니다. 설문법의 다른 말이 질문지법이라고 하듯, 질문을 어떻게 구조화하여 균질한 결과값을 확보할 수 있을까라는 조사방법론으로 발전합니다.
설문의 시대가 도래하며 대규모 인원이 평가에 참여하는 일이 가능해졌습니다. 사람의 인식을 숫자로 표현하는 일에 거부감이 사라져 추상적 개념을 정량 데이터로 확보할 수 있게 되었습니다. 예컨대 ‘만족했는지(만족도, 적합도)’, ‘문제해결에 도움이 되었는지(효과성, 유용성)’, ‘기관을 신뢰하고 또 참여할 생각인지(신뢰도, 재구매의사)’ 등 기존에 까다로왔던 개념이 점수매기기(scoring) 행위를 통해 정량화된 것이죠. 사업이 매해 반복되고 설문도 반복되니 축적된 데이터를 통해 일정한 고정값을 확인할 수 있게 됩니다. 이것을 하나의 질문으로 특정할 수 있다면 객관적인 지표로 도출할 수 있을 것입니다. 특히 그 지표를 숫자로 확인할 수 있다면 지금까지 망라한 거추장스러운 방법론보다 훨씬 간편한 측정이 가능한 셈입니다. 교육을 통해 역량강화가 되었는지를 일일이 묻는 것이 아니라 ‘대학원 진학률’, ‘승진율’ 등의 상징지표로 측정해보는 식입니다. 이렇듯 계량지표가 완성되면 까다로운 outcome을 간단히 계수(counting)할 수 있어 측정의 객관성 확보와 평가비용의 효율화 측면에서 유리해집니다.
평가(evaluation)란 추상적 결과물에 가치(value)를 부여한다는 것을 의미합니다. 반면 측정(measure)이란 측량과 같이 계량화된 눈금으로 가늠한다는 뜻이 있습니다. 오늘날 이 두 개의 개념이 조화를 이룰 때 공익활동의 성과를 온전히 말할 수 있지만, 성과를 화폐화(금액화)하는 임팩트 측정법 등이 유행하는 것은 현대사회가 무엇을 원하는지 시사합니다. 그럼에도 잊지 말아야 할 것은 공익활동의 현장엔 변수가 많다는 사실입니다. 투입대비 결과의 인과성을 100%로 예측할 수 있다면 간단한 공식이 답이 될 수 있겠지만 반복된 실험을 통해 예외없는 법칙을 발견하는 실증의 과학과 달리 이곳의 현장은 무수한 변수가 개입하고 완벽한 통제가 불가하므로 기획-실행-평가의 과정을 점검하고 환류함으로써 진보한다는 사실입니다.
지표 역시 경험과 성찰의 산물이지 과학과 실험의 결과값이 아닙니다. 사업 담당자가 결과보고서를 작성할 때 ‘이 사업이 잘 된 것일까?’라고 자신에게 던지는 질문도 일종의 지표입니다. 인터뷰, 토론, 설문조사에서 던지는 질문도 마찬가지로 지표에 해당합니다. 지표란 목적 달성을 가늠하기 위한 기준으로 정의되지만 그 기준은 사람마다 다릅니다. 따라서 이 결과가 최선인지를 끊임없이 물어보는 자세, 다중의 참여를 통해 지표의 객관성을 강화하려는 시도, 미션비전과 사업의 방향성을 일치시키려는 노력이 무엇보다 중요한 습관이 되어야 합니다.
