수련회 만족도 조사를 돌렸습니다. 단톡방에 링크를 올리고, 이틀 뒤에 한 번 더 올리고, 주일에 광고도 했습니다.
응답은 열두 개 들어왔습니다. 참석자는 마흔 명이었습니다.
게다가 들어온 답변은 대부분 "좋았습니다", "은혜받았습니다", "수고하셨습니다"입니다. 정작 알고 싶었던 것 — 다음에 뭘 바꿔야 하는지 — 는 하나도 나오지 않았습니다.
이쯤 되면 "다들 관심이 없구나"라는 결론에 이릅니다. 그런데 같은 사람들이 다른 설문에는 답합니다. 문제는 관심이 아니라 설문 쪽에 있는 경우가 훨씬 많습니다.
아무도 답하지 않는 설문의 공통점
응답률이 낮은 설문에는 몇 가지 공통점이 있습니다.
왜 하는지 모릅니다. "설문 부탁드립니다"만 있고, 이 답변이 어디에 쓰이는지 설명이 없습니다. 답해도 아무것도 안 바뀔 것 같으면 답할 이유가 없습니다.
길이를 알 수 없습니다. 링크를 눌렀는데 문항이 몇 개인지 안 보이면 사람들은 나갑니다. "3분", "8문항"이 앞에 있는 것과 없는 것의 차이가 큽니다.
기한이 없습니다. 마감이 없으면 "나중에"가 되고, 나중은 오지 않습니다.
답하기 어렵습니다. 서술형이 다섯 개면 대부분 첫 문항에서 멈춥니다.
답한 사람이 누군지 드러납니다. 특히 부정적인 의견을 물으면서 이름을 받으면 솔직한 답은 들어오지 않습니다.
이 다섯 가지 중 세 개 이상 해당하면 응답률은 대체로 낮게 나옵니다. 참석자가 많고 적고와 상관없이 그렇습니다.
문항이 답변의 질을 결정한다
"좋았습니다"만 들어오는 건 답한 사람들이 성의가 없어서가 아닙니다. 그렇게 답할 수밖에 없는 질문을 했기 때문입니다.
| 자주 쓰는 문항 | 들어오는 답 | 고친 문항 |
|---|---|---|
| 이번 수련회 어떠셨나요? | "좋았어요" | 가장 기억에 남는 순서 하나를 골라 주세요 (보기 제시) |
| 개선할 점이 있나요? | (무응답) | 다시 한다면 시간을 줄이고 싶은 순서는 무엇인가요 |
| 만족하셨나요? | "네" | 다음에도 같은 장소를 쓰는 것에 대해 어떻게 생각하세요 |
| 건의사항 | (무응답) | 이번에 불편했던 것 하나만 적어 주세요 (없으면 '없음') |
원칙은 세 가지입니다.
한 문항에 하나만 묻습니다. "장소와 일정은 어떠셨나요?"는 두 질문입니다. 답하는 사람은 대개 하나만 답하거나 아예 안 답합니다.
고르게 만듭니다. 서술형은 최소한으로 두고 나머지는 보기에서 고르게 합니다. 서술형은 마지막에 하나만 두는 것이 무난합니다.
부정적인 답을 정상으로 만듭니다. "불편했던 것 하나만 적어 주세요, 없으면 '없음'"처럼 물으면 부정적인 답변이 훨씬 편하게 나옵니다. "건의사항"이라고만 쓰면 불평하는 사람이 되는 것 같아 아무도 안 씁니다.
익명이라고 썼는데 익명이 아닌 경우
솔직한 답을 받으려면 익명이 필요합니다. 그런데 익명이라고 안내해 놓고 실제로는 아닌 경우가 많습니다.
- 이름은 안 받는데 셀 이름과 학년을 받습니다. 그 조합이면 누군지 특정됩니다
- 응답자가 열 명인데 성별과 연령대를 받습니다. 좁은 부서에서는 그것만으로 알아볼 수 있습니다
- 결과를 공유하면서 "어떤 분이 이런 의견을 주셨는데"라고 말합니다. 한 번만 이러면 다음 설문부터 익명은 의미를 잃습니다
익명 설문에서는 응답자를 좁힐 수 있는 정보를 받지 않는 것이 원칙입니다. 분석을 위해 셀별 구분이 꼭 필요하다면, 그 설문은 익명이 아니라고 솔직히 밝히는 편이 낫습니다. 익명이라고 해 놓고 아닌 것이 가장 나쁩니다.
반대로 답한 사람이 누군지 알아야 하는 설문도 있습니다. 수련회 참가 신청, 셀 배정 희망, 봉사 지원 같은 것입니다. 이런 설문에 익명을 붙이면 후속 처리가 불가능해집니다. 무엇을 위한 설문인지에 따라 처음부터 나눠야 합니다.
언제, 어디에 요청하느냐
같은 설문도 요청 시점에 따라 응답률이 크게 달라집니다.
행사 직후가 가장 높습니다. 수련회 만족도라면 마지막 날 해산 전에 자리에서 받는 것이 가장 확실합니다. 집에 돌아간 뒤에는 절반 이하로 떨어집니다.
모여 있을 때 받습니다. 링크를 뿌리는 것보다 예배 후 10분을 확보해 그 자리에서 받는 편이 낫습니다. 부서 전체 의견이 필요한 설문일수록 그렇습니다.
대화 채널에 던지면 묻힙니다. 단톡방 링크는 몇 시간 안에 다른 메시지에 밀려 내려갑니다. 하루만 지나도 스크롤해서 찾아야 합니다.
리마인드는 한 번이면 충분합니다. 마감 하루 전에 한 번. 세 번 이상 올리면 사람들이 피로해지고, 다음 설문의 응답률까지 떨어집니다.
결과를 공유하지 않으면 다음은 없다
응답률이 회를 거듭할수록 떨어지는 부서에는 대체로 같은 원인이 있습니다. 지난 설문 결과를 아무도 못 봤습니다.
답을 냈는데 아무 일도 일어나지 않은 경험이 한 번 쌓이면, 다음 설문은 그만큼 덜 진지해집니다. 두 번 쌓이면 응답하지 않습니다.
공유는 거창할 필요가 없습니다. 서너 줄이면 됩니다.
- 몇 명이 답했는지
- 가장 많이 나온 의견 두세 개
- 그중에서 무엇을 바꾸기로 했는지
- 바꾸지 않기로 한 것이 있다면 왜인지
마지막 항목이 특히 중요합니다. 반영하지 않은 이유를 말해 주는 것이 반영하는 것만큼 신뢰를 만듭니다. 아무 설명 없이 넘어가면 "역시 형식적이었구나"로 남습니다.
설문 만들기 전 체크리스트
- 이 설문으로 무엇을 결정할 것인지 한 문장으로 적을 수 있는가
- 결정에 필요 없는 문항이 들어 있지 않은가
- 문항 수와 예상 소요 시간을 안내에 적었는가
- 마감 기한이 있는가
- 서술형이 두 개를 넘지 않는가
- 익명이라면 응답자를 좁힐 수 있는 정보를 받고 있지 않은가
- 부정적인 답변을 하기 편한 문항이 하나라도 있는가
- 결과를 언제 어떻게 공유할지 정해 뒀는가
첫 번째 항목에서 막히면 그 설문은 대체로 필요 없는 설문입니다. 무엇을 결정할지 정하지 않은 채 "의견을 들어 보자"로 시작한 설문이 가장 응답률이 낮습니다.
부서 안에서 받는 게 쉬워야 한다
응답률을 떨어뜨리는 마지막 요인은 단순합니다. 답하기까지 손이 많이 갑니다.
외부 폼 링크를 열면 로그인하라고 하거나, 모바일에서 화면이 어긋나거나, 어느 부서 설문인지 확인하는 문항이 앞에 붙습니다. 이 단계마다 사람이 빠집니다.
브랜치스에서는 부서 안에서 설문을 만들어 공유할 수 있어서, 구성원이 별도 링크를 찾아 들어가지 않아도 됩니다. 응답 결과도 같은 자리에 모여서, 정리해 공유하기까지의 손이 줄어듭니다.
정리하며
설문 응답률은 부서의 열심을 재는 지표가 아닙니다. 설문 설계의 결과입니다.
무엇을 결정할지 정하고, 문항을 고를 수 있게 만들고, 모여 있을 때 받고, 결과를 공유하는 것. 이 네 가지를 지키면 같은 사람들에게서 다른 응답률이 나옵니다.
특히 마지막이 누적됩니다. 결과를 공유한 부서는 다음 설문이 쉬워지고, 공유하지 않은 부서는 매번 더 어려워집니다.