취업 특강이나 직무 캠프를 마친 뒤, 담당자는 학생들의 만족도를 확인합니다.
“강의가 유익했습니다.”
“취업 준비에 도움이 됐습니다.”
“다음에도 참여하고 싶습니다.”
이러한 의견은 프로그램의 내용과 운영을 돌아보는 중요한 자료입니다. 하지만 다음 프로그램을 기획하려면 한 가지 질문을 더 던져볼 필요가 있습니다.
학생들은 프로그램을 통해 무엇을 알게 되었고, 무엇을 할 수 있게 되었을까요?
대학 취업지원센터와 대학일자리플러스센터에서는 만족도와 함께 과제 수행, 행동 변화, 후속 실천을 살펴보는 방식으로 프로그램 성과를 구체화할 수 있습니다.
만족도와 학습 성과는 서로 다른 질문에 답합니다
만족도는 학생이 교육 경험을 어떻게 받아들였는지 알려줍니다. 설명이 이해하기 쉬웠는지, 내용이 기대에 맞았는지, 운영에 불편은 없었는지 확인하는 데 유용합니다.
여기에 학생의 수행 결과를 함께 살펴보면 프로그램 이후의 모습을 더 구체적으로 파악할 수 있습니다.
확인하려는 내용 | 질문 예시 | 확인 자료 |
|---|---|---|
교육 경험 | 프로그램이 유익하고 이해하기 쉬웠는가? | 만족도 설문 |
학습 내용 | 핵심 개념과 방법을 이해했는가? | 짧은 확인 문항, 설명 활동 |
과제 수행 | 배운 방법을 과제에 적용했는가? | 결과물, 평가 기준표 |
행동 변화 | 문제를 해결하는 방식이 달라졌는가? | 전후 작업 기록, 수정 내역 |
후속 실천 | 프로그램 이후에도 적용했는가? | 후속 과제, 상담 기록, 실천 사례 |
모든 프로그램에서 이 항목을 전부 측정할 필요는 없습니다. 프로그램의 목표에 맞는 지표 몇 가지를 선택하는 것부터 시작하면 됩니다.
1. 학생이 무엇을 완성했는지 확인하기
가장 먼저 살펴볼 수 있는 것은 학생이 직접 만든 결과물입니다.
프로그램의 성격에 따라 다음과 같은 산출물을 남길 수 있습니다.
자기소개서 프로그램: 수정 전후 자기소개서와 수정 이유
면접 프로그램: 모의면접 답변과 보완 계획
직무 분석 프로그램: 직무 요구역량과 자신의 경험을 연결한 정리표
AI 활용 프로그램: 과제 결과물과 근거 확인 기록
다만 제출 여부와 결과물의 수준은 구분해서 보는 것이 좋습니다.
예를 들어 AI 활용 과제에서 보고서를 제출했다고 해서 자료를 정확하게 해석했다고 볼 수는 없습니다. 보고서가 과제의 요구사항을 충족했는지, 결론을 뒷받침하는 근거가 있는지까지 확인해야 합니다.
평가 기준은 복잡하지 않아도 됩니다.
평가 기준 예시 | 확인할 내용 |
|---|---|
요구사항 충족 | 과제에서 요청한 항목을 빠짐없이 다뤘는가? |
근거의 정확성 | 자료와 수치가 결론을 뒷받침하는가? |
판단의 타당성 | 대안과 제약조건을 고려했는가? |
활용 가능성 | 다음 행동이나 실행 방안이 구체적인가? |
학생에게 이 기준을 미리 안내하면 수행 방향을 이해하고 자신의 결과물을 점검하는 데도 도움이 됩니다.
2. 결과를 만드는 과정에서 어떤 행동이 달라졌는지 보기
완성된 결과물과 함께 수행 과정을 살펴보면 학생에게 필요한 피드백을 더 구체적으로 찾을 수 있습니다.
AI 활용 프로그램이라면 다음과 같은 변화를 관찰할 수 있습니다.
처음 과제를 수행할 때 | 교육 후 확인할 행동 |
|---|---|
바로 AI에 답을 요청함 | 과제의 목적과 조건을 먼저 정리함 |
AI가 제시한 수치를 그대로 사용함 | 원자료와 계산 과정을 대조함 |
첫 번째 제안을 최종안으로 선택함 | 다른 대안과 선택 기준을 비교함 |
문장 표현만 반복해서 수정함 | 내용의 오류와 누락을 찾아 보완함 |
결론의 이유를 설명하기 어려워함 | 확인한 사실과 자신의 판단을 구분해 설명함 |
이때 AI와 대화한 횟수나 프롬프트 길이만으로 역량을 판단하지 않도록 해야 합니다.
짧은 대화로도 필요한 조건을 정확히 전달하고 결과를 검토할 수 있습니다. 반대로 대화를 많이 했어도 중요한 오류를 발견하지 못할 수 있습니다.
어떤 행동이 과제 해결에 기여했는지를 중심으로 살펴보는 것이 중요합니다.
3. 사전·사후 점수는 비교 조건과 함께 해석하기
교육 전후의 평가를 비교하면 학생의 변화를 살펴보는 데 도움이 될 수 있습니다. 다만 점수가 올랐다는 사실만으로 교육 효과를 단정하기는 어렵습니다.
비교할 때는 다음 조건을 함께 확인해야 합니다.
사전·사후 과제의 난이도가 비슷한가?
평가 기준과 응시 시간이 동일한가?
같은 문항을 반복해 익숙해진 영향은 없는가?
사용한 AI와 도움을 받을 수 있는 조건이 같은가?
두 평가에 모두 참여한 학생을 비교했는가?
평균점수와 함께 어떤 항목에서 변화가 나타났는지를 살펴보면 후속 교육을 설계하기 쉬워집니다.
가령 요구사항 반영은 개선됐지만 근거 확인은 여전히 부족하다면, 다음 프로그램에는 검증 실습을 더 배정할 수 있습니다.
사전·사후 결과는 학생을 줄 세우기보다 교육의 다음 방향을 찾는 자료로 활용할 수 있습니다.
4. 프로그램 이후의 실천을 확인하기
교육 현장에서 잘 수행한 것과 이후 혼자 적용하는 것은 서로 다른 확인 과제입니다.
프로그램 종료 후 2~4주 정도의 시점을 정해 짧은 후속 조사를 진행하는 방식도 고려할 수 있습니다.
질문은 구체적인 행동을 중심으로 구성하면 좋습니다.
피드백을 반영해 자기소개서를 수정했나요?
다른 직무 과제에서 배운 분석 방법을 적용했나요?
AI 답변의 수치나 출처를 직접 확인한 사례가 있나요?
작성한 학습 계획 중 실제로 실행한 것은 무엇인가요?
실천하기 어려웠다면 어떤 이유가 있었나요?
학생이 원한다면 수정한 결과물이나 적용 사례를 함께 제출하도록 할 수 있습니다. 참여 의향과 실제 실행 여부를 구분해 확인하는 데 도움이 됩니다.
후속 조사에서는 응답률도 함께 표시해야 합니다. 적극적으로 참여한 학생만 응답했을 가능성이 있으므로, 응답자의 결과를 전체 참여자의 결과처럼 해석하지 않도록 합니다.
5. 처음에는 세 가지 지표로 시작해도 충분합니다
성과 지표가 많아지면 학생의 응답 부담과 담당자의 정리 업무도 늘어납니다.
처음 운영한다면 다음 세 가지처럼 간단하게 시작할 수 있습니다.
지표 | 계산·확인 방법 예시 | 활용 목적 |
|---|---|---|
과제 완료율 | 과제 제출자 ÷ 실제 참여자 | 난이도와 운영 흐름 점검 |
핵심 기준 충족률 | 사전에 정한 핵심 기준을 충족한 학생 ÷ 평가 대상 학생 | 학습 목표 달성 정도 확인 |
후속 실천율 | 실천했다고 응답한 학생 ÷ 후속 조사 응답자 | 교육 이후 적용 여부 확인 |
각 지표에는 대상 인원과 기준을 함께 적어야 합니다.
예를 들어 “후속 실천율 75%”라고만 쓰는 것보다 “후속 조사 응답자 20명 중 15명이 실천했다고 응답했으며, 전체 참여자 40명 중 조사 응답률은 50%였다”라고 쓰는 편이 해석에 도움이 됩니다.
위 숫자는 설명을 위한 가상 예시입니다.
핵심 기준 충족률을 사용할 때도 무엇을 충족했다고 보는지 사전에 정해야 합니다. 운영이 끝난 뒤 결과에 맞춰 기준을 바꾸면 비교가 어려워집니다.
6. 성과 보고서는 다음 운영의 개선점까지 연결하기
프로그램 결과 보고서에는 성과와 함께 남아 있는 과제를 담으면 좋습니다.
예를 들어 다음과 같이 정리할 수 있습니다.
참여 학생들은 요구사항에 맞춰 결과물을 구성하는 데에는 비교적 익숙했지만, AI가 제시한 근거를 원자료와 대조하는 과정에서는 보완이 필요했습니다. 다음 회차에는 수치·출처 검증 실습을 확대하고, 결과물에 확인 기록을 함께 제출하도록 구성할 예정입니다.
이러한 기록은 프로그램을 운영했다는 사실에 더해 학생에게 무엇이 필요했고 다음에는 어떻게 바꿀 것인지를 설명합니다.
취업 여부나 합격 결과도 추적할 수 있지만, 전공·기존 경험·채용 상황 등 여러 요인이 영향을 줍니다. 특정 프로그램 하나의 효과로 단정하기보다 장기적으로 참고할 결과로 구분하는 것이 적절합니다.
커리어스코프로 학생의 AI 활용 과정을 살펴보세요
커리어스코프 AI 활용 능력 검사는 AI와의 대화 및 과제 수행 과정을 바탕으로 활용 역량을 살펴보고, 개인별 결과 리포트를 제공하는 서비스입니다.
대학 취업지원센터와 대학일자리플러스센터에서는 검사 결과를 학생의 현재 강점과 보완점을 이해하고, 후속 실습과 상담의 방향을 정하는 자료로 활용할 수 있습니다.
예를 들어 AI 교육 전에 진단을 진행해 학생들의 어려움을 파악하고, 교육 후에는 관련 과제와 수행 기록을 통해 보완 행동이 나타나는지 살펴보는 방식으로 연계할 수 있습니다. 사전·사후 점수를 직접 비교하려는 경우에는 과제와 평가 조건의 비교 가능성을 별도로 확인해야 합니다.
취업 비교과 프로그램의 성과를 더 구체적으로 보고 싶다면 다음 질문에서 시작해 보세요.
“학생이 이번 프로그램에서 완성한 것은 무엇이며, 이후 스스로 적용할 수 있게 된 것은 무엇인가?”
학생의 결과물과 변화의 기록은 다음 교육을 더 잘 설계하는 근거가 됩니다.
#취업비교과 #비교과프로그램 #교육성과 #대학취업지원센터 #대학일자리플러스센터 #AI활용능력검사 #역량진단 #커리어스코프