رعويات الشباب (6): متابعة وتقييم البرامج الرعوية

الخطوة الأخيرة في المشروع الرعوي هي تقييم البرنامج أو متابعته للتأكد من حسن سيره. وهي خطوة تتخذ في نهاية التدريب في معظم الأحيان، وفي أثناء سيره في بعض الأحيان. ومن المهم أن تكون متابعة البرنامج متابعة مستمرة لأنها تُتتيح الفرصة لتصحيح الأخطاء حالّ وقوعها، وتسمح بتقييم نقاط القوة ونقاط الضعف تقييمًا دقيقًا. هدف هذه الخطوة التعرف على ما يصدر عن الشباب من ردود فعل تجاه المشروع الرعوي، وما يكتسبونه منه من معارف ومهارات واتجاهات حياتية، وما يطرأ عليهم من تغيرات سلوكية. ويمر المسار المنطقي بأربعة مستويات من التحليل: من الرضا إلى التعلم، ومنه إلى التطبيق العملي، ثم تأثر الرعية بالبرنامج المُنقذ مع الشباب.

نموذج المستويات الأربعة (كيركباتريك) لتقييم البرامج
يعتمد طرحنا هنا على النموذج الذي قدمه دونالد كيركباتريك (Kirkpatrick ١٩٩٨). وهو نموذج يسعى إلى تحليل أربعة أنواع من نتائج الخطط التربوية؛ هي: ردود الفعل (المستوى الأول)، والتعلم المكتسب (المستوى الثاني)، والتغير في سلوك الأفراد (المستوى الثالث)، والتغير في أداء المؤسسات (المستوى الرابع).

المستوى الأول: قياس رضاء الشباب
يروى لنا الإنجيل كثيرًا من المواقف التي عمد فيها يسوع لقياس رأى تلاميذه عن رسالته: ففي لوقا ٩: ١٨- ٢٠: “وكانَ يَسوعُ مَرَّةً يُصلـي في عُزلَةٍ والتلاميذُ معَهُ، فسألَهُم. «مَنْ أنا في رأيِ النـاسِ؟« فأجابوا: «يوحنَّا المَعمَدانُ». وبَعضُهُم يقولُ: «إيليَّا». وآخَرونَ: «نَبـيُّ مِنَ القُدَماءِ قامَ».فقالَ لهُم يَسوعُ: «ومَنْ أنا، في رأيِكُم أنتُم؟» فأجابَهُ بُطرُسُ: «أنتَ مَسيحُ الله!». كذلك عن عودة الإثنين والسبعين، قاس ردود أفعالهم عن البرنامج الذي وضعه لهم (لوقا ١٠: ١٧- ٢٠).

من وسائل ضمان نجاح البرامج الرعوية أن نقيس ردود الفعل التي تصدر عن الشباب تأثرًا بالبرنامج أو الملاحظات والانطباعات التي تتكون لديهم إزاءها. ويسعى المستوى الأول في نموذج كيركباتريك إلى الإجابة عن أسئلة من بينها:

• هل حاز البرنامج رضا الشباب؟
• هل لمسوا صلة بين محتوى البرنامج وحياتهم الشخصية؟
• ما مواطن الضعف التي لمسوها في البرنامج؟

هذا التحليل هو أول مرحلة في تقييم كيركباتريك لنتائج التدريب، ويستمد أهميته من أنه مصدر لبيانات كمية وكيفية تمكننا من البدء في تقييم نجاح البرنامج نفسه، لأن ردود فعل الشباب مؤثرة على التعلم (المستوى الثاني)؛ فربما كان رضاء الشباب نتيجة لاعتقادهم أنهم قد أكتسبوا الجديد من المعارف والمهارات والاتجاهات، وربما كان عدم رضائهم دليلاً على أنهم لم يكتسبوا جديدًا. ويمكن بطبيعة الحال، إخضاع افتراضين كهذين لمزيد من الفحص والتحرى (في تقييم المستوى الثاني).

١. أدوات جمع البيانات للمستوى الأول
ويعد الاستبيان أكثر أدوات جمع البيانات استخدامًا في تقييم المستوى الأول، الذي قد يكون من النوع البسيط، الذي لا يقيس إلا مدى إعجاب الشباب بالبرنامج، وقد يكون من النوع المفصل فيتضمن أسئلة عن مدى اعتقاد الشباب بأن أهداف البرنامج ترتبط بحياتهم المُعاشة، وتهدف إلى تكامل الإيمان والحياة.

قبل الإعداد لتقييم المستوى الأول: أمور يجب التفكير فيها

٢. تحديد المعلومات التي تحتاج إلى جمعها
على القائم بالبرنامج جمع معلومات عن ردود الفعل التي يصدرها الشباب إزاء محتوى البرنامج وتجاه أسلوب المحاضرين في عرض هذا المحتوى، بالإضافة إلى معلومات عن ملائمة المقر والتجهيزات والجدول الزمني والوسائط التعليمية (media) التي استخدمت لعرض المحتوى.

على القائم بالبرنامج أن يضع في حسبانه عددًا من العوامل أثناء جمع المعلومات: أولها ألا تتطلب الأداة من الشباب إلا القدر اليسير من الوقت وذلك لأن معظم الشباب لا يحبون قضاء طويل في ملء استمارت وأدوات التقييم. لهذا يجب أن يكون الاستبيان قصيرًا. ثانيا: لسهولة جمع البيانات يُفضل إعداد استبيان مقياس للشباب تكميم إجاباتهم، أي تحويلها إلى قيم عددية، وذلك باستخدام مقياس بسيط من مقاييس التقدير (rating scales). وقد يلجأ إلى الحصول على تعليقات واقتراحات مكتوبة من الشباب وهي معلومات كيفية قد تعينه على تفسير التقييم الكمي. ثالثًا: يجب أن تعمل الأداة على تشجيع الشباب على إعطاء إجابات صريحة وصادقة ودقيقة، ويمكنه أن يضمن ذلك بتصميم الاستبيان على النحو الذي لا يكشف عن هوية الشباب الذين يجيبون على أسئلته.

٣. وضع المعايير
من الضروري أن يضع القائم بالعمل الرعوي معايير لتفسير نتائج التقييم الذي يجريه. المعيار هو مقياس متفق عليه ويتخذ أساسًا لإصدار الأحكام. وإن لم تكن لديه معايير يستند إليها في تقييمه، فلن يتمكن من فهم معنى البيانات. ويُنصح باستخدام المقياس الخماسي (ممتاز/ جيد جدًا/ جيد/ مقبول/ ضعيف) نظرًا لاحتوائه على مزيد من التفاصيل التي تمكن الراعي من الحصول على معلومات أدق .

وتفيد هذه المعلومات في اتخاذ إجراءات: كاستبدال بعض المحاضرين، أو مجموعات الخُدام، أو المواد التدريبية أو أي شيء آخر يرى الراعي أنه سوف يؤدي إلى تحسين البرنامج. كما تفيد في تقبل البرنامج بما فيه من نقائص أو تغير المعيار إذا تغيرت الظروف، فمعيار المؤتمرات يختلف عن معيار اللقاء الأسبوعية، أو الفاعليات الترفيهية.

المستوى الثاني: قياس التعلم المكتسب
يهدف التحليل في مستواه الثاني – طبقا لنموذج كيركباتريك- إلى قياس مدي الزيادة التي حدثت في معارف الشباب ومهاراتهم أو مدى التغير الذي حدث في اتجاهاتهم بتأثير من التحاقهم بالبرنامج الرعوي. والسؤال المحوري هنا هو: هل تعلم الشباب أي شيء من البرنامج؟ وبعبارة أدق نقول: “هل اكتسب الشباب آيه معارف جديدة؟ وهل اكتسبوا أية مهارات جديدة أو عززوا من مهارات سابقة؟ وهل غيروا من اتجاهاتهم؟

وتُعزى أهمية التحليل المستوى الثاني إلى عدة عوامل؛ أولها أن قياس التعليم الفعلي يثبت مدى صحة الأهداف التي قام البرنامج عليها. والعامل الثاني هو أن تحليلات المستوى الأول لا تلائم تقييم نتائج البرنامج؛ فعلى الرغم من تهيئة البيئة الملائمة للتعلم (كما يتضح من قياس المستوى الأول) التي قد تعزز من نقل المعارف والمهارات والاتجاهات الجديدة من المحاضرين والمدربين إلى الشباب. فإن حدث رد فعل إيجابي إزار البرنامج (على المستوى الأول) قد يكون غير كاف لضمان حدوث التعلم (المستوى الثاني). ولذا فمن الضروري إجراء المزيد من البحث والتحري, ومن العوامل الأخرى التي تكسب تحليل المستوى الثاني أهميته أن تقييم التعلم ليس وسيلة للتنبؤ بأن الشباب سوف يضعون ما تعلموه من معارف ومهارات واتجاهات موضع التطبيق العملي في حياتهم المُعاشة (المستوى الثالث)؛ ولذلك فمن المنطقي أن نفترض أن تطبيق عناصر التعلم ميدانيا لن يحدث إلا بعد أن يكون الشاب قد اكتسبها فعلا، وهو افتراض قد يكون صحيحًا ولكن صحته لا تثبت إلا بعد إجراء تحليل المستوى الثالث.

وقياس المستوى الثاني يفوق قياس المستوى الأول تفصيلاً وتعقيدًا؛ وذلك بسبب الحاجة إلى استخدام طرق على درجة من الدقة لتثبت قدر التعلم الذي اكتسبه الشباب. والغاية المُثلى في هذا الصدد هي أن يتضمن التقييم إجراء اختبارات قبلية (للوقوف على ما يعرفه الشباب قبل تطبيق البرنامج)، ثم اختبارات بعدية (للتيقن مما تعلموه فعلا أثناء البرنامج). ويمكن كذلك قياس التعلم أثناء سير البرنامج، عن طريق تصميم أدوات تصلح لتقييم ما تعلمه المشاركون في البرنامج، وتصلح كذلك لتقدير مدى تمكنهم من إنجاز الأهداف وتحقيق النتائج المنشودة من البرنامج.

هناك عدد من الأمور المهمة التي ينبغي الالتفاف إليها قبل تصميم أدوات لجمع معلومات المستوى الثاني؛ وهي:

١. ما الأهداف التي تعتزم تقييمها من بين أهداف التعلم؟
يجب أن تكون الأهداف التي يقرر القائم بالعمل الرعوي تقييمها متناسبة مع المدة الزمنية المخصصة لها في البرنامج، وأن تكون متناسبة كذلك مع قدر الاهتمام الذي تحظى به في البرنامج. ويجب أن يضع في الحسبان أهمية صياغة الأهداف في عبارة مكتوبة تجعل إنجاز تلك الأهداف قابلا للقياس. معنى هذا أن الأهداف يجب أن تكون قابلة للملاحظة ومرتكزة على الأداء، أي يجب أن تقتضى من الشباب أن يفعلوا شيئًا ما أو أن يستجيبوا لشيء ما على نحو ما.

• يجب أن توصف الأهداف سلوكًا دقيقًا أو نتيجة دقيقة، وأن تحدد مقدار هذا السلوك بتحويله إلى قيمة كمية؛ وذلك بذكر عدده أو نسبته المئوية أو معدل تكراره عند التعبير عنه.
• يجب أن تتضمن صياغة الأهداف محددات واضحة تحدد كيفية قياس مدى النجاح في تحقيق هذه الأهداف.
• يجب أن تكتب الأهداف على النحو الذي يجعل إنجازها ممكنا في خلال مدة زمنية مناسبة أو بقدر مناسب من الجهد.
• يجب أن يكون الأهداف محددة الأجل، أي أن تنص صياغته على إطار زمنى وتاريخ للبدء في النشاط الذي ينشد هذا الهدف.

أمثلة:
• من المتوقع أن يكتسب الشباب القدرة على أن يدونوا في الاختبار البعدي للمستوى الثاني في نهاية المؤتمر (عن الآخرويات) تعليم الكنيسة الكاثوليكية عن: ملكوت السموات، المطهر، جهنم.
• من المتوقع أن يكتسب الشباب القدرة على أن يصفوا، في الاختبار البعدي للمستوى الثاني، الذي يُعقد في آخر أيام المؤتمر الذي يستمر أسبوعًا، كيف يمكن اختبار الملكوت على الأرض.
• من المتوقع أن يستخدم الشباب أنشطة وفاعليات، بعد انتهاء المؤتمر، تهدف لتدشين ملكوت الله في حياتهم العملية المُعاشة.

٢. أهم عناصر الأهداف الجيدة الصياغة
يجب أن يتضمن الهدف القابل للقياس سلوكًا أو أداءً قابلاً للملاحظة تود أن يؤديه الشاب. على القائم بالعمل الرعوي، إذن، أن يستخدم فعلا من الأفعال السلوكية أو الأدائية القابلة للقياس وأن يتجنب بعض الأفعال التي يصعُب قياسها ؛ مثل: (يستوعب/ يَعلَم/ يرى/ يفهم/ يَعرف/ يؤمن بـ / يشعر بـ / يهتم بـ / يعتقد ..الخ) ويستبدلها بهذه الأفعال: (يحدد موضع / يتنبأ بـ / يحاكي / يرتب / يُسمَّى (يذكر اسمًا)/ يصف / يُظهر / يُقدِّر / يُفسر..الخ).

٣. ما أكثر أدوات التقييم ملاءمة لقياس أهداف البرنامج؟
لدينا نوعان رئيسيان من أدوات تقييم التعلم: اختبارت الورقة والقلم (أي الاختبارات التحريرية) واختبارات تقيم الأداء. الأولى تستخدم لقياس المعارف، أما الثانية فتستخدم لقياس المهارات. وفي الأخيرة يُطلب من الشباب إظهار أو عرض فهمهم على نحو مباشر، ووضع المعارف والمهارات التي اكتسبوها أثناء البرنامج موضع التطبيق العملي. ومن بين هذه الأدوات: العروض/ البيانات العملية، والمحاكاه/ تمثيل الأدوار، السيناريو أو دراسة الحالة المصغرة، نواتج التدريب: مثل خطط الدروس (بالنسبة لخدام مدارس الأحد). ويمكن للقائم بالعمل الرعوي تسجيل هذه العروض والبيانات العملية بالفيديو.

المستوى الثالث: قياس التغيير في سلوك الأفراد
الخطوة الثالثة في نموذج كيركباتريك لتقييم النتائج هي تقييم التغيرات السلوكية الفردية بقياس مدى تطبيق الشباب في حياتهم المُعاشة ما اكتسبوه من معارف ومهارات واتجاهات أثناء البرنامج الرعوي؛ فالسؤال المحوري هنا هو: هل صار الشباب يستخدمون ما اكتسبوه مؤخرا من معارف ومهارات واتجاهات في حياتهم. هذا المستوى في غاية الأهمية لسببين: أولهما أن الغاية الكبرى التي ينشدها البرنامج هو تحسين الحياة المُعاشة للشباب بتكامل الإيمان والحياة، وهذا لن يتم إلا من خلال السلوك، لذلك فإن الحكم على نجاح البرنامج الرعوي ينبغى أن يقوم على مدي التغير الذي طرأ على سلوكيات الأفراد بعد تطبيق البرنامج؛ أي أن أصدق وأدق مؤشر على نجاح البرنامج ليس مدي ما تعلمه الشباب، أو مدي رضاهم عما تعلموه، بل مدى تأثر سلوكهم ميدانيا بما تلقوه من تعليم وتدريب.

أما السبب الآخر لأهمية المستوى الثالث فهو عدم جواز التسليم بأن ارتفاع مستوى الرضا ومستوى التعلم سوف يؤدى حتما إلى تغير الاتجاهات والسلوكيات. فقياس الرضا (المستوى الأول) أو التعلم (المستوى الثاني) دون غيرهما من النتائج قد لا يفى بمتطلبات التقييم، بل قد يكون قياسا مضللا. ولا فإن مدى تطبيق المعارف والمهارات والاتجاهات الجديدة يعد وسيلة أفضل أو أكمل لقياس مدى النجاح الذي أحرزه البرنامج الرعوي، وهو ما يسعى تقييم المستوى الثالث للتثبت منه.

وعلى الرغم من أن تقييم المستوى الثالث أمر مستحب، فإنه ليس بسهولة تقييم المستويين الأول والثاني؛ وذلك لعدة أسباب: أولها أن الشباب غالبا ما يعجزون عن تغيير سلوكهم بدون عون من الآخرين؛ ولذا فإن الفرصة لتغيير سلوكهم لابد من أن تهيأ لهم من قِبل الراعي. ثانيًا، من الصعب التنبؤ بالوقت الذي يمكن أن يحدث فيه تغير في السلوك (توقيت التغير)؛ فقد يطبق الشباب المعارف والمهارات والاتجاهات الجديدة بعد البرنامج مباشرة، وقد يطبقونها بعد انقضاء بعض الوقت، وقد لا يطبقونها على الإطلاق. ثالثًا، من الصعب في معظم الأحيان أن تعزو ما يحدث من تغير في سلوك الشباب إلى تدخل تدريبي معين؛ فقد تؤثر عوامل أخرى في أدائهم في الحياة. رابعًا وأخيرًا، من طبيعة تقييم المستوى الثالث أنه لا يجرى في قاعة اللقاءات بل يجرى في الحياة؛ ولذلك فإن تقييم هذا المستوى يفوق في صعوبته تقييم المستويين الأول والثاني ويستغرق من الوقت أكثر ما يستغرقه أي منهما. ففي إمكاننا التغلب على تأثيرها السلبي بتحديد الوقت الذي ينبغى أن نجرى التقييم فيه، وعدد المرات التي ينبغي أن نُجرى التقييم فيها (تكرار التقييم)، والكيفية التي ينبغى أن نجرى التقييم عليها (طرق التقييم).

١. توقيت التقييم
يجب ألا تحاول قياس المستوى الثالث إلا بعد أن يكون الشباب قد أتيحت لهم الفرصة لممارسة السلوكيات الجديدة وإبدائها للعيان. والاعتقاد الشائع في هذا الشأن هو يجب إرجاء تقييم المستوى الثالث لمدة تتراوح بين شهرين وستة أشهر، حتى يتاح للشباب الوقت الكافي للعودة وتأمل المعارف والمهارات والاتجاهات الجديدة التي اكتسبوها من التدريب، ثم وضعها موضع التطبيق أثناء العمل.

٢. عدد المرات التقييم اللازمة
الغاية المُثلى في هذا الصدد هي أن تُجرى تقييم المستوى الثالث مرتين: قبل البرنامج وبعده. ويجب في البداية تحديد السلوكيات والاتجاهات التي تهدف إلى إكسابها للشباب حتى يؤتى البرنامج ثماره. ويقاس سلوك الشباب قبل البرنامج من أجل تحديد معلومات خط الأساس (المعلومات المتاحة لدي الشباب قبل البرنامج، التي تتخذ معيارًا أو محكًا لقياس التغير في الأداء، ويمكن قياس سلوك الشباب مرة أخرى، بعد انقضاء بعض الوقت على انتهاء البرنامج، للتثبت من التغيرات التي طرأت على سلوكهم فيما يتعلق بالمعارف والمهارات والاتجاهات المحددة التي كان البرنامج يهدف إلى إكسابهم إياها. وبمقارنة السلوك الذي لاحظته قبل البرنامج وبعده، يمكن للقائم بالعمل الرعوي، تحديد التغير الذي حدث. مع ملاحظة إن هذا النوع من التقييم يمكن تطبيقه على البرامج القصيرة، لأن عامل الزمن قد يحول دون إجرائه متى كان البرنامج طويلا.

٣. طرق تقييم المستوى الثالث
عند بحث كيفية التقييم، على القائم بالعمل الرعوي وضع في حسبانه أن طرق وأدوات المستوى الثالث ينبغى أن تتشكل وفقًا لضرورة إجراء التقييم في البيئة المحيطة بالشباب في عالمهم المُعاش. ولدينا عدة طرق يمكننا اتباعها للقيام بهذا العمل، وهي: إخضاع الشباب للملاحظة، وعقد المقابلات الجماعية المركزة، والمقابلات الفردية، والسرديات الشخصية. ولعل أهم تلك الوسائل قائمة المراجعة (أو الملاحظة) وهي مجموعة متكاملة من البنود (أي مجموعة من السلوكيات والاتجاهات) التي يسعى الراعي إلى التثبت من وجودها أثناء قيامه بملاحظة الشباب في حياتهم العملية. وهذه الأداة مفيدة جدًا في تقييم أداء خدام مدارس الأحد مثلا بعد تنفيذ برنامجًا رعويًا لتكوينهم للقيام بهذه الخدمة. يصمم الراعي استمارة الملاحظة أداء الخادم، مثل: يدعم الأطفال ويشجعهم؛ يعتمد اسلوب قصصي مناسب لسن الأطفال؛ يهتم بجميع الأطفال ويشجع التفاعل فيما بينهم؛ يستخدم اسلوب جيد لتصويب الأخطاء (التصويب الذاتي، وتصويب الأقران، مع عدم اللجوء لتصويبه الشخصي إلا إذا كان الملاذ الأخير)، يستخدم أدوات مختلفة لتوصيل الفكرة..الخ

هناك أيضًا المقابلة الشخصية التي يقيس فيها القائم بالعمل الرعوي التغيرات السلوكية التي طرأت على الشباب بعد تنفيذ البرنامج. عليه الإعداد الجيد للمقابلة، وطرق طرح الأسئلة التي يجب أن تكون موحدة لجميع الشباب الذين شاركوا في البرنامج، متى كان عددهم قليل. وهناك المقابلة الجماعية المركزة لمجموعة من الشباب (تتراوح في المعتاد بين ستة أفراد وعشرة أفراد) وفيها يتاح للمشاركين الفرصة لسماع آراء بعضهم لبعض والفرصة للتعبير عن آراء أخرى، في مناخ أخوى صحي حتى يتمكن الشباب من النظر إلى آرائهم في ضوء آراء الآخرين.

(نموذج) أسئلة المقابلة الجماعية المركزة

تعليمات:
المطلوب منك قراءة كل سؤال من الأسئلة الآتية بتأن ثم كتابة الإجابة بصدق وبدون التشاور مع أحد. وسوف يفتح الباب لمناقشة تلك الإجابات بعد أن تنتهى أنت والآخرون من تدوينها. هذا ولن نجمع منكم ما كتبتموه من إجابات.

الأسئلة:
١. هل تطبيق المعارف والمهارات والاتجاهات الت اكتسبتها من المؤتمر الأخير عن الأخرويات، خاصة دورك في تأسيس ملكوت السموات على الأرض؛ لماذا تطبقها؟ لماذا لا تطبقها؟ وإلى أى مدى؟
٢. ما المعارف والمهارات والاتجاهات القابلة للتطبيق في حياتك؟ ولماذا؟
٣. ما المعارف والمهارات والاتجاهات الغير القابلة للتطبيق في حياتك؟ ولماذا؟
٤. ما المعوقات التي ربما تحول دون تطبيق تلك المعارف والمهارات والاتجاهات؟
٥. هل يمكن التغلب على المعوقات إن وجدت؟ وكيف؟
٦. ماذا لديك من تعليقات ومقترحات أخرى؟

هناك السرد الشخصي، سواء كانت قصصًا عن الخبرات المُعاشة، أو قصص عامة تفيد في المجال المطلوب تقييمه. ويمكن للقصص على هذا النحو أن تكون وسيلة فعالة من وسائل جمع معلومات كيفية وفيرة.

المستوى الرابع: قياس النتائج التي عادت على الرعية
قياس أثر البرنامج على الرعية، أو التغير الذي يحدث داخلها بتأثير من البرنامج، هو الخطوة الرابعة والأخيرة في نموذج التقييم الذي وضعه كيركباتريك. والسؤال المحوري هنا هو: ماذا كان أثر البرنامج على الرعية التي ينتمى إليها الشباب؟ والافتراض الذي يقوم عليه هذا السؤال هو: إذا وضع الشباب المعارف والمهارات والاتجاهات الجديدة موضع التطبيق العملي (المستوى الثالث)، فمن المتوقع حدوث تغير قابل للقياس في أداء الرعية ككل (المستوى الرابع). فالغاية الكبرى التي ينشدها البرنامج، كما بيَّنا عند الحديث عن الرؤية، هي سد الفجوة بين ما هو مستهدف والأداء الفعلي.

لعل المستوى الرابع إذن، أهم مستويات تقييم البرنامج (فهو يبحث فعالية البرنامج ويعود علينا بمعلومات لا تدانيها معلومات أخرى في قيمتها)، ولكنه يعد أصعب المراحل تقييمًا. وذلك ثلاثة أسباب: أولها صعوبة عزل نتائج البرنامج الرعوي على الرغم من إمكان ربط التحسن الذي يستجد على الرعية بالبرامج التي أعدها الراعي. والسبب الثاني هو تعقد أساليب المستوى الرابع وأدواته وتحليلها. وثالث هذه الأسباب أن عمليات جمع البيانات وتنظيمها وتحليلها في هذا المستوى قد تكون متداخلة ومتشعبة، وقد تستغرق الكثير من الوقت.

المستوى الرابع، إذن، هو أهم مستويات التقييم، وهو في حقيقته تلخيص للمستويات السابقة عليه، وإذا كان الأمر كذلك، فلماذا لا تكتفى بقياس نتائج البرنامج في هذا المستوى؟ إلا اتباع التسلسل السابق في التقييم يتيح رصد المشكلات حال نشؤئها في مرحلة مبكرة، يتمكن القائم بالعمل الرعوي من معالجتها في حينها. فعلى سبيل المثال، إذا اكتشف انخفاض مستوى الرضا لدي الشباب، يمكنه تغير البرامج وتطويرها أو استبدالها قبل تفاقم المشكلة وإفضائها إلى عواقب وخيمة.

تصميم أدوات المستوى الرابع
لا تختلف الوسائل التي يمكن استخدامها في جمع بيانات المستوى الرابع عن الوسائل المستخدمة في جمع بيانات المستويات: الأول والثاني والثالث، بل إن عددًا من أدوات المستوى الرابع قد نوقش عند الحديث عند هذه المستويات؛ وهي: المقابلات الجماعية المركزة، والملاحظة، والمقابلات الشخصية، والاستبيانات. ومن الأدوات الأخرى التي يمكن استخدامها في جمع البيانات المطلوبة لقياس ما يطرأ من تغيرات على الرعية: معاينة مستندات الرعية، وأنشطة المقابلات الجماعية المركزة. إذا توافرت لدي الرعية ارشيفًا للمستندات فإنه من الأفضل الاطلاع على تلك المستندات فهي مصدر وفير للمعلومات.

الخلاصة:
يُعد المستوى الرابع أهم خطوات عملية التقييم التي تطبق نموذج المستويات الأربعة. السبب في ذلك أن المعلومات التي نجمعها في هذا المستوى هي أهم ما يتعلق بالبرامج من معلومات، وأن أي تغير نلحظه في سلوك الرعية ويمكن أن نعزوه إلى برنامج رعوي معين هو تغير يفضى في نهاية المطاف إلى إثبات جدوى أو قيمة البرنامج الرعوي. وعلى الرغم من أن المستوى الرابع يهدف إلى تقييم النتائج النهائية، فإننا لا نوصى بأن تقفز مباشرة إلى هذا المستوى متخطيًا المستويات الثلاثة التي تسبقه. فإن فعلت ذلك فقد يفوتك أن تلحظ الآثار الدقيقة الكثيرة التي كانت للبرنامج في مراحل التحليل السابقة (أي المستويين الأول والثالث). وبعبارة أخرى، إذا لم تكتشف أي دليل على أن البرنامج لم يُحدث تغيرات في أداء الرعية، فإن ذلك لا يعنى حتمًا أنه لم يُسفر عن أنواع أخرى من التغيرات (فيما يتعلق بالتعلم والسلوك الفردي). فضلاً عن ذلك فقد يساعد تقييم المستويات الثلاثة الأخرى على تشكيل تقييمك للمستوى الرابع؛ فإذا لاحظت تعديلاً في اتجاهات الشباب في حياتهم المُعاشة بتأثير من البرنامج الرعوي (المستوى الثالث). فقد تُقرر حينئذ أن تتحرى ما إذا كانت تلك التغيرات في اتجاهاتهم قد أثرت في الرعية بالكامل، وإلى أي مدى أثرت فيها تلك التغيرات (المستوى الرابع). وبطبيعة الحال، تتوقف بعض المؤسسات في تقييمها عند المستوى الثالث وتتخذه بديلاً عن المستوى الرابع. كما أن معظم أدوات جمع البيانات التي تُستخدم في تقييم المستوى الرابع يُستخدم أيضًا في جمع البيانات اللازمة لتقييم المستوى الثالث، ولكنها في المستوى الرابع تتصف بقدر أكبر من التفصيل.