ליקוט , איסוף וכתיבה , עמי סלנט , מאי 2018
תקציר
הסקירה הנוכחית מבוססת על חיפוש שיטתי במאגרי מידע בינלאומיים ובספרות המחקרית (בעיקר כנסים בינלאומיים) בתחומי הLearning Aanalytics לצד בדיקת כיווני הפיתוח המעשיים בישראל ובעולם .
בסקירה נבחנים הסוגיות הבאות: התהליכים הבסיסיים של חקר נתוני למידה , חקר נתוני למידה וקורסים מקוונים , פיתוחים בישראל , כיווני פיתוח ומחקר בעולם , מחקרים שנערכו בשנים האחרונות על חקר נתוני למידה.
מרבית המחקרים מעידים על קשיים מתדולוגיים של הLA לזיהוי נקודות המיפגש והמעורבות בין הלומדים ,התכנים והמרצים . יש פער גדול בין ההתקדמות הטכנולוגית של Learning Aanalytics והמציאות הפדגוגית באוניברסיטאות ובמכללות. במחקרים נמצא כי העובדה שיש למרצים ולראשי החוגים נתונים משופרים אודות מצב הלומדים אינו גורם להם בהכרח לשנות את דרכי ההוראה ולשפר את מבנה הקורסים המקוונים.
סוגיה חשובה בסקירה הנוכחית היא הצגת גישות חלופיות ל- Learning Analytics בעולם, בעיקר ניתוח למידה מונחה –לומד .
הסוגיות העיקריות שנבחנו בסקירה
מאז שנת 2012 הנושא של Learning Aanalytics הפך להיות אחד המגמות המדוברות ביותר בתחומי הלמידה המקוונת בעולם .
60% מהאוניברסיטאות והמכללות בעולם משקיעות בשילוב מערכות learning analytics ועשרות חברות סטראט-אפ מפתחות פלטפורמות ויישומים בתחום (מקור) .
חקר נתוני למידה learning analytics תחום העוסק במדידה, איסוף, ניתוח,פירוש והצגה של נתונים על לומדים, פעילותם וההקשר בו הם פועלים, וזאת לצורך הבנה ושיפור של תהליכי למידה והסביבות והכלים התומכים בהם .
ניתוח למידה הוא תחום מחקר חדש המשלב תאוריה ופרקטיקה מדיסציפלינות רבות במטרה לחקור את אינטראקציות הלומד בסביבות למידה ולספק נתונים רלוונטיים לגבי תהליך ההתמודדות של הלומד במערכת המקוונת או הסביבה המקוונת.
חקר נתוני למידה LA מערב ארבעה שלבים בסיסיים:
איסוף כמות גדולה של נתונים ממספר ערוצים – כולל סביבות למידה מקוונות, סביבה חברתית, טלפון נייד – וייתכן שבעתיד, משחקים. המערכת מצוותת את הנתונים הללו עם תיאוריות למידה שונות ואפשר להתחיל ליצור תמונה כוללת יותר של התקדמות הלמידה של התלמיד, מאשר תיאוריות בלבד.
תרגום הנתונים הללו לתובנות מעשיות. ייתכן שזה בלתי אפשרי לעקוב אחר כמות החומר שספג הלומד בשיעור אחד, אבל המערכת יכולה לעקוב אחר ההתנהגות של התלמיד ולהשתמש בה כסימן. להלן מספר דוגמאות לסימנים התנהגותיים:
-שפה של תסכול בכל מדיה.
-שהייה של זמן מועט באתר יחסית ליתר הכיתה/הקורס.
– השתהות ארוכה בהתחברות לאתר.
– מעקב אחר תחומי הלימוד, שהלומד חלש בהם במהלך השנים או במהלך הקורס
-מעקב אחר סוגי הטעויות שנעשו-חוסר תשומת לב או העדר הבנה?
-באופן תיאורטי, LA יוכל אפילו לעקוב האם הלומד מנחש או לא את התשובה במבחן רב-ברירה.
התאמה והתאמה אישית. ברגע שהמערכת מקבלת את הסימן, היא יכולה להתאים אישית את סביבת הלמידה לכל לומד. לדוגמא, אם הלומד/ לומדת מקדיש/ה זמן מועט מאוד לעומת שאר הלומדים בניסיון לפתור את הבעיה, המערכת יכולה להציג בזמן אמת רמזים כדי שהלומד./ה ימשיכו בפתרון הבעיה.
זה חיוני משום שקבלת משוב חיונית ללמידה. זה לא היה אפשרי בעבר, כאשר הלומדים אלצו לחכות לפחות מספר ימים כדי לקבל ציון על עבודותיהם.
לחזות מה יהיה הקורס הטוב ביותר בעתיד. כאשר הלומדים משתמשים במערכת למשך זמן ממושך, המחנכים יהיו מסוגלים לעקוב מה עובד ומה לא עובד ולהתאים את החומר בהתאם לכך. למעשה, בקרוב כל תלמיד יוכל לעבוד עם תכנית לימודים מותאמת אישית עבורו.
חקר נתוני למידה LA הוא כלי שידרוש מהאדם להפעיל אותו. אנשים יהיו אלה שיפרשו את הנתונים וזה אומר שתהיה סובייקטיביות רבה.
Learning Analytics וקורסים מקוונים
Learning Analytics מאפשר להבין דפוסי למידה והעדפות של הלומדים באמצעות ניתוח הפעילות באתרי הקורסים. כך, למשל, מהתבוננות במדדים נצברים כמו מספר הכניסות לאתרים, שכיחותן וזמן השהייה באתרים, ניתן להבין כיצד כל אחד מפריטי המידע בהם תורם לסטודנטים. היכרות עם הנתונים מסייעת לנו לתכנן טוב יותר את משאבי הלמידה ולהתאימם ללומדים.
מערכת Learning Analytics יעילה צריכה לאפשר:
הדמיית מידע: הצגת ויזואלית מקיפה של נתוני הלמידה באמצעים ויזואלים כגון גרפים .
התערבות : לקבל נתונים על מנת לייצור התערבות: הצגת המידע בפני מורה אשר יכול להתערב ולתמוך בתלמיד/לומד,
ניבוי: כמו זיהוי תלמידים בעלי פוטנציאל גבוה לנשירה מהלימודים, או איתור תלמידים מתקשים.
התאמה אישית: תוצאות הניתוח מאפשרות לעצב לכל תלמיד תוכנית למידה המתאימה בדיוק לידע, למיומנויות וליכולות שלו, כפי שבאו לידי ביטוי בהתנהלותו הדיגיטלית עד כה בקורס או במסלול הלמידה המקוון .
הגישה הראשונה בתחום learning analytics מתמקדת ביצירת חוויות לימודיות חדשות, השניה במדידה והערכה של חוויות אלו.
כדי לקדם הוראה מיטבית, עלינו לשלב את שתי הגישות.
הבעיה כרגע במרבית האוניברסיטאות והמכללות היא העדיפות שניתנת למדידה והערכה והזנחת התחום של יצירת חוויות למידה חדשות בסביבות מקוונות.
פיתוחים בישראל
מערכות למידה מקוונות מסוג LMS היו הראשונות ליישם כלים של Learning analytic למדידה ושיפור הלמידה מקוונת . כך לדוגמא , מדווחת רותי סלומון ממכון מופ"ת על Moodle Learning Analytics Dashboard. מדובר על שילוב של 2 Dashboard . האחד ברמת הסטודנט והשני ברמת המרצה .
אחד האינדקטורים החשובים שהמערכת של מכון מופ"ת מספקת היא אינדיקציה אודות האינטראקציה בין המרצה לסטודנט, כמה הודעות אישיות הסטודנט כתב למרצה בהשוואה להודעות שהמרצה כתב לסטודנט, מספר המטלות שהוגשו לעומת מספר המטלות שהמרצה בדק, כנ"ל בפורומים וכנ"ל בבחנים.
אינדקטור חשוב נוסף במערכת שפותחה במכון מופ"ת : פעילות גלויה לעומת פעילות נסתרת בכל פורום מקוון של מוודל . הצלחת פורום היא לאו דווקא בפעילות הגלויה שמתרחשבת בו. פורום שמושך הרבה קוראים שאינם משאירים סימן בהחלט יכול להיחשב כפורום שממלא צורך. הגרף הזה מציג את הפעילות הגלויה (כתיבה) בהשוואה לפעילות הנסתרת (קריאה) כדי לתת אינדיקציה למרצה על מה שמתרחש בו.
למאמר המלא של רותי סלומון : חדש במופת! Moodle Learning Analytics Dashboard –
כיווני פיתוח ומחקר בעולם
גישת שכבות הנתונים
מרבית מערכות learning analytics בעולם האקדמי מבוססות על מסדי נתונים בעלי שכבת ניהול חכמה המאפשרת שליפה מהירה ויעילה של נתונים על כל שלבי הלמידה . חלק משכבות הנתונים על הלמידה והלומד הם במבנה טבלאי, וחלק אחר במבנה מבוזר וייחודי של נתונים.
ממשק עבודה – תוך ניצול שכבות הנתונים בקורס המקוון המוסד החינוכי/אקדמי מפתח לעצמו מערכות בקרה, דשבורדים וכלי ניתוח. לעיתים נעשה שימוש במוצרי מדף המתחברים למסדי הנתונים ולעיתים הארגון פשוט מעדיף לבנות אחד כזה לבד.
המערכות המתקדמות של learning analytics ישתמשו בשכבת הניהול של הנתונים להרצת שאילתות מורכבות.
בדרך כלל , מקובל לבנות את מערכות learning analytics האלו בצמידות לסטנדרט הנקרא xAPI.
קבוצת ההתמחות בחקר נתוני למידה בהתבסס על סטנדרט xAPI או
xAPI and Learning Analytics SIG — IEEE ICICLE
פרוייקט Caliper
סטנדרט בינלאומי נוסף הוא Caliper Analytics
מדובר על פרוייקט מחקר בינלאומי חשוב ליצירת מסגרת קונספטואלית וחישובית מוסכמת לחקר נתוני למידה הוא Caliper and Open Analytics Collaborative Research Environment -OpenACRE)
למידע נוסף בנושא :
Caliper and Open Analytics Collaborative … – Learning
Caliper Analytics | IMS Global Learning Consortium
פיתוח כולל באנגליה
ארגון Jisc הבריטי מפתח תכנית ארצית לקידום מערכות learning analytics באוניברסיטאות באנגליה , כאשר ניתוח הנתונים במערכות הלמידה המקוונות יתבסס על מסד נתונים עם התקנת אפליקציה לכל לומד במכשיר הנייד אשר תאפשר להם לעקוב אחר ההתקדמות שלהם ופעילות הלמידה ולקבל תצוגה ויזואלית של מצבם.
המערכת הזו היא עדיין בשלבי פיתוח והוקצב לכך תקציב משמעותי שיסייע ל50 אוניברסיטאות באנגליה להטמיע את המערכת בכל הקורסים המקוונים וסביבות הלמידה המתוקשבות שם (מקור)
Connected Learning Analytics (CLA) Toolkit
באוסטרליה פותח מארז לחקר וניתוח נתונים בסביבות למידה מסוג LMS . המארז הנקרא Connected Learning Analytics (CLA) Toolkit פותח בסיוע הממשלה האוסטרלית והוא נמצא באוסטרליה יעיל ללמידה מקוונת בהתאמה אישית Personal Learning Environment (PLE) ( מקור)
Civitas Learning
פלטפורמה מוצלחת של חקר נתוני למידה פותחה בענן ע"י חברת סטארט-אפ צעירה בארה"ב בשם Civitas Learning והיא מסוגלת לנתח ביעילות וקבלות נתונים למידה והתקדמות של סטודנטים הלומדים בקורסים מקוונים או בסביבות מקוונות באוניברסיטאות ובמכללות ( למידע נוסף)
Social Learning Analytics
התחום של חקר נתוני למידה המבוסס על פעילות ברשתות למידה ובפורומים Social Learning Analytics הוא אחד התחומים ההולכים ומתפתחים בלמידה מקוונת . יש כמה וכמה פיתוחים של מערכות Social Learning Analytics והיישום היעיל ביותר מותקן בקבוצות של פייסבוק , הפתוחות והסגורות, אך לא ניתן עדיין לראות את נתוני הפעילות.
פייסבוק שומרים את מערכת ניתוח הפעילות המקוונת הזו לשנה הקרובה , מועד בו הם ייצאו , ככל הנראה , עם מערכת למידה מרחוק משלהם
ראו גם מאמר מעניין על גישות להפעלת חקר נתונים מסוג SLA :
Social Learning Analytics: Five Approaches
Predictive Learning Analytics
אחד מכיווני הפיתוח החדשניים כיום הוא גישת Predictive Learning Analytics המתמקד יותר בלומד האינדיבדואלי במקום בתכנית הלמידה הכוללת . הניתוח כאן נותנת עדיפות לצרכי הלומד הבודד לעומת תכנית הלימודים הכוללת . גישה זו מכירה בחשיבות מטרות הלמידה , אך בחישוביה טוענת כי צורכי הלומד קודמים לצורכי המערכת והיא נותנת עדיפות בניתוח הנתונים לזיהוי הלבטים ולהתמודדות של הלומד מול המערכת. זו גישה תיאורטית חדשה למדי ועדיין לא יושמה במלואה במערכות למידה מקוונות.
ברגע שתיושם היא תוכל להצביע על הקשיים של הלומד ועל השינויים שיידרשו בתכנית הלמידה ובמטרות הלמידה ובכך תבטיח את הצלחת הלומד (מקור) .
מחקרים
מחקרם של Jia-Hua Zhang, Ye-Xing Zhang, Qin Zou, Sen Huangמשנת 2018 מבוסס על ניתוח נתוני למידה של 1000 סטודנטים באוניברסיטה בהונג קונג והוא מוכיח את התקפות של ניתוח נתוני למידה במסלולים אקדמאיים הלומדים במשולב בסביבה מקוונת ובסביבה פנים-אל-פנים. המחקר מוכיח כי ניתן גם להשתמש בניתוח נתוני הלמידה לצורך אבחון מצב הלומדים ביחס ללומדים אחרים והצגת הנתונים ללומדים על מנת שיבינו את הקשיים שלהם.
Zhang, J.-H., Zhang, Y.-X., Zou, Q., & Huang, S. (2018). What Learning Analytics Tells Us: Group Behavior Analysis and Individual Learning Diagnosis based on Long-Term and Large-Scale Data. Educational Technology & Society, 21 (2), 245– 258.
כמה זמן נדרש על מנת לקבל נתונים תקפים על קשיים אקדמאיים של סטודנטים ?
המחקר המעמיק של החוקרים Lu, O. H. T., Huang, A. Y. Q., Lin, A. J. Q., Ogata, H., & Yang, S. J. H. (2018). ערך גם הוא חקר נתוני למידה Learning analytics באוניברסיטה גדולה ובדק קורסים המשלבים מערכי למידה מקוונים ולמידה פנים-אל-פנים.שאלת המחקר הייתה באיזה שלב ניתן לזהות קשיים אקדמאיים של סטודנטים בלמידה בקורס באוניברסיטה . החוקרים הגיעו למסקנה כי ניתן לקבל נתונים תקפים על קשיי לומדים רק אחרי זמן של שליש סמסטר והצביעו כל הגורמים העיקריים שמאפשר זיהוי כזה לאורך זמן .
Lu, O. H. T., Huang, A. Y. Q., Lin, A. J. Q., Ogata, H., & Yang, S. J. H. (2018). Applying Learning Analytics for the Early Prediction of Students’ Academic Performance in Blended Learning. Educational Technology & Society, 21 (2), 220–232.
"הר הנתונים הוליד עכבר פדגוגי "
המחקר המצוטט ביותר בספרות המחקר הוא משנת 2012 ונכתב ע"י Macfadyen, L. P., & Dawson,
החוקרים האוסטרלים, הנחשבים בין המובילים לתחומי הLA בעולם, השתמשו בפלפטפורמה מתוקשבת לניתוח וחקר נתוני למידה של מערכות למידה מסוג LMS בכמה מחלקות באוניברסיטה מחקרית אוסטרלית גדולה הנחשבת כאחת הטובות שם.
ניתוח הנתונים ותצוגת הנתונים גיבשו שורה של תובנות על תוכניות הלימוד ושיטות ההוראה המועברות שם , וסיפקו מידע מפורט ומנותח על הקשיים של הסטודנטים בקורסים הקיימים ועל הכשלים של העברת התכנים בקורסים המקוונים .
כאשר הועברו דוח"ות ניתוח הנתונים לראשי המחלקות והמרצים שלימדו שם במערכות הLMS הם לא זכו לעניין רב.
לא הופקו באוניברסיטה לקחים מהבעיות שנתגלו בקורסים שם שולבו מערכי הלמידה המקוונים . המרצים לא הפיקו לקחים .המסקנה של החוקרים היא שגם מערכת חקר נתוני הלמידה הטובה ביותר בעולם לא תצליח לגרום לשינוי בדרכי ההוראה של מרצים באוניברסיטאות כי התרבות הארגונית של הוראה באוניברסיטאות אינה חותרת כלל להפקת לקחים ושינוי מתמיד והתאמה של הקורסים המקוונים.
Macfadyen, L. P., & Dawson, S. (2012). Numbers Are Not Enough. Why e-Learning Analytics Failed to Inform an Institutional Strategic Plan. Educational Technology & Society, 15 (3), 149–163.
אפשר לבצע Learning Analytics גם באמצעים פשוטים יחסית
חקר נתוני למידה Learning Analytics אינו בהכרח תהליך של טכנולוגיה מורכבת ופלטפורמות מתוקשבות כבדות ויקרות . ניתן לבצע תהליך של חקר למידה בקורס מקוון באמצעות טכנולוגיה פשוטה של קליקרים המותקנים בפלאפונים של הסטודנטים , לצד טפסים מקוונים של גוגל .
המידע שנאסף ע"י המרצים מהקליקרים ומהשאלונים המקוונים של גוגל סיפק להם תמונת מצב מהימנה על מצב הלומדים , על רמת הקושי ועל שינויים שהם צריכים לערוך בתכנית הקורס. המאמר מסביר את התהליך שביצעו המרצים בעצמם ואת היתרונות שלו מבחינת חקר הנתונים .מסתבר כי כאשר מרצים מעורבים בעצמם בתהליך חקר נתוני הלמידה אז המוטיבציה לשנות ולשפר דרכי הוראה היא גבוהה יותר .
Choi, S. P. M., Lam, S. S., Li, K. C., & Wong, B. T. M. (2018). Learning Analytics at Low Cost: At-risk Student Prediction with Clicker Data and Systematic Proactive Interventions. Educational Technology & Society, 21 (2), 273–290.
תחום ה- Learning Analytics עדיין לא מממש את הפוטנציאל שלו
המחקר של Robert Bodily Charles R. Graham, Michael D. Bush משנת 2017 , טוען כי לחקר נתוני למידה יש פוטנציאל עתידי לשיפור הלמידה של סטודנטים , אך כרגע הכלים הטכנולוגיים הקיימים והגישות הקיימות לחקר נתוני הלמידה אינם יודעים עדיין כיצד להתמודד היטב ולזהות מבחינה פדגוגית את נקודות המיפגש והמעורבות של הלומדים (learner engagement ) עם חומרי הלמידה ועם אתגרי הלמידה בסביבה המקוונת . המחברים סבורים שבעתיד הבעיה הזו תיפתר ויתפתחו כלים מתוקשבים מעמיקים יותר לזיהוי מה שהם מכנים כ- learner engagement .
Robert Bodily, Charles R. Graham, Michael D. Bush" , Online Learner Engagement: Opportunities and Challenges with Using Data Analytics"
Educational Technology, Vol. 57, No. 1 (January-February 2017), pp. 10-18
גישות חלופיות ל- Learning Analytics בעולם
ניתוח למידה מונחה –לומד
ניתוח למידה המתמקד בציונים או מנבא את הישגי הלומד רק על סמך התנהגות ומעורבות קודמים, עלול להחמיץ לומדים הנמצאים בסיכון וזקוקים לסיוע. כמו כן, הוא עלול שלא לעודד את הלומדים שרוצים להגיע למיצוי יכולותיהם.
אוניברסיטת אדינבורו פיתחה מערכת ניסיונית לניתוח למידה מונחה-לומד Card Report Analytics Learning- LARC
המערכת מפיקה דוחות המכילים נתונים שונים, והסטודנטים יכולים לבחור אילו נתונים יכללו בדוח ומתי להפיקו. הנתונים נבחרים מתוך הקטגוריות העיקריות הבאות: נוכחות, מעורבות, אינטראקציה חברתית, ביצועים וממד אישי. הדוחות מעניקים לסטודנטים הזדמנות לבחון את ביצועיהם ולהחליט במה להשקיע מאמץ במהלך הקורס. (מקור: פדגוגיות חדשניות 2017).
מערכות מתקדמות יותר של ניתוח למידה מונחה־לומד לא יסתפקו בהתייחסות למטרות ולשאיפות של הלומדים ובהצעת פתרונות מותאמים אישית. הן גם יאפשרו ללומדים לדרג ולשתף את מידת ההלימה והרלוונטיות של ניתוח הלמידה למטרותיהם האישיות.
דירוגים אלו ישותפו באופן אוטומטי עם עמיתים רלוונטים. ניתוח למידה מונחה־לומד מעניק ללומדים את היכולת להגדיר ולשתף את מסע הלמידה שלהם, ולהפיק תועלת מניסיונם של לומדים אחרים. מיפוי ההתנהגות והקוגניציה של הלומדים עשוי לשפר פן זה של ניתוח למידה. שיתוף נתוני למידה מאפשר ניסוח של המלצות המבוססות על קבוצות עמיתים. לדוגמה, לומדים יכולים לתייג את חומרי הלימוד שלהם כמועילים, מהנים, מלהיבים, קשים, לא רלוונטיים, משעממים או מרתקים. דירוגים אלו יסייעו ללומדים להפיק תועלת מניסיונם של אחרים בזמן שהם מחפשים מסלולי התקדמות אישיים וחדשים.
ניתוח למידה מונחה־לומד מאפשר ללומדים לשתף את מטרותיהם גם עם מורים כדי לדון באופן השגתן או התאמתן לשינויים בסדרי עדיפויות המתרחשים במהלך הלמידה. בניגוד ליישומים קודמים של ניתוח למידה, המתמקדים במטרות למידה הנקבעות על ידי מורים, ניתוח למידה מונחה־לומד מאפשר ללומדים להגדיר מטרות לעצמם ולהשתמש בהן כדי לפתח מסלול אישי אל ההצלחה (מקור: פדגוגיות חדשניות 2017).
