實踐項目 返回列表

課堂教學自動評價及其初步研究成果

2018/9/21 11:08:22

摘要

摘要:課堂評價是教育評價的核心環節。文章基於人工智能等最新的信息技術,結合課堂評價的需求,在全球範圍內,首次給出了課堂教學自動評價的定義,構建了課堂教學自動評價理論,並在自動考勤、學習注意力分析、基於對話文本的師生對話與互動評價等方麵都取得了初步研究成果。與傳統的課堂評價技術相比,課堂教學自動評價具有全員、全程、全自動、高采樣率、無擾、客觀等優點,使規模化、常態化課堂教學過程評價成為可能。

關鍵詞:課堂評價;學習情感;自動考勤

引言

課堂評價是改進教學質量的關鍵技術,主要包括課堂教學信息采集與和信息處理這兩個部分。一般而言,結構化的教學信息可以進行自動化的信息處理,如弗蘭德斯互動分析係統(Flanders Interaction Analysis System,FIAS)生成的師生互動1~10的行為編碼和調查問卷生成的等級打分;而非結構化的教學信息則難以進行自動化的信息處理,如人種誌、課堂觀察報告等文本材料。為了生成能夠進行自動處理的課堂信息,目前主流的方法是采用課堂測試生成測試分數、調查問卷生成等級分數、符號化的課堂觀察、課堂教學場景的編碼等人工生成方法,但這些方法具有人工參與程度高、人工費用高、客觀性難以保障等缺陷,難以實施常態化、規模化、自動化的教學信息采集。


近年來,由於信息技術、特別是以深度學習為基礎的人工智能技術的快速發展,研究者將計算機技術引入課堂評價中,嚐試進行教學信息的自動化采集,包括:①采用電子白板、電子書包、錄播教室等教育設備來記錄一些過程性的教學信息;②采用刷卡、刷指紋、刷臉等信息設備進行課堂自動考勤;③采用姿態識別技術對學生的聽課姿態進行采集與評價;④采用表情識別技術對學生的學習表情進行采集與評價;⑤采用語音情感識別技術對教師的授課情感進行采集與評價;⑥采用電子投票器Clicker或手持智能設備采集學生的問題回答信息等。到目前為止,這些方法都是采用單一的信息技術或教育設備對單一指標的課堂教學信息進行自動采集與評價,從應用情況來看,這些課堂教學信息自動采集技術還都停留在研究階段,尚還未呈現出大規模應用之勢。


從課堂教學信息自動采集到自動處理,目前國內外鮮有關於課堂教學自動評價理論的研究成果。因此,本研究綜合弗蘭德斯互動分析係統所得的定量數據易於自動分析、LICC(Learning, Instruction, Curriculum, Culture)課堂觀察可以對課堂教學進行整體評價的優點,利用人臉識別、表情識別、注意力分析、姿態識別、文本情感識別、情感計算、深度學習等信息技術對課堂評價自動化進行的係統研究,提出了課堂教學自動評價理論,並給出了其在課堂評價領域的初步研究成果。文章主要進行了如下研究工作:


①從信息技術角度對目前課堂評價研究進行總結與反思,得出現有課堂評價方法難於滿足常態化、規模化課堂評價需求的結論;基於人工智能、情感技術等最新的信息技術,首次給出了課堂教學自動評價的定義,即“課堂教學自動評價是一個全新的教育研究方向,既是一項對課堂教學眾多評價指標進行量化建模、自動分析與評價、服務於課堂評價實踐的計算機應用技術,也是一項改進課堂教學效果的教育技術”;同時,構建了關於課堂教學自動評價的一套完整、係統的理論架構,為課堂教學自動評價研究奠定了理論基礎。


②為了滿足廣大任課教師與課堂評價人員對實用課堂評價工具的需求,本研究提出了一種基於師生對話文本的課堂教學自動分析與評價方法,其先從課堂教學視頻獲取師生對話文本,再基於師生互動對課堂教學場景進行分類,然後使用文本處理技術,將連續的課堂教學過程自動離散為一個課堂教學場景時序序列,實現對課堂教學過程的可視化分析與評價[1]


③使用深度學習技術對教室內的所有學生進行人臉識別與姿態識別,對課堂教學過程進行多時間點的自動考勤,考勤指標包括:曠課、遲到、早退、隨意進出教室、不認真聽講,實現對課堂教學的全員、全過程、全自動、多指標的實時考勤[2]


④對於課堂教學過程離散出來的教學場景時序序列,使用不同的信息技術對一個個具體的教學場景進行準靜態分析,主要對學生的聽課姿態、注意力、表情、學習情感等參數進行自動分析與評[3][4][5]


一  課堂評價研究的反思與改進    

1 定量與定性課堂評價的優缺點分析

定量課堂評價指通過課堂測驗、師生互動編碼、問卷(評價量表)等手段對評價數據進行自動分析與評價。目前,對課堂教學進行定量評價的途徑主要有四個:①使用課堂測驗來獲取學生對知識吸收情況的定量數據;②使用問卷來獲取學生對課堂教學評價的定量數據;③使用與FIAS相類似的技術來獲取每3秒一個編碼的師生互動行為分析數據;④課堂觀察人員使用符號獲取某些教學指標的定量數據。定量課堂評價的缺點在於取得定量數據的工作量比較大,但具有使用定量數據進行自動評價的優勢。受技術的限製,目前定量課堂評價的應用範圍比較小。


與定量課堂評價相比,定性課堂評價通過課堂觀察和課後座談的形式,可以直觀地對課堂教學進行評價,評價人員可以根據經驗與需求、直接對課堂教學效果進行評價,限製因素比較少,所以目前課堂評價大多采用定性課堂評價。但從發展的眼光來看,定性課堂評價也有全人工評價造成的評價費用高、難以進行持久的大規模評價、用人進行評價難以避免主觀性評價所造成的不客觀等缺陷。因此,為了對課堂教學進行大規模持久的監測與評價,獲取客觀的教育大數據,實現大地域、多樣本、全過程的課堂評價,發展課堂教學定量評價技術勢在必行。


2 專業人士對現有課堂觀察與課堂評價的反思

相比於傳統的範式評價,基於課堂觀察的課堂評價更有助於了解課堂的真實性。以課堂觀察作為主要手段的課堂評價研究與實踐也存在一些無法回避的局限性,王陸等[6]教師、校長、旁觀者、研究者及其自身對於課堂觀察進行了諸多反思。綜合起來,現有的課堂觀察與課堂評價主要存在如下局限性:


(1)碎片化。從某種程度上講,課堂觀察是對課堂的精細化解構,一節課被量表、指標分解得支離破碎,各個觀察的視點不一定是一節課最為有力的切入點。我們常常會看到各觀察者(組)相互獨立的觀察數據,而它們之間的聯係和意義的建設對於隻關注自己這部分的觀察者來說是很難輕易把握的,因此教師會擔心:“這樣的觀察是否丟失了整體性?”


(2)貴族化與運動化。“貴族化傾向”是指在一些學校,課堂觀察成為個別精英教師的專利,變成僅供人觀賞的“盆景”,而大多數教師成為學校課堂觀察的旁觀者和邊緣者。一些學校的領導和教師在潛意識中認為搞課堂觀察煩瑣,會浪費時間,存在嚴重的畏難情緒,隻在遇到檢查或參觀時才倉促應戰,而在日常的聽課、評課活動中排斥這種方法,使課堂觀察變成搞“運動”。


(3)形式化與模式化。一些地方的課堂觀察活動搞一刀切,不管學校的學情和教師的教情,完全照搬他人的模式。而事實上,由於背景、文化、基礎等存在差異,課堂觀察的方式、方法也要因人而異,應該引導教師選擇合乎實際的手段和具體方式。學校應指導教師百花齊放、不拘一格,並鼓勵教師開拓創新,真正在有效性上下功夫。


(4)功能化。觀察者隻觀察限定的維度、限定的問題,觀察分工有知覺功能上的“分裂主義”味道。科學主義的聽評課會帶來這樣的結果:①感受缺失。課堂觀察如果缺少了感受,就不會產生審美愉悅,從而會蛻變為一種教學負擔,也就不具有長久的生命力。②靈性被束縛。當教師了解觀察者的觀察意圖後,可能會將觀察意圖轉換為一種教學訴求。太細化的教學聽評課會限製教學主體性的發揮,從而束縛教學的靈性。③視點散化。長期的規範訓練會使教師頭腦中隻有量表,而丟失了自我。


(5)背景割裂化。課堂研究可以在一定程度上說明課堂的問題,卻難以說明影響課堂的社會因素問題。在教師的教學水平達到一定的程度、具備基本的教學條件後,教師水平、技巧和課堂中物質條件等因素並不構成教學質量問題的關鍵,課堂之外社會的、家庭的、環境的因素才是深層次發生影響的重要因素。以課堂觀察為主要技術的課堂研究,對於教師提高課堂技藝,以及學生改善課堂行為確實有效,但教育質量的整體提高僅通過這種局部的、微觀的研究是難以徹底達成的。


3 課堂評價與課堂觀察的改進方向

為滿足基礎教育質量監測的需求,本研究通過與北師大教育評價、心理、教育技術領域專家的互動,結合筆者在課堂教學自動評價研究的心得,針對現有課堂觀察方式的不足之處,就未來基於課堂觀察的課堂評價提出了如下改進建議:①無擾觀察。課堂觀察不應該給教學過程帶來任何幹擾,以保持課堂教學的原生態,得出真實的課堂觀察和課堂評價結果。因此,應該使用攝像頭代替教師進行課堂觀察,基於課堂教學視頻進行課堂觀察與課堂評價。②公平評價。要盡可能使用計算機進行課堂評價,或參與評價的人員數量盡可能多,以保證評價結果盡可能公平。③量化評價指標。為了便於進行後續的計算機自動分析與評價,課堂觀察與評價要盡量采用量化指標進行評價,即使對於評價人員給出的評價文本,也要采用文本分析技術進行評價指標量化處理。④主客觀協同評價。受限於信息技術發展的水平,無法對所有的課堂觀察指標進行客觀評價,還需要評價人員對一些計算機無法評價的指標進行主觀評價,最後進行主客觀協同評價,以擴大評價範圍。⑤評價結果成體係綜合化。對於主客觀協同評價得出的數據要進行計算機自動分析與處理,輸出成體係綜合化的評價結果,消除現有課堂評價常常出現的碎片化問題,便於教育用戶使用。⑥課堂評價過程的自動化。為了降低評價人員的勞動強度,滿足大規模課堂評價需求,必須盡可能地使課堂評價自動化,降低課堂評價的人力費用。⑦提高課堂評價係統的易用性。為了擴大課堂評價的應用範圍,課堂評價係統要提高易用性,易於上手、易於熟悉,盡量使具有本科水平的教師能夠直接使用課堂評價係統對自己的課堂進行評價。


二 課堂教學自動評價理論

課堂教學自動評價的定義是:一個全新的教育研究方向,既是一項對課堂教學眾多評價指標進行量化建模、自動分析與評價、服務於課堂評價實踐的計算機應用技術,也是一項改進課堂教學效果的教育技術。作為主要由計算機與教育進行交叉的科研方向,課堂教學自動評價需要具有足夠的靈活性,以滿足不同課堂教學類型的評價需求。為此,本研究設計了如圖1所示的課堂教學自動評價流程,其目的是使用計算技術,盡量將教育評價專業人員從繁瑣重複的規範性評價工作中解放出來,使他們將精力投向計算機技術難於處理的評價工作中。

如圖1所示,為了盡量減少教育評價專業人士的工作量,課堂教學自動評價理論將傳統的教師先隨班觀察、後給出結論的課堂評價過程進行了深度細化,劃分為采集課堂教學高清視頻、基於視頻生成師生對話文本、基於對話文本將課堂教學過程解構為教學場景時間序列、精確標注課堂教學場景、對課堂教學自動地進行簡單評價、教學場景準靜態分析、采集家長與專業人士的主觀評價、課堂教學綜合評價、輸出評價結果、生成評價報告等共10步評價操作,以便於使用視頻采集、語音輸入、文本編碼、文本與視頻分析、數據分析、模式識別、信息融合等計算機技術對課堂教學進行自動分析與自動評價。需要教育評價專業人員參與的工作被壓縮到:課堂教學場景標注的手動更正、基於視頻的主觀評價(可以省略)、撰寫評價報告這三步操作。因此,課堂教學自動評價可以減少評價人員的工作量、豐富評價指標、擴大課堂評價範圍。



未標題-1.jpg

圖1  課堂教學自動評價的框架與工作流程

 

三 基於師生對話文本的課堂

教學自動評價[7]

從課堂教學視頻中可以獲得師生對話文本,包括每一句話的順序、內容、起始時刻、結束時刻。為了使用對話句進行基於句子的教學場景自動編碼(Sentence-based Automatic Coding,SAC),本研究基於師生互動行為對課堂教學行為進行了分類,共分為9個一級行為和33個二級行為。使用文本編譯技術可以對師生對話文本進行編譯,獲得SAC自動編碼。基於師生對話文本和教學場景編碼,可以對課堂教學過程進行全過程、全自動的可視化分析與評價。如圖2所示,將連續的課堂教學過程離散為教學場景時序序列以後,就可以基於一節課的課堂教學場景編碼結果,不僅能夠對一級教學行為分布進行可視化分析,還能夠對一級教學行為內的二級教學行為進行可視化分析,進而對課堂教學進行直觀的評價,評價結果不依賴評價人員的好惡,因此客觀性比較好。

未標題-2.jpg

(A)一級行為可視化分布


未標題-3.jpg

(B)二級行為可視化分布

圖2  基於課堂教學場景的可視化自動評價


四  基於計算機視覺技術的課堂

教學自動評價

1 基於深度學習的課堂教學自動考勤[8]

課堂考勤作為課堂教學日常評價的重要基礎環節,對課堂教學質量有著重要的作用。使用深度學習技術對課堂教學高清視頻中的全部學生進行自動人臉檢測與識別,實現課堂教學的全程無擾全自動考勤,不僅可以對曠課、遲到、早退、隨意出入教室這4項常規考勤指標進行監測,而且可以對學生的不認真聽講情況進行監測。如圖3所示,本研究使用基於深度學習技術的人臉識別軟件SeeTaFace[9],可以獲得滿意的人臉識別效果。

未標題-4.jpg

圖3    SeeTaFace人臉識別效果

   

2 基於學生學習注意力分析的課堂教學自動評價[10][11]

在教室前後牆的中間位置進行吸頂安裝兩隻攝像頭。如圖4(A)所示,前攝像頭的視頻用於識別學生人臉、檢測臉部特征點、計算出學生的空間位置/頭部姿態/麵部法線的指向。如圖4(B)所示,後攝像頭的視頻用於將學生麵部法線投射到視場中,進行注意力的可視化表示,黑板前進行板書的教師脖子旁處的圓點就是教室中聽課學生的視線投射點。

未標題-5.jpg

(A)前攝像頭的視場

未標題-6.jpg

(B)後攝像頭的視場

圖4  基於前後攝像頭的學習注意力分析係統


根據學生聽課的注意力分析結果,可以對學生的學習狀態粗略地進行分類。如圖5(A)所示,當學生注意力聚焦於授課教師時,說明學生學習處於專注狀態。如圖5(B)所示,當學生注意力遊離於黑板外邊時,說明學生學習處於漠視狀態。此外,當學生注意力沒有聚焦於教師、但還看著黑板時,則說明學生學習不夠專注,但處於關注狀態,即還保持對授課內容的關注。

未標題-7.jpg

(A)專注:視線聚焦於教師

未標題-8.jpg

(B)漠視:視線遊離出黑板右側

    圖5  基於前後攝像頭的學習注意力分析係統


3 基於學生學習表情分析的課堂教學自動評價[12]

通過收集並分析一線教師和教育研究人員關於學生聽課表情的相關論述,同時通過觀看教學視頻對真實課堂教學所做的大量觀察,本研究首先將學習表情粗分為愉悅(Joy)、驚訝(Sur)、專注(Foc)、困惑(Con)、走神(Dis)等5類,然後自建了一個專用於課堂教學自動評價的學習表情數據庫,最後開發了一個基於學習表情識別的課堂教學自動評價係統。


如圖6所示,本研究對一堂課前15分鍾視頻中的一個學生進行表情識別,表情分析結果表明:課堂教學剛開始的4~5分鍾,由於精神集中,對於教師所導入的教學材料,該生呈現了較好的學習表情,表情主要為愉悅和專注;隨著教師講授新知識點,該生出現了較多的困惑、走神表情,說明該生在理解上出現了困難;在後5分鍾,教師對新知識點進行鞏固教學,該生的困惑/走神表情減少,出現了較多的專注/驚訝/愉悅表情,說明該生吸收、掌握了這個知識點。因此,學習表情分析可以對學生的聽課效果進行評價,即使用表情識別技術可以對課堂教學過程中的學生聽課效果進行自動評價。

未標題-9.jpg

圖6  課堂教學前15分鍾的一名學生的表情分析結果


五  結語

本研究首先係統地介紹了課堂教學自動評價理論,接著依次介紹了在基於師生對話文本的課堂自動評價和基於計算機視覺技術的課堂教學自動評價(包括自動考勤、學習注意力分析和學習表情分析)、課堂教學自動考勤、學生學習注意力/學習表情/學習情感分析技術等方麵取得的初步研究成果。本研究認為課堂教學自動評價是一項非常有前景的課堂評價技術,能夠對課堂教學進行常態化、規模化課堂評價,但課堂教學自動評價應該結合課堂教學的實際需求開展研究,以切實改善課堂教學質量為主要突破方向,避免單純追求技術進步的教具式改進研究,同時也要適度考慮師生的個人隱私保護問題。

參考文獻

[1][7]Lu J, Wang D, Luo Z Y. Automatic evaluation of teacher-student interaction based on dialogue text[A]. Education, management and computing technology[C]. Paris: Atlantis Press, 2017:1517-1522.

[2][8]Wang D, Fu R, Luo Z Y. Classroom attendance auto-management based on deep learning[A]. Education, management and computing technology[C]. Paris: Atlantis Press, 2017:1523-1528.

[3][10]Li D X, Liu H, Chang W Q, etc. Visualization analysis of learning attention based on single-image PnP head pose estimation[A]. Education, management and computing technology[C]. Paris: Atlantis Press, 2017:1508-1516.

[4][11]Li D X, Luo Z Y, Chang W Q. The study on problems and their answer in elementary education quality monitoring[J]. Science innovation, 2017,(4):220-226.

[5][12]Tang C G, Xu P F, Luo Z Y, etc. Automatic facial expression analysis of students in teaching environment[A]. Biometric recognition[C]. Switzerland: Springer International Publishing, 2015:439-447.

[6]王陸,張敏霞.課堂觀察方法與技術[M].北京:北京師範大學出版社,2012:223-230.

[9]GitHub. SeeTa Face引擎 [OL]. <https://github.com/seetaface/SeetaFaceEngine>


網站地圖:sitemap
网站地图:sitemap