刊載同行評估論文的《學習與教學》（Learning and Instruction）期刊今年6月發表一項新研究，評估了由人工智能（AI）驅動的聊天機器人ChatGPT 對學生作文的評語品質。
針對6 至 12 年級學生的 200 篇歷史科文章，一組研究人員將人工智能與真人的評語進行了比較，他們發現真人評語通常要好一些，更能為學生提供適合他們改進寫作的建議。
但 ChatGPT 已經做得很接近真人了。研究人員採用五分制來評估評語質量，其中 5 分是最高分，ChatGPT 的平均分為 3.6 分，而由16 名專家人類評估員組成的團隊的平均分數是 4.0 分。對於機器人而言，這是一個艱鉅的挑戰，因為專家團隊中大多數已經教授寫作超過15 年，或在寫作教學方面擁有豐富的經驗。所有人都接受了三個小時的練習培訓，並因提供評語而獲得額外報酬。
表現不俗 令人意外
ChatGPT甚至在某一方面擊敗了這些專家；它在對學生的推理、論證和對原始材料證據的使用所作出的評語稍好一些，研究人員希望寫作評估者專注於這些特徵。
亞利桑那州立大學著名的寫作教學專家格雷厄姆（Steve Graham）是本次研究的參與團隊一員。他說：「這比我想像的要好，因為本來就對AI沒有抱太大希望，它並很多時都不夠準確的，但有時也會對。我想應該學習如何讓它變得更好。」
即使對於進行這項研究的寫作研究人員來說，ChatGPT 究竟如何能夠提供良好的評語也是一個黑盒子。人工智能並不像人類那樣理解事物。但不知何故，透過 ChatGPT程式設計師建構的數據網絡，它從先前消化的所有文字中總結出一套模式，並且能夠將這些模式應用到新的文本中。
ChatGPT令人驚訝的「相對高品質」評語是很重要的，因為這意味著大型語言模型的新人工智能（也稱為生成式人工智能），可能會幫助學生提高寫作水平。格雷厄姆說，在美國編寫教學的最大問題之一，是老師佈置的寫作作業太少，通常是因為老師覺得他們沒有時間為每個學生提供個人化的評語。這使得學生沒有足夠的練習來成為優秀的作家。理論上，如果學生（或教師）可以使用 ChatGPT 在草稿之間提供評語，教師可能願意佈置更多寫作任務或堅持對每篇論文進行修改。
寫作教學新方向
儘管潛力巨大，格雷厄姆並不是人工智能的熱情支持者。 「我最擔心的是它會成為作家，」他說。他擔心學生不會將 ChatGPT 的使用僅限於提供有用的評語，而是要求它為他們思考、分析和寫作。這不利於學習。研究團隊也擔心，如果教師將太多評語委託給 ChatGPT，寫作教學將會受到影響。
研究人員表示，了解學生的漸進進步和常見錯誤，對於決定下一步教什麼仍然很重要。例如，在學生的作文中看到大量連續句子，可能會提示學生去學習如何分解這些句子。但如果你沒有看到它們，你可能不會想到教它。寫作教師的另一個普遍擔憂是人工智能評語會引導每個人以相同的同質化方式寫作。年輕作家獨特的聲音可能在有機會發展之前就被壓制了。
儘管如此， 格雷厄姆和爾灣加州大學（UC Irvine）的其他研究員們，仍在繼續研究如何有效地使用人工智能最終能提高學生的寫作水平。格雷厄姆說：「你不能忽視（AI），我們要麼學會有效地使用它，要麼很不開心地忍受著。」 本報訊
