WEKO3
アイテム
英語初級学習者のパラグラフ・ライティング自動評価システム開発の試み Part3 ―生成AI を用いた英文の質を評価するシステムの分析
https://doi.org/10.34388/0002000234
https://doi.org/10.34388/00020002348c275882-de23-45fe-b554-485e432df35c
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
短大46-7.pdf (2.1 MB)
|
.png)
|
| Item type | 紀要論文 / Departmental Bulletin Paper(1) | |||||
|---|---|---|---|---|---|---|
| 公開日 | 2025-03-25 | |||||
| タイトル | ||||||
| タイトル | 英語初級学習者のパラグラフ・ライティング自動評価システム開発の試み Part3 ―生成AI を用いた英文の質を評価するシステムの分析 | |||||
| 言語 | ja | |||||
| タイトル | ||||||
| タイトル | An Attempt to Develop an Automated Evaluation System for Paragraph Writing of Pre-intermediate Learners of English: Part 3 ―Analysis of a System for Evaluating the Quality of English Text Using Generative AI | |||||
| 言語 | en | |||||
| 言語 | ||||||
| 言語 | jpn | |||||
| キーワード | ||||||
| 言語 | ja | |||||
| 主題Scheme | Other | |||||
| 主題 | 自動評価システム | |||||
| キーワード | ||||||
| 言語 | ja | |||||
| 主題Scheme | Other | |||||
| 主題 | 人工知能 | |||||
| キーワード | ||||||
| 言語 | ja | |||||
| 主題Scheme | Other | |||||
| 主題 | 機械学習 | |||||
| キーワード | ||||||
| 言語 | ja | |||||
| 主題Scheme | Other | |||||
| 主題 | 生成AI | |||||
| キーワード | ||||||
| 言語 | ja | |||||
| 主題Scheme | Other | |||||
| 主題 | ChatGPT | |||||
| キーワード | ||||||
| 言語 | ja | |||||
| 主題Scheme | Other | |||||
| 主題 | 一致率 | |||||
| キーワード | ||||||
| 言語 | ja | |||||
| 主題Scheme | Other | |||||
| 主題 | 内容の質 | |||||
| キーワード | ||||||
| 言語 | ja | |||||
| 主題Scheme | Other | |||||
| 主題 | 第2言語ライティング | |||||
| キーワード | ||||||
| 言語 | ja | |||||
| 主題Scheme | Other | |||||
| 主題 | 相関分析 | |||||
| キーワード | ||||||
| 言語 | ja | |||||
| 主題Scheme | Other | |||||
| 主題 | テキストマイニング | |||||
| キーワード | ||||||
| 言語 | en | |||||
| 主題Scheme | Other | |||||
| 主題 | Automated Evaluation System （AES） | |||||
| キーワード | ||||||
| 言語 | en | |||||
| 主題Scheme | Other | |||||
| 主題 | Artificial Intelligence | |||||
| キーワード | ||||||
| 言語 | en | |||||
| 主題Scheme | Other | |||||
| 主題 | Machine Learning | |||||
| キーワード | ||||||
| 言語 | en | |||||
| 主題Scheme | Other | |||||
| 主題 | Generative AI | |||||
| キーワード | ||||||
| 言語 | en | |||||
| 主題Scheme | Other | |||||
| 主題 | ChatGPT | |||||
| キーワード | ||||||
| 言語 | en | |||||
| 主題Scheme | Other | |||||
| 主題 | Agreement Rate | |||||
| キーワード | ||||||
| 言語 | en | |||||
| 主題Scheme | Other | |||||
| 主題 | Quality of Content | |||||
| キーワード | ||||||
| 言語 | en | |||||
| 主題Scheme | Other | |||||
| 主題 | Second Language Writing | |||||
| キーワード | ||||||
| 言語 | en | |||||
| 主題Scheme | Other | |||||
| 主題 | Correlation Analysis | |||||
| キーワード | ||||||
| 言語 | en | |||||
| 主題Scheme | Other | |||||
| 主題 | Text Mining | |||||
| 資源タイプ | ||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_6501 | |||||
| 資源タイプ | departmental bulletin paper | |||||
| ID登録 | ||||||
| ID登録 | 10.34388/0002000234 | |||||
| ID登録タイプ | JaLC | |||||
| 著者 |
三田, 薫
× 三田, 薫× 霜田, 敦子 |
|||||
| 抄録 | ||||||
| 内容記述タイプ | Abstract | |||||
| 内容記述 | 短期大学1 年生向け英語必修科目で実施してきたイティングテストのデータを用いた自動評価システムを開発した．生成AI の大規模言語モデル（GPT-4o）に過去の学生の英文エッセイ1611 件と教師評価を学習させ，自動採点システムを作成し，前年度まで開発していた人工知能の機械学習の「教師あり学習」モデルとその精度を比較検証した．自動評価システムは英文の「内容の質」のみを評価対象とし，4 段階の評価を行う．生成AI モデルと機械学習モデルの両方で2024 年度の英語必修科目のライティングテストの英文129 件を評価したところ，生成AI モデル（GPT-4o）では，教師評価との一致率が83.7% であった．一方，機械学習モデルでは教師評価との一致率が59.7% であった．生成AI モデルによる自動評価システムを授業内で学生に使用させた上でアンケート調査を行い，それをテキストマイニングで分析した． | |||||
| 言語 | ja | |||||
| 抄録 | ||||||
| 内容記述タイプ | Abstract | |||||
| 内容記述 | We developed an automated evaluation system using data from writing tests conducted in a compulsory English course for first-year junior college students. A generative AI model（ GPT-4o） was trained on 1,611 English essays written by past students，along with their corresponding teacher evaluations，to create an automated evaluation system. Its performance was then compared to a supervised machine learning model developed in previous years. The automated evaluation system assessed only the “quality of content” of the English essays，using a 4-level scale. Both，the generative AI，and machine learning models，were used to evaluate 129 English essays from the 2024 academic yearʼs compulsory English writing test. The generative AI model （GPT-4o） achieved an agreement rate of 83.7% with teacher evaluation. In contrast，the machine learning model revealed an agreement rate of 59.7% with teacher evaluations. Following its implementation in the classroom，we conducted a survey among students to gather feedback and analyzed the results using text mining. | |||||
| 言語 | en | |||||
| bibliographic_information |
ja : 実践女子大学短期大学部紀要 en : Jissen Women’s Junior College Review 巻 46, p. 71-95, 発行日 2025-03-06 |
|||||
| 出版者 | ||||||
| 出版者 | 実践女子大学 | |||||
| 言語 | ja | |||||
| item_10002_source_id_9 | ||||||
| 収録物識別子タイプ | EISSN | |||||
| 収録物識別子 | 24344583 | |||||
| item_10002_source_id_11 | ||||||
| 収録物識別子タイプ | NCID | |||||
| 収録物識別子 | AA12721413 | |||||
