日常の興味と結びつけて学べる英語スピーキングアプリ、 EIGOイスト
こちらからデモ動画をご覧いただけます。
私達は、英語スピーキングができません。でも、英語スピーキングができるようになりたいと考えています。英語を話せるといいことはたくさんあり、大学生の自分たちは国際学会で大活躍間違いなしであり、社会人になっても仕事の幅が広がると考えています。また、海外旅行ができるといったわかりやすいメリットもあります。 こんなメリットがあるのに、なぜ自分たち含めて多くの人がスピーキング学習をやっていないのかという疑問がそこで浮かぶと思います。それは、「スピーキング学習が、楽しくなくハードルが高い」と多くの人が感じているからだと考えました。
以上の背景を踏まえて、下記の3つの課題を分析し、アプリの「特長」を開発していきました。
- スピーキングの題材に興味がない 既存のスピーキングの教材では、テーマが「ビジネス」、「道案内」、「学校」などの固定のテーマが多く、ユーザーの個人の日常や趣味等を直接反映したものではないため、テーマがユーザーにとって興味がないため、楽しくない
- 1人で学習するにはハードルが高い リーディングやリスニングの学習が1人で学びやすいのに対し、スピーキングは1人では学びにくいというのが現状であり、これによりスピーキング学習のハードルが高い
- 学び方のバリエーションが少ない 現状のスピーキングは先生がテーマを与え、それについて話すというワンパターン
上記課題を解決するため、私達は従来の英語アプリのようなビジネス・日常会話・道案内などの型にはまった退屈なテーマでスピーキングを学ぶのではなく、むしろ自分のエゴに従い、自分の趣味の延長にある好きなコンテンツでスピーキング練習できるアプリ「EIGOイスト」を開発しました。
- 日本人
- 全年齢の英語学習者
- 特に、英語学習を継続していきたい多趣味な人
- Youtube、ニュースを見るのが趣味だけど勉強しないことに罪悪感を感じてしまっている英語学習者 より多くの英語学習者がこのアプリの対象ユーザーになってもらうために、後の説明の通りたくさんの機能を作りました。機能ごとの対象ユーザーは製品説明に書いてあります。
このアプリには、自分の好きなキーワードをもとにテーマを生成する「好きなテーマ」機能、自分の好きなYoutubeの動画を見て学習できる「Youtube」機能、自分の好きなニュースを検索して学習できる「news」機能、自分の好きな画像を入力してそれをもとにテーマを生成する「画像テーマ」機能があります。 自分の生活や趣味志向を素材として生成されたテーマを話す楽しさ、スピーチのテーマ、シチュエーションを自分でカスタマイズする楽しさを提供します。
「マラソンモード」という機能の中で過去のスコア(=自分の努力)の可視化、過去の平均スコアと直近のこの機能による学習の継続率によって金、銀、銅、青のランクが決まるシステムの導入、ランクやスコアが向上した喜びを友達と分かち合うSNS共有の実装を行っています。これにより競技性やランクが上がること、日々の頑張りを共有することによるモチベーションや楽しさを提供します。
自分の生活や趣味をスピーチの題材とすることで、ユーザーはスピーチにより詳細な具体例や経験を含みやすくなります。また、スピーチの内容評価部分で構成や表現の多様性やスピーチの独自性を重視することでユーザーが具体例や経験の入ったスピーチをすることをプラスに評価します。これにより、ユーザーはより具体性の高いスピーチを構成を意識して行う力が身につき、表現力が向上します。
取り組みやすいたくさんの機能を実装したので、自分にあった形で、楽しく効果的にスピーキングを勉強できます。 このアプリでは「好きなテーマ」モード、「Youtube」モード、「News」モード、「画像テーマ」モードの4つのスピーチテーマ生成コンテンツを提供しています。 それぞれのモードでは、「興味のあるモノ」(好きなテーマ、Youtube動画の内容、ニュース記事の内容、好きな画像)がテーマ生成のもととなっていて、テーマ生成ボタンを押すと、ChatGPTが 「興味のあるモノ」 に基づいた複数の多彩なスピーチテーマを提案します。 その後、気になるスピーチテーマを選び、マイクボタンを押してそのテーマについて話してみます。 最後に、その音声を提出すると、ChatGPTが内容や流暢さを分析し、改善点が丁寧にフィードバックされます！
また、これら4つの機能に、集中的な学習の側面と競技性を持たせたモードとして 「マラソンモード」 を開発しました。
各モードごとの具体的な動作の流れは、以下で説明します。
1.3. マイクボタンを押して選択した「最も話したいテーマ」に関するスピーチを行い、音声を提出すると、評価が得られる。評価では、WordPerMinute、発音と流暢さ、話した内容の独自性、発音のチェック、模範解答等を分析＆採点しています。
- 自分の好きなことならたくさん話せる人
- 動画、ニュース等を介さないシンプルなスピーキング練習をしたい人
- スピーキング学習をしながら、エンタメも楽しみたいYoutube視聴者
- 日常の娯楽の延長として英語学習をしたい人
3.2. 提案されたニュースを一つ選択することで、スピーチテーマを生成します(選択したニュースの左下を押すことで、ニュースをSafari等のブラウザで見れます)。記事のキーワードボタンを押すことでスピーチに使える重要キーワードをニュース記事から抽出してくれます。テーマ横の電球ボタンを押すことでヒントを生成してくれます。
3.3. 3.2でテーマを選択した後に、マイクボタンを押して選択したテーマに関するスピーチを行い、音声を提出すると、評価が得られる。この評価は、ChatGPTに記事の内容の全文を送ることによって精度の高い評価を実現しています。
- 時事や経済など、最新のニュース素材を題材として勉強したい人
- 社会情勢も英語学習と一緒に知っておきたい社会人
- 趣味が多いわけではないが身近なテーマでスピーキングをやりたい人
- 画像や視覚的な情報から発想を広げて学びたい人
- 自己表現を大切にする人⇒自分の経験や思いを英語で表現し、表現力を磨きたい人
- 親子の時間を楽しみたい家庭⇒子どもが好きなモノでテーマを生成し一緒に英語を学べる
5.2. 指定した回数だけテーマ生成、録音、評価を繰り返します。各フェーズにはそれぞれ制限時間がついています。また、マラソン中は直前に選択したテーマを保存しているのでテーマを固定して録音、評価を繰り返すことで同じテーマに対して何度も練習することができます。これらによってテンポのよい学習が可能です。さらに、評価画面では内容評価と音声評価を換算して200点満点にして毎回保存していきます。
5.3.指定した回数のマラソンが終了すると、各回の得点の推移を棒グラフで見ることが出来ます。この得点の平均によって背景が金、銀、銅、青のいずれかに決まります。shareボタンを押すと、スコアのグラフ画像をコメントとともにSNSに共有できます。
5.4. 設定画面に戻り「過去の記録を見る」を押すと過去のマラソンの得点の平均が折れ線グラフで表示されます。直近7日間のマラソンモードの継続日数とマラソンの得点によりgold, silver, bronze, blueのいずれかが決まり、これによりランクシステムを実現しています。こちらもshareボタンを押すと、背景画像をコメントとともにSNSに共有でき、ランクが上がった喜びを友達とシェアできます。
- 自分の成長を可視化することでモチベーションを得たい人
- ランクが上がることや競技性に楽しみを感じる人
- 日々の頑張りを共有したい人
まず一番は楽しく勉強をすることができるので、学生から大人まですべての英語学習者が楽しく継続的に英語スピーチ練習を学ぶことができます。 また、それぞれのモードを設定したのは、以下を解決することを目的にしているからです。
- 「好きなテーマ」モードでは、好きなテーマを融合させたテーマを生成して、他では見られない 「自分の好きが詰まったユニークなテーマ」 に対してスピーキングをするモードです。
- 「Youtube」モードでは、欲に負けてYoutubeを見る人でも、その内容をすぐにスピーキングでアウトプットすることで新たな勉強の流れを作っています。
- 「News」モードでは、リアルの時事問題を生かしてテーマを生成するので、長い時間英語学習をすることで社会情勢がわからくなることを防ぎ、むしろニュースを読む習慣を提供しています。
- 「画像テーマ」モードでは、日常の一枚を入力してそれを利用してテーマ生成を行うモードです。このような機能は他では見られず、視覚を介した新しく楽しい学習体験を提供します。
- 「マラソン」モードでは、上記4つのモードへの競技性の導入、ユーザーの努力の見える化、スコアと継続日数によるランクの設定、日々の頑張りの共有機能の実装により、ユーザーに高ランクを目指す楽しさを提供し、ユーザーのモチベーションをアップさせます。
このように自分の趣味や日常の延長線上に、英語スピーチ練習をすることが可能なので楽しく継続性の高い英語スピーキング学習アプリになっています。また、学習の際、自分の好きなことを題材にしているので、スピーチに詳細な具体例や個人の体験を入れやすくなります。
評価については音声、内容の両面で行っています。音声面の評価では音声認識にWhisper、評価にSpeechace APIを用い、高精度の発音分析による１人では見つけにくい発音ミスの指摘を可能にしています。内容については 「テーマとの一貫性」、「構成」、「独自性」、「文法」、「語彙の多様性」を観点にしています。スピーチが構成として整っているかを評価し、「独自性」の観点によりユーザーの具体例や個人の体験を高く評価するシステムを整えています。よって、このアプリを使うことでユーザーが英語で物事を説明する際の表現力が向上すると思います。
以上により背景の項で述べた3つの課題を私達なりのアプローチで解決しています。
- 通信機能の実装により、他者と競争しあうことで学習意欲の向上を促す
- 通知機能などを駆使して、継続的な英語学習に取り組みやすくする
- 「画像テーマモード」で画像からキャラクターや山や川の名前など、特定の固有名詞がとってこれたらより子どもが喜ぶモードになる。これはopenAIの規制的に現状では厳しい。
- メインコンテンツをスピーキング学習としながら、他の英語能力も学べるようにする
- 英語能力をRPGのようなスキルツリーやレート（あるいはレベル）として成長度を可視化すると共に、英語学習のゲーム化を目指して楽しく学べるようなアプリケーションにする
- また、スキルツリーによる可視化により、体系的な学習を可能にする
- Android版のアプリケーション開発
- まとめると、さらに楽しく、成長を実感できるアプリにしたいです！
- ワードを融合させて融合させてユニークで面白いテーマの生成
- WhisperとSpeechace APIを用いた音声認識精度の向上と、評価観点やプロンプトを工夫することでスピーチ内容の評価を充実させたこと
- 多くのユーザーにリーチするための目的が異なる4つのモード(楽しく簡単に学べる"好きなテーマ"モード、動画を見た延長線上で学ぶための"Youtube"モード、ニュースを見ることが日課である社会人に英語学習を結びつけるための"News"モード、日常の1枚やバズりそうな1枚を素材としてスピーキングができる"画像テーマ"モード)の実装
- それら4つのモードに競技性やランクシステム、友達との共有機能を結びつけたマラソンモードの実装
- Open API(GPT-4o, gpt-4-vision-preview, whisper-1)
- Youtube API
- Speechace API
- News API
- gooラボAPI キーワード抽出API
- SwiftUI
- SwiftSoup
- SDWebImageSwiftUI
- iPhone(iOS18.0以降でデモをした)
-
テーマを自分の好きなキーワードから生成してそれをスピーチのテーマとするアイデア、機能
-
自分の好きなYoutubeを検索できるようにしてそのタイトルをもとにスピーチをするアイデア、機能
-
ニュースのHTMLが長すぎて処理がうまくいかなかったり時間がかかりすぎる問題を、HTMLのニュース形式がバラバラであるが多くで共通の
タグによってスクレイピングすることで関数部分を除外し、ChatGPTが処理できるトークン数に収めることができることに気づき処理した機能
-
これらを頑張ったことでユーザーが自分だけにしかできないスピーチを構成し、発表させ、それを評価できるシステムが、何よりも楽しい学習方法で構築できたことが一番の独自機能だと感じています。
-
高精度音声認識＆独自評価基準を開発した、commit_idのeaee9d9が力を入れた実装になります。