LLM Course

0. セットアップ

1. Transformerモデルについて

2. 🤗 Transformersの使用

4. モデルとトークナイザーの共有

7. 主要な自然言語処理タスク

イントロダクショントークン分類マスク言語モデルの微調整翻訳要約因果言語モデルを一から学習質問応答 NLPをマスターチャプター修了クイズ

8. 助けの求め方

コースのイベント

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Pytorch TensorFlow

章末クイズ

この章で学んだことをテストしてみましょう！

1. 次のタスクのうち、トークン分類問題として組み立てられるものはどれでしょうか？

文中の文法的な構成要素を見つける。文が文法的に正しいかどうかを調べる。文中で言及されている人物を見つける。質問の答えとなる単語の塊を文中から見つける。

2. トークン分類のための前処理は、他の前処理パイプラインとどの部分が違うのでしょうか？

何もする必要はありません。テキストはすでにトークン化されています。テキストは単語として与えられているので、サブワードトークン化を適用するだけです。特殊なトークンには -100 を使ってラベル付けしています。単語を切り捨て/パディングを適用する際に、ラベルも入力と同じサイズに切り捨てるかパディングする必要があります。

3.トークン分類問題で単語をトークン化し、そのトークンにラベルを付けたい場合、どのような問題がありますか？

トークナイザーは特別なトークンを追加しますが、それに対応するラベルがありません。各単語は複数のトークンを生成できるため、ラベルの数よりも多くのトークンを持つことになります。追加されたトークンはラベルを持たないので、問題はありません。

4. 「ドメイン適応」とはどういう意味ですか？

あるデータセットに対してモデルを実行し、そのデータセット内の各サンプルに対する予測値を得ることです。あるデータセットでモデルを学習することです。事前に学習したモデルを新しいデータセットを微調整することで、そのデータセットに適応した予測をすることです。モデルをより堅牢にするために、誤分類されたサンプルをデータセットに追加することです。

5. マスク言語モデリング問題におけるラベルとは何ですか？

入力文の一部のトークンはランダムにマスクされます。ラベルは元の入力トークンです。入力文のいくつかのトークンはランダムにマスクされ、ラベルは元の入力トークンを左にシフトしたものです。入力文の一部のトークンをランダムにマスクし、その文が肯定的か否定的かをラベルとします。 2つの入力文のトークンの一部がランダムにマスクされた後、ラベルとは2つの文が類似しているかどうかになります。

6. 以下の作業のうち、シーケンス間問題と見なせるものはどれですか？

長い文書の短いレビューを書く文書に関する質問に答える中国語の文章を英語に翻訳する甥っ子/友人が送ってきたメッセージを正しい英語に直す

7. シーケンス間問題におけるデータの前処理はどのように行うのが適切でしょうか？

入力とターゲットはinputs=...とtargets=...で一緒にトークナイザーに送らなければなりません。入力とターゲットの両方を前処理する必要があり、トークナイザーを2回別々に呼び出す必要があります。いつも通り、入力をトークン化すればいいだけです。入力はトークナイザーに送られなければなりません。ターゲットもですが、特別なコンテキストマネージャーの下で送らなければなりません。

8. なぜシーケンス間問題には Trainer の特定のサブクラスが存在するのでしょうか？

シーケンス間問題はカスタム損失を使い、-100に設定されたラベルを無視するためです。シーケンス間問題には特別な評価ループが必要だからです。シーケンス間問題ではターゲットがテキストになるためです。シーケンス間問題では2つのモデルを使用するためです。

10. 新しいモデルの事前学習はいつ行うべきですか？

特定の言語で利用できる事前学習済みモデルがない場合たとえ事前学習済みモデルがあったとしても、利用可能なデータがたくさんある場合使用している事前学習済みモデルのバイアスに懸念がある場合利用できる事前学習済みモデルが十分に良い性能ではない場合

11. なぜ、たくさんのテキストで言語モデルを事前学習する事は簡単なのですか？

インターネット上にたくさんのテキストがあるからです。事前学習の目的では人間がデータにラベル付けする必要がないからです 🤗 Transformers は数行のコードで学習を開始することができるからです。

12. 質問応答タスクのためにデータを前処理する際の主な課題は何ですか？

入力をトークン化する必要があります。非常に長い文脈を扱う必要があり、その中には、答えに繋がるかどうかわからないいくつかの学習対象となる特徴があります。入力だけでなく、質問に対する答えもトークン化する必要があります。テキスト内の回答の範囲から、トークン化された入力の開始と終了のトークンを見つけなければなりません。

13. 質問応答では通常どのように後処理が行われますか？

モデルが回答の開始と終了の位置を与えるので、対応するトークンの範囲をデコードするだけです。モデルは、1つの例文から作成した各特徴の開始位置と終了位置を与えるので、最も良いスコアを持つものの中から対応するトークンの範囲を解読すればよいです。このモデルでは、1つの例文から作成した各特徴の答えの開始位置と終了位置を与えるので、ベストスコアを出した方のコンテキストの範囲に合わせればいいだけです。モデルが答えを生成するので、あなたはそれを解読すればいいだけです。

Update on GitHub

←NLPをマスター

Next chapter

章末クイズ 1. 次のタスクのうち、トークン分類問題として組み立てられるものはどれでしょうか？2. トークン分類のための前処理は、他の前処理パイプラインとどの部分が違うのでしょうか？3.トークン分類問題で単語をトークン化し、そのトークンにラベルを付けたい場合、どのような問題がありますか？4. 「ドメイン適応」とはどういう意味ですか？5. マスク言語モデリング問題におけるラベルとは何ですか？6. 以下の作業のうち、シーケンス間問題と見なせるものはどれですか？7. シーケンス間問題におけるデータの前処理はどのように行うのが適切でしょうか？8. なぜシーケンス間問題には Trainer の特定のサブクラスが存在するのでしょうか？9. Transformerモデルで compile() を呼び出す際に、損失を指定する必要がないことが多いのはなぜですか？10. 新しいモデルの事前学習はいつ行うべきですか？11. なぜ、たくさんのテキストで言語モデルを事前学習する事は簡単なのですか？12. 質問応答タスクのためにデータを前処理する際の主な課題は何ですか？13. 質問応答では通常どのように後処理が行われますか？