LMとLLM
キーワード
- LM
- n-gramモデル
- ニューラル言語モデル
- LLM
- プレトレーニング
- ハイパーパラメータ
- Temperature
- Top-p
- プロンプト
- プロンプトエンジニアリング
LM(Language Model : 言語モデル)
- LMとは、自然言語からなる文章をコンピュータで扱うための確率モデル
- 文章の単語や分の並びなどに着目して、自然言語としてどれだけ自然であるかを評価する
- 【技術】
- n-gramモデル:直前のn単語から予測
- ニューラル言語モデル:文脈や意味を考慮
LLM(Large Language Model: 大規模言語モデル)
- 非常に大規模なデータセットを用いてトレーニングされた自然言語処理モデル
- 自然言語処理タスクを高い精度で行うことができる
- 【トレーニング】
- プレトレーニング
- 大量のテキストデータ(教師なし学習)を使用して自然言語の知識を獲得するための学習法
- ファインチューニング
- タスク特有のデータやコンテキスト(文脈)に応じた語彙や表現を学習し、タスクの性能を向上させる学習プロセス
- ファインチューニングにより、固有のニーズに特化したモデルを作成できる
- ハイパーパラメータを調整することで、モデルの複雑さや学習の進捗度合いを制御できる
- パラメータ
- Temperature:自由度を決定
- Top-p:どのように次の単語を選択するかを決定
- ※これらは、LLMのバージョンによって異なる設定されているため、この値によって出力結果が異なる可能性がある
- プレトレーニング
プロンプトエンジニアリング
- プロンプトエンジニアリングとは、人口知能システムに対する指示や質問(プロンプト)を設計し、最適な結果を得るための技術や戦略
プロンプティングの基礎
キーワード
- Instruction
- Context
- Input Data
- Output Indicator
- Zero-Shot プロンプティング
- Few-Shot プロンプティング
出力の質が向上する要素
- Instruction(命令):AIに何を行ってほしいか指示
- Context(文脈):プロンプトの背景情報
- Input Data(入力データ):AIあが処理すべき具体的なデータや情報
- Output Indicator(出力指示):AIの出力がどのような形式であるかを示す
Zero-Shot プロンプティング
- Shot(例示)が0個の文章校正で入力
- 聞きたい質問んをそのまま入力して回答を得るだけの簡単なプロンプティング
- ハルシネーション(もっともらしい嘘)によって、信頼性が低くなる場合がある
Few-Shot プロンプティング
- 例文を2、3個入力して質問を行う
- AIがルールを理解しやすくなるので、正解率がグンと上がる
LLMプロンプティング の実践
基礎的なプロンプティング技法
- 文章の校正、構成箇所の確認
- 文章の作成だけでなく、文章の校正や表現、文法の訂正、校正箇所の明示
- 文章の整理
- 句読点や段落の区切りなどの挿入により読みやすくする
- 文章の要約
- 長文章を要約し、概要の把握に有用
- 箇条書き⇔文章変換
- 箇条書きの説明文を文章化(説明文を箇条書き)できるため素案作成などの準備タスクが軽減される
- 文章の対象を変更
- 指定した年齢や身分、属性に合わせた文章に変換できる
- 話者の設定を変更
- 話し手の人物像を設定して、出力を操作する
- 文章を会話のやり取りへの変換
- 一般的な文章を会話のやり取りへ変換
- 例え話で理解を深める
- 例え話でわかりやすく説明する
- 数字の変換
- 漢数字をアラビア数字などに変換などができる
テキスト生成AIを用いたビジネス応用
活用例
- メールの作成
- アンケート項目の作成
- アンケートの分析
- キャッチコピーの作成
- ビジネス書類のテンプレート
- アジェンダの作成
- 業務の手順を分解
- タスクの抽出
- 外国語の翻訳
- 英単語から英作文の作成
- 海外企業宛てのメール文章の作成
- ディベートを行う
- 姓と名の分離
- ふりがなの記載
- ブレインストーミング
- 質問させながら一緒に進める
テキスト生成AIの不得意なこと
不得意分野
- 正確な文字数の指定
- 計算
- 最新の情報
- 芸術の批評
- 感情や直感に基づく判断
- 文脈の深い理解
- 新しい情報の生成
- モラルや倫理に関する判断

コメント