GPT-4を越えたClaude 3

Claude 3モデルファミリー

AI技術の進化は目覚ましく、その最前線に立つのが「Claude 3 モデルファミリー」です。この新しいモデルファミリーは、Opus、Sonnet、Haikuという3つのAIモデルがあります。

こちらのサイトの内容を解説します。 https://www.anthropic.com/news/claude-3-family

Opus: 高度なインテリジェンスの極み

Opusは、一般的なAI評価ベンチマークにおいて、同類の他のモデルを圧倒しています。大学レベルの専門知識、卒業レベルの専門的推論、基本的な数学問題解決能力で他をリードし、複雑なタスクに対する人間に近い理解力と流暢さを示します。

SonnetとHaiku: 高速性と効率性

SonnetはClaude 2や2.1よりも2倍の速度を誇り、迅速なレスポンスを要するタスク、例えば知識検索やセールス自動化に最適です。Haikuはそのインテリジェンスカテゴリーで市場最速かつ最もコスト効率の良いモデルとして、短時間での情報処理能力に優れています。

GPT-4を越えた精度

Claudeの各モデルに対してGPT-4との比較がされています。OpusはGPT-4よりも優れた結果となっています。他のモデルでもGPT-3.5よりも優れています。 プロンプトの条件は同等の条件であったり、GPT-4よりも不利な条件でも高性能な結果となっています。

強化されたビジョン能力

Claude 3 モデルは、写真、チャート、グラフ、技術図面など、幅広いビジュアルフォーマットの処理能力において、業界をリードしています。これにより、様々なフォーマットで符号化された知識ベースを持つ企業に新たな可能性が開かれます。

進化した精度と安全性

以前のモデルに見られた不必要な拒否を大幅に減らし、より正確な回答を提供します。また、情報の誤情報やバイアスへの対策を強化し、より信頼性と公正性を高めたモデル設計がなされています。

長いコンテキストとほぼ完璧な記憶能力

Claude 3 モデルは初期段階で200Kのコンテキストウィンドウを提供し、1百万トークンを超える入力を受け入れる能力を持っています。これは、長いコンテキストのプロンプトを効果的に処理するために必要な、堅牢なリコール能力によって支えられています。

使いやすさの向上

複雑なマルチステップの指示に従う能力、ブランドボイスや応答ガイドラインへの遵守、顧客向け体験の開発など、Claude 3 モデルは使いやすさにおいても大きな進歩を遂げています。

youtu.be

深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第2版 （EXAMPRESS） [ 一般社団法人日本ディープラーニング協会 ] 価格:3,080円 (2023/8/16 20:42時点) 感想(5件)

ハノイの塔

ハノイの塔は、数学的なパズルゲームの一つで、フランスの数学者エドゥアール・リュカが1883年に考案しました。このゲームの目的は、一連のルールに従いながら、ディスクを一つの柱から別の柱へ移動させることです。小さなディスクから始まって大きなディスクまで順に積み重ねられたディスクを、始点の柱から他の柱へと移動させるパズルゲームです。

ルール

ハノイの塔

1. ディスクの移動: ゲームは、サイズが異なる複数のディスクと、それらを挿入できる3つの柱で構成されています。これらのディスクは最初に一つの柱に小さいものが上になるように順番に積み重ねられています。

2. 一回に一つのディスク: 一度に一つのディスクだけを別の柱へ移動させることができます。ディスクは柱の上から取り除かれ、別の柱の上に置かれます。

3. 大きなディスクの上に小さなディスクを置けない: 小さなディスクの上にのみ大きなディスクを置くことができます。つまり、どの柱にも、より大きなディスクがより小さなディスクの上に来ることはありません。

目標: すべてのディスクを、最初の柱から他の柱の一つに、上記のルールに従って移動させることです。ただし、最終的にはディスクの順番が初期状態と同じになるように積み重ねられていなければなりません。

このパズルは、最小の移動回数で解くことが目標です。ディスクの数が増えると、必要な手順の数は指数関数的に増加します。例えば、ディスクが3枚ある場合の最小移動回数は7回、4枚の場合は15回です。ディスクの数がn枚の場合、解くのに必要な最小移動回数は (2ⁿ - 1) 回です。

ハノイの塔のまとめ

ルール

1. 一度に一つのディスクだけを移動させることができます。
2. ディスクは必ず小さいディスクの上にしか置けません。
3. 最終的にすべてのディスクを別の柱に移動させるのが目標です。

ディスクの数によって複雑さが増し、最小限の手順で完了させることが目標です。

youtu.be

深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第2版 （EXAMPRESS） [ 一般社団法人日本ディープラーニング協会 ] 価格:3,080円 (2023/8/16 20:42時点) 感想(5件)

ChatGPTの回答の精度を高める「Tree-of-Thoughtsプロンプト」の活用法

新しいプロンプト手法

ビジネスにおけるデータ分析や意思決定の助けとしてAIの活用がますます重要になっています。特に、OpenAIのChatGPTのような言語モデルは、ビジネス上の多様な課題に対する洞察や解決策を提供する強力なツールとなり得ます。しかし、AIから最適な回答を引き出すには、質問の仕方、すなわちプロンプトの工夫が必要です。ここで注目すべき新しい手法が「Tree-of-Thoughtsプロンプト（ToT）」です。

Tree-of-Thoughtsプロンプトとは？

Tree-of-Thoughts（ToT）プロンプトは、2022年にYao et al.とLong (2023)によって報告された、AIの思考過程に「評価」や「深掘り」を加えることで、複雑な問題に対応させる手法です。従来の「Input-Output Prompting（IO）」「Chain-of-Thought Prompting（CoT）」「Self Consistency with CoT（CoT-SC）」といった手法に比べ、AIの回答精度が大幅に向上するとされています。 arxiv.org

従来のプロンプト手法との違い

ToTと従来手法の比較

• IO Prompting: 最も基本的な質問と回答の形式で、1つの質問に対して1つの回答を得ます。

• CoT Prompting: 問題解決のために、ステップバイステップで考えを進める手法です。

• CoT-SC: CoTのアプローチを複数回実行し、最も一般的な回答を選択します。

これらに対して、ToTプロンプトは、複数のアイデアを提示し、それらに対して評価を行い、最適な解決策を選択することで、より複雑な問題に対して高精度の回答を得ることが可能です。

ToTプロンプトの活用法

1. 案を出す: 課題に対して複数の解決策をAIに提案させます。
2. 評価する: 提案された解決策に対して、その実現可能性や効果を評価します。
3. 深掘りする: 評価の結果、有望と思われる解決策について、さらに深く掘り下げて情報を得ます。
4. 順位付けする: 最終的に、最も適切と思われる解決策を選択します。

ToTプロンプトを活用するメリット

Tree-of-Thoughts（ToT）プロンプトを用いるメリットは以下の通りです：

1. 誤りの早期発見と修正：ToTプロンプトでは、思考の各ステップで評価を挟むことで、誤った方向へ進む前に間違いを発見し、修正する機会を提供します。これは、一方向の思考プロセスでは見過ごされがちな誤りを早期に特定し、より正確な結果に導くことを可能にします。

2. 多様なアプローチの探索：ToTプロンプトは、一つの問題に対して複数の解決策を探索することを可能にします。これにより、異なる視点から問題を考えることができ、創造的な解決策や予期せぬ有益な結果を見つけ出すことができます。

実践例　〜経営課題解決に用いる〜

ToTプロンプトを活かすには、まず自社が直面している課題を明確に定義することから始めます。次に、その課題に対する複数の解決策をAIに提案させ、それらの提案に基づいてさらに深堀りを行い、最終的に実行可能で効果的な解決策を選択します。

例えば、経営戦略の最適化を目指す場合、ToTプロンプトを用いて、異なる販売チャネルの利点と欠点を評価し、その上で最も効率的なチャネル組み合わせを選び出すことができます。このプロセスを通じて、AIはただのツールから、経営上の意思決定を支えるパートナーへと変わります。

まとめ

Tree-of-Thoughtsプロンプトは、より精度の高い解決策を見つけ出すための強力なツールです。従来のプロンプト手法に比べ、AIの回答の精度を大幅に向上させることができ、経営判断の質を高めることが期待できます。

youtu.be

深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第2版 （EXAMPRESS） [ 一般社団法人日本ディープラーニング協会 ] 価格:3,080円 (2023/8/16 20:42時点) 感想(5件)

OpenAIが発表した「Sora」が凄い！

テキストから動画へ

OpenAIは2024年2月15日に、テキストプロンプトから最大60秒の動画を生成することができる革新的なAIモデル「Sora」を発表しました。このモデルは、そのリアリズムと複雑なシーンの生成能力で特に注目を集めています。

Soraの特徴

• 複雑なシーンの生成: 複数のキャラクター、特定の動き、細部まで精密に表現された被写体や背景など、リアルな動画の生成が可能です。
• リアリズム: 生成される動画は非常にリアルで、物理世界における存在の理解を基にしています。
• 限定公開: 現在、安全性やリスクの評価のためにレッドチームによってのみアクセスが許可されています。
• C2PAメタデータ: 生成された動画にはCoalition for Content Provenance and Authenticityのメタデータを含ませ、AIによって生成されたことが識別できます。

Soraが生成した動画

公式のページでいくつか例が紹介されています。 https://openai.com/sora

日本が多いのは嬉しいですね。 YouTubeでも解説していますので合わせご覧ください。

OpenAI 動画生成モデル「Sora」が凄い！ youtu.be

OpenAIの目標

OpenAIの目指すところは、動く物理世界を理解し、シミュレートするAIの開発です。Soraはその重要な一歩を示しており、クリエイティブ産業における革新の可能性を広げています。

今後の展望

OpenAIはSoraの改良と安全対策の強化を目指し、フィードバックを積極的に求めています。将来的には、より安全で実用的な形でOpenAIの製品群にSoraを組み込み、一般に提供することを計画しています。

Soraの登場は、AIが人間の創造性をどのようにサポートし、拡張できるかの新たな地平を開いています。これからの展開が期待されます。

youtu.be

深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第2版 （EXAMPRESS） [ 一般社団法人日本ディープラーニング協会 ] 価格:3,080円 (2023/8/16 20:42時点) 感想(5件)

RLHF(人間のフィードバックによる強化学習)はもう古い？

RLHF

RLHFは大規模言語モデル(LLM)を人の好みに合わせた出力をするために用いられる手法です。 この技術は強化学習(RL)と人間のフィードバック(HF)を組み合わせた考え方になります。 ChatGPTもRLHFを使ってファインチューニングされています。 原著論文はDeep Reinforcement Learning from Human Preferencesという論文です。 arxiv.org

2023年〜の技術動向

RLHFはLLMにおいてよく使われる方法でしたが、欠点があります。 RLHFは複雑で不安定な手続きです。まず人間の好みを反映した報酬モデルをフィットし、それを最大化するように大規模なLMをファインチューニングします。

Direct Preference Optimization（DPO）

DPOという方法が提案されました。 こちらが論文です。Direct Preference Optimization:Your Language Model is Secretly a Reward Model arxiv.org

RLHFとOPD

RLHFの報酬モデルの新しいパラメータ化します。通常のRLHF問題を単純な分類損失だけで解決でき、安定して実用的で計算量も軽減され、ファインチューニング中のLMからのサンプリングや重要なハイパーパラメータの調整が不要になります。 DPOは既存の手法と同等またはそれ以上に、人間の好みに合わせてLMを微調整できることが示されています。特に、DPOは感情の制御においてPPOベースのRLHFを上回っています。

RLHFとDPOの違い

RLHF（Reinforcement Learning from Human Feedback）とDPO（Direct Preference Optimization）の主な違いは、人間のフィードバックを使用した言語モデルの微調整プロセスにおいて、報酬モデルの適合とポリシー最適化の手法にあります。

報酬モデルの適合

• RLHF: まず、プロンプトと応答の対に対する人間の好みに関するデータセットに報酬モデルを適合させます。
• DPO: 報酬モデルを明示的に適合させる代わりに、DPOは最適化プロセス中に暗黙の報酬モデルを適合させます。

ポリシー最適化:

• RLHF: 得られた報酬モデルを使用して、強化学習によって最適なポリシーを見つけ、これを用いてモデルを微調整します。
• DPO: 分類目的を使用して、直接的に人間の好みに最も適するポリシーを最適化します。強化学習に頼ることなく、閉形式で最適ポリシーを抽出します。

RLHFは報酬モデルの適合とその報酬に基づく強化学習に依存するのに対し、DPOは報酬モデルを暗黙的に適合させ、直接ポリシーを最適化します。これにより、DPOは計算効率が向上し、安定性が確保されるという特徴を持っています。

今後の動向

Kahneman-Tversky Optimization(KTO)という手法があります。これはRLHF、DPOの学習データの作成コストを削減した方法です。今後の技術動向が気になりますね。

youtu.be

深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第2版 （EXAMPRESS） [ 一般社団法人日本ディープラーニング協会 ] 価格:3,080円 (2023/8/16 20:42時点) 感想(5件)

生成AIパスポート試験 試験内容と対策

生成AIパスポート試験

生成AIに関する資格試験「生成AIパスポート」が開催されます。 生成AIパスポートは一般社団法人生成AI活用普及協会が実施する試験です。 こちらを参考に記事を書いています。 guga.or.jp

試験

生成AIパスポート試験は、AIに関する基礎知識と生成AIの活用スキルを可視化するための資格制度です。試験では、コンテンツ生成の具体的な方法や事例、個人情報保護や著作権侵害、商用利用に関する注意点などが学ばれます。この資格は、生成AIを正しく活用し、新たな倫理的問題に対処するスキルを育成することを目的としています。

試験の対象者

• ＡＩ、生成ＡＩに興味関心のある方
• 生成ＡＩを正しく活用したい方
• ビジネスでの生成ＡＩ活用に不安のある方

生成ＡＩパスポート試験概要

• オンラインでの実施 （ IBT方式）
• 試験時間は60分間
• 問題数は60問
• 受験費用は11,000円（税込）

シラバス

• 第１章　AI（人工知能）
• 第２章　生成AI（ゲネレーティブAI）
• 第３章　現在の生成AI（ジェネレーティブAI）の動向
• 第４章　情報リテラシー・基本理念とAI社会原則
• 第５章　テキスト生成AIのプロンプト制作と実例

注意事項

以下の行為に該当した場合（該当すると疑われる場合を含む）は失格となります。

• 必要物以外を持込、使用した場合
• デュアルディスプレイ、複数モニターを使用した場合
• 試験実施内容の録音、録画、ライブ配信を行なった場合
• IBT受験ページ以外のWebページを閲覧した場合
• ブラウザ以外のアプリケーションを使用した場合
• 試験内容をメモした場合
• 試験に関して知り得た情報の複製、第三者への開示、漏えいをした場合
• 試験中に飲食、喫煙をした場合
• 試験中に途中退席をした場合
• 試験中に会話をした場合
• 試験終了ボタンを押す前に画面を閉じた場合
• 第三者へ助言を行ったまたは助言を受けた場合
• 受験申込者以外の人物が代わりに受験した場合
• 不正行為を行った場合あるいは疑わしい行為が判明した場合
• その他、試験における一般的な注意事項に該当する行為を行なった場合

G検定よりも厳しいので注意が必要です。

試験対策・勉強方

1番は公式のテキストを用いるのが良いと思います。 また、YouTubeで解説をしているので、補足的にこちらも合わせてご活用ください。 YouTubeチャンネルでは勉強の手助けとなる動画を公開します！

youtu.be

深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第2版 （EXAMPRESS） [ 一般社団法人日本ディープラーニング協会 ] 価格:3,080円 (2023/8/16 20:42時点) 感想(5件)

Generative AI Test 2024

Generative AI Testとは (Generative AI Test 2024時点）

最近、ビジネスや技術の分野で注目されている「生成AI」。その理解を深め、効果的に活用するための一つの方法が「Generative AI Test」です。このミニテストは、日本ディープラーニング協会（JDLA）が提供しています。 Generative AI Test 2024#1については2024年6月8日に開催と予告されています。（申込受付は４月頃開始予定）

Generative AI Testとは、一般社団法人日本ディープラーニング協会（JDLA）が実施する、生成AIに特化した知識や活用リテラシーの確認の為のミニテストです。 OpenAIやMidjourneyを始めとする近年企業活動にも導入がすすむ生成AIを、企業で安心かつ有効に活用するために必要不可欠な知識を有しているかどうかを確認できます。 Generative AI Testは、生成AI業界の第一線で活躍する当協会のプロジェクトメンバーが作成したミニテストです。 www.jdla.org

合格によって得られるオープンバッジ

こちらは2023#2の試験の時に取得したオープンバッジです。

テストの重要性

現代のビジネスにおいて、生成AIの活用は避けられない流れです。しかし、それに伴う不安や自信のなさを解消するためには、適切な知識と理解が必要です。Generative AI Testを受験することで、企業が生成AIを安心して活用できるようになるためのリテラシーを身に着けることができます。

習得できる知識とスキル

このテストを通して、受験者は以下のような知識やスキルを習得できます。

1. Generative AIの種類と特徴: さまざまな生成AI技術の理解と、それぞれの特性について学べます。
2. ビジネス活用の知識: 実際のビジネスシーンで生成AIを活用するための具体的な知識が身につきます。
3. 法律、倫理、セキュリティ: 使用する際の注意点、倫理的な考慮、セキュリティ面でのリスク管理について理解を深められます。
4. 事例による学習: 実際の使用例を通して、生成AIの応用方法を具体的に理解できます。

試験勉強

この試験では、シラバスが公開されていますので、シラバスに沿って勉強するのが良いです。

シラバスの対象範囲

• 生成AIの技術
• 生成AIの利活用
• 生成AIのリスク

ちなみにこの試験の難しいとことは択一式/多肢選択式であることです。多肢選択式というには正しいものを全て選べというような出題になっています。つまり、選択肢を比較した消去法で解答を選ぶことはできません。それぞれの選択肢で確実な知識が求められます。（ただ、Twitter(X)の情報を見ると、正解率は50%以下くらいでも合格している人がいるようです）

教材

この試験は新しい試験であるため、まだまだ教材が出ていません。 こちらのYouTubeの動画も参考になるかと思います。 youtu.be

深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第2版 （EXAMPRESS） [ 一般社団法人日本ディープラーニング協会 ] 価格:3,080円 (2023/8/16 20:42時点) 感想(5件)