タイトル: Transformers versus LSTMs for electronic trading https://arxiv.org/pdf/2309.11400.pdf この論文の内容を簡単に説明します。 著者: Paul Bilokon, Yitao Qiu 概要: この研究では、金融の時系列予測において、LSTM（Long Short-Term Memory）と…
タイトル: 「Fictional Worlds, Real Connections: Developing Community Storytelling Social Chatbots through LLMs」 https://arxiv.org/abs/2309.11478 この論文の要約です。 著者: Yuqian Sun, Hanyi Wang, Pok Man Chan, Morteza Tabibi, Yan Zhang, H…
タイトル: 「Generative AI vs. AGI: 現代のLLMの認知的な強みと弱み」 https://arxiv.org/abs/2309.10371 著者: Ben Goertzel 概要: この論文では、2023年半ばのLLM（大規模言語モデル）に関する詳細な考察が行われています。具体的には、ChatGPT, GPT-4, B…
1. im2colの基本 「im2col」は、畳み込み演算を効率的に行うための手法です。具体的には、4次元配列（ミニバッチサイズ、チャンネル数、縦幅、横幅）を行列に変換し、畳み込み演算を行列積の計算として実行します。この変換により、畳み込み演算の処理速度が…
im2colとは？ 「im2col」とは、画像の畳み込み演算を効率的に行うための技術の一つです。名前の「im2col」は「image to column」の略で、文字通り画像データを列データに変換することを意味しています。 例えば… 画像が本棚で、フィルターが特定の本を探すた…
LLMのファインチューニングによって課題に合わせた出力をしたいと思いますよね。 できることできないことをまとめました。 https://note.com/npaka/n/nec63c01f7ee8 を参考にさせて頂きました。 LLMのファインチューニングで何ができて、何ができないのか LL…
LightGBMとは LightGBMは、勾配ブースティングを基にしたアルゴリズムで、特徴量の重要性の計算や欠損値の取り扱いを自動的に行い、回帰および分類の問題に適用できるモデルです。LightGBMは、XGBoostを超えると言われる強力な機械学習アルゴリズムの一つで…
全結合型ニューラルネットワーク（Fully Connected Neural Network）とは 簡単に言ってしまうと、普通のニューラルネットワークです。ディープラーニングの勉強をしていると突然出てきますが、１周回って普通のニューラルネットワークです。 ディープラーニ…
プライベートではGoogle Colabばかりで、たまたまターミナルを開いて、ちょっとpythonを使おうとしたらまさかの2系だったので3系に変更します。 状況 @MacBook-Pro ~ % python WARNING: Python 2.7 is not recommended. This version is included in macOS f…
メモリベースとモデルベースの手法は、推薦システムの中で広く使われる2つのアプローチです。以下にその主な違いをまとめました。 メモリベース: データ使用: 既存のユーザー-アイテムの評価データを直接使用してレコメンドします。 計算方法: ユーザー間や…
総務省が発表しているDX時代の企業プライバシーガバナンスガイドブックについてまとめました。 元資料はこちらです。 https://www.soumu.go.jp/main_content/000877678.pdf プライバシーガバナンスのフレームワーク サマリ 1. 目的と背景 Society5.0の実現に…
GPT-3.5 Turboのファインチューニング：カスタマイズの新たな可能性 OpenAIのGPT-3.5 Turboが、特定のユースケースに最適化するためのファインチューニングが可能となりました。 ユーザーエクスペリエンスを次のレベルへ GPT-3.5 Turboのリリース以降、多く…
総務省と経済産業省が「DX時代における企業のプライバシーガバナンスガイドブックver1.3」を策定し、公表したという情報に関する説明をまとめました。 https://www.soumu.go.jp/menu_kyotsuu/important/kinkyu02_000513.html 「DX時代における企業のプライバ…
UNESCOが2021年11月に採択した「人工知能の倫理に関する勧告」です。 ディープラーニング協会のG検定の対策としても読んでおくと良いかと思います。 https://en.unesco.org/artificial-intelligence/ethics UNESCOの人工知能の倫理に関する勧告： UNESCOは、…
説明可能なAI（XAI）とは 説明可能なAI（XAI）とは、AIの意思決定や予測の過程やアルゴリズムを人間が理解できる形で説明できるAI、またはそのための技術のことを指します。XAIはAIの進化と導入において重要な側面であり、AIの信頼性を高め、公平性や透明性…
Adversarial attacksとは Adversarial attacksとは、AIなどのモデルに対して微細な変更を加えた入力データを提供し、モデルの誤判定を引き起こす手法のことを指します。これによって、人間にはわかりにくい変更でも、AIの性能を低下させたり、誤動作を引き起…
ディープフェイクとは ディープフェイクは、人工知能を用いて、人物の動画や音声を合成する技術を指します。この技術を使用することで、本物そっくりの人工的な映像や音声が生成され、視覚や聴覚的に人間には本物と区別が難しいものが作成されることがありま…
我が国のAIガバナンスの在り方 AIガバナンスをめぐる国内外の動向 AI原則からガバナンスの具体化へという流れ リスクベース・アプローチ、リスクの評価と分類 AIガバナンスの構造（AI原則、横断的で中間的なルール、個別分野等にフォーカスしたルール、モニ…
産学官連携による共同研究強化のためのガイドラインについて、要点をまとめました。 第４次産業革命の影響: 第４次産業革命は、産業界での変革をもたらし、コスト競争から付加価値の獲得競争へと移行しています。この変化は複雑で高度で、迅速に進行していま…
匿名加工情報とは 匿名加工情報とは、個人情報を識別できないように加工し、個人を特定できない状態にした情報を指します。この情報は、一定の条件下で、個人情報保護法の改正により導入されました。主な目的は、個人情報を保護しながらデータの利活用を促進…
AIの普及促進に関する総務省の取り組み AIの普及促進に関する総務省の取り組みについて要点をまとめます。 AIネットワーク化と拡散: AIはネットワーク化されることにより、その利点とリスクが増大し、広範に拡散される可能性があります。 AIネットワーク社会…
「AI戦略2022」は、内閣府科学技術・イノベーション推進事務局が策定した、人間尊重、多様性、持続可能という3つの理念に基づき、Society 5.0の実現とSDGsへの貢献を目指す日本のAI戦略です。以下にその概要と主な成果をまとめます。 3つの理念と5つの戦略目…
AI創作物を法的に保護する方法 以下に各方法に関する説明を提供します。 著作隣接権 AI創作物を特定の方法で伝達する場合、その伝達物を著作隣接権で保護することで、AI創作物を間接的に保護することが考えられます。著作隣接権は、実演家やレコード製作者な…
生成AIとは 生成AIは一種の人工知能で、その特徴はクリエイティブなアウトプットを作成できることです。音楽、画像、映像、コーディング、文書など、様々なものを生成可能です。 このAIは、機械学習モデルの一部として、AIが自分自身で答えを見つける深層学…
カテゴリ変数とは カテゴリ変数は、データの中で項目やラベルを区別するために使用される変数です。カテゴリ変数の値は、文字列または数値の集合です。 カテゴリ変数はデータ分析や統計的な処理において重要な役割を果たし、データの特性に基づいて適切な解…
Xavierの初期値とHeの初期値 Xavierの初期値とHeの初期値は、ニューラルネットワークの重みを初期化するための方法です。これらの初期化方法は、モデルの学習の効率性や性能に影響を与えることが知られています。 Xavierの初期値 点対称で中央付近で線形関数…
pandas.DataFrame.locとは Pandasライブラリで提供されるデータフレームのメソッドの一つです。locメソッドは、データフレーム内の特定の行と列にアクセスするために使用されます。 locメソッドは、行ラベルと列ラベルを指定してデータフレーム内の要素にア…
確率的勾配降下法 確率的勾配降下法（Stochastic Gradient Descent, SGD）は、機械学習や深層学習において最適化アルゴリズムとして広く使われています。SGDは、勾配降下法（Gradient Descent）を基にしており、大規模なデータセットを扱う際に効果的です。 …
逆伝播の実装 逆伝播の実装について、以前、加算ノードと乗算ノードについて書きました。 https://engineernoi.hatenablog.com/entry/2023/06/17/131707 今回はソフトマックス関数とクロスエントロピー誤差関数の実装です。 ソフトマックス関数とクロスエン…
数値微分と誤差逆伝播によって求められる勾配は、計算方法や精度などの観点から異なる特徴を持ちます。そのため、両者に違いがあるのか確認する必要があります。差異がある場合には実装が間違っていることがあるので、デバッグにも使えます。 数値微分 微小…
