ITエンジニア ノイのブログ

ITエンジニアのノイです。 YouTubeで ITエンジニアのお勉強という学習用の動画を公開しています。チャンネル登録お願いします!https://m.youtube.com/channel/UCBKfJIMVWXd3ReG_FDh31Aw/playlists

論文解説 人間が書いたか?LLMが書いたか?

解説する論文 タイトル: Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore 著者: Junchao Wu, Runzhe Zhan, Derek F. Wong, Shu Yang, Xuebo Liu, Lidia S. Chao, Min Zhang 論文のURL: arXivリンク 発表日: 2024年5月7日 専…

論文解説 LLMを用いた電子健康記録(EHRs)を調査

解説する論文 タイトル: A scoping review of using Large Language Models (LLMs) to investigate Electronic Health Records (EHRs) 著者: Lingyao Li et al. 論文のURL: arXiv 発表日: 2024年5月5日 専門外の人でも分かる解説 このレビューは、大規模言語…

論文解説 LLMによる医師の意思決定

解説する論文 タイトル: Adaptive Collaboration Strategy for LLMs in Medical Decision Making 著者: Yubin Kim, Chanwoo Park, Hyewon Jeong, Yik Siu Chan, Xuhai Xu, Daniel McDuff, Cynthia Breazeal, Hae Won Park 論文のURL: arXivリンク 発表日: 20…

論文解説 LLMで医療会話から医療ノート生成

解説する論文 タイトル: A Continued Pretrained LLM Approach for Automatic Medical Note Generation 著者: Dong Yuan et al. 論文のURL: arXivリンク 発表日: 2024年3月14日 専門外の人でも分かる解説 この研究は、医療会話から自動的に医療ノートを生成…

論文解説 LLMsの医療利用における倫理的考察

解説する論文 タイトル: The Ethics of ChatGPT in Medicine and Healthcare: A Systematic Review on Large Language Models (LLMs) 著者: Joschka Haltaufderheide, Robert Ranisch 論文のURL: arXivリンク 発表日: 2024年3月21日 専門外の人でも分かる解説…

論文解説 Aloe医療LLM

解説する論文 タイトル: Aloe: A Family of Fine-tuned Open Healthcare LLMs 著者: Ashwin Kumar Gururajan et al. 論文のURL: arXivリンク 発表日: 2024年5月3日 専門外の人でも分かる解説 この研究では、医療分野で使用されるオープンソースの大規模言語…

論文解説 東大とNHKからQANA

解説する論文 タイトル: QANA: LLM-based Question Generation and Network Analysis for Zero-shot Key Point Analysis and Beyond 著者: Tomoki Fukuma et al. 論文のURL: arXivリンク 発表日: 2024年4月 専門外の人でも分かる解説 この研究は、QANA(Ques…

論文解説 学生の試験採点にLLM

解説する論文 タイトル: Evaluating Students' Open-ended Written Responses with LLMs: Using the RAG Framework for GPT-3.5, GPT-4, Claude-3, and Mistral-Large 著者: Jussi S. Jauhiainen, Agustín Garagorry Guerra 論文のURL: arXivリンク 発表日: …

論文解説 ファインチューニングとハルシネーションの関係

解説する論文 タイトル: Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations? 著者: Zorik Gekhman, Gal Yona, Roee Aharoni, Matan Eyal, Amir Feder, Roi Reichart, Jonathan Herzig 論文のURL: arXivリンク 発表日: 2024年5月9日 専門外の…

Med-Geminiモデルが医療分野で可能にする新たな展開

はじめに Geminiモデルは、テキスト、画像、ビデオなど様々なモダリティに対応した高性能なAIモデルです。このモデルの派生として、特に医療分野向けにカスタマイズされた「Med-Gemini」が開発されました。これにより、医療分野におけるAIの活用可能性がさら…

GPT-4を越えたClaude 3

Claude 3モデルファミリー AI技術の進化は目覚ましく、その最前線に立つのが「Claude 3 モデルファミリー」です。この新しいモデルファミリーは、Opus、Sonnet、Haikuという3つのAIモデルがあります。 こちらのサイトの内容を解説します。 https://www.anthr…

ハノイの塔

ハノイの塔は、数学的なパズルゲームの一つで、フランスの数学者エドゥアール・リュカが1883年に考案しました。このゲームの目的は、一連のルールに従いながら、ディスクを一つの柱から別の柱へ移動させることです。小さなディスクから始まって大きなディス…

ChatGPTの回答の精度を高める「Tree-of-Thoughtsプロンプト」の活用法

新しいプロンプト手法 ビジネスにおけるデータ分析や意思決定の助けとしてAIの活用がますます重要になっています。特に、OpenAIのChatGPTのような言語モデルは、ビジネス上の多様な課題に対する洞察や解決策を提供する強力なツールとなり得ます。しかし、AI…

OpenAIが発表した「Sora」が凄い!

テキストから動画へ OpenAIは2024年2月15日に、テキストプロンプトから最大60秒の動画を生成することができる革新的なAIモデル「Sora」を発表しました。このモデルは、そのリアリズムと複雑なシーンの生成能力で特に注目を集めています。 Soraの特徴 複雑な…

RLHF(人間のフィードバックによる強化学習)はもう古い?

RLHF RLHFは大規模言語モデル(LLM)を人の好みに合わせた出力をするために用いられる手法です。 この技術は強化学習(RL)と人間のフィードバック(HF)を組み合わせた考え方になります。 ChatGPTもRLHFを使ってファインチューニングされています。 原著論文はDee…

生成AIパスポート試験 試験内容と対策

生成AIパスポート試験 生成AIに関する資格試験「生成AIパスポート」が開催されます。 生成AIパスポートは一般社団法人生成AI活用普及協会が実施する試験です。 こちらを参考に記事を書いています。 guga.or.jp 試験 生成AIパスポート試験は、AIに関する基礎…

Generative AI Test 2024

Generative AI Testとは (Generative AI Test 2024時点) 最近、ビジネスや技術の分野で注目されている「生成AI」。その理解を深め、効果的に活用するための一つの方法が「Generative AI Test」です。このミニテストは、日本ディープラーニング協会(JDLA)…

DeprecationWarning: scipy.sin is deprecated and will be removed in SciPy 2.0.0

DeprecationWarning このエラーはscipy.sinが非推奨(deprecated)であり、将来のSciPyバージョンでは削除される可能性があることを示しています。 例えば、Python でtransformerのPositional encodingのコードです。 %matplotlib inline import numpy as np f…

DALL-E 3の活用方法 – ChatGPTから画像生成

今回は画像生成のAI技術であるDALL-E 3について、その使用方法や規約に焦点を当ててご紹介します。 DALL-E 3の利用方法 DALL-E 3は皆さんが普段使っているChatGPTにプロンプトを入力して使うことができます。 ChatGPT PlusではプラグインでDALL-Eを追加する…

BatchNormalization(バッチ正規化)のパラメータgammaとbeta

BatchNormalization BatchNormalization(バッチ正規化)は、ニューラルネットワークの学習を安定化し、収束を速めるための手法の一つです。これは、各ミニバッチ内での入力データの平均をゼロにし、標準偏差を1に調整することによって、学習の安定性を向上…

論文解説 LLMに基づく生成型応答の推論方式

解説する論文 タイトル: Splitwise: Efficient Generative LLM Inference Using Phase Splitting 著者: Pratyush Patel, Esha Choukse, Chaojie Zhang, Íñigo Goiri, Aashaka Shah, Saeed Maleki, Ricardo Bianchini 論文のURL: https://arxiv.org/pdf/2311.…

im2col

im2colとは im2colは、画像認識において利用される関数で、主に高速な行列演算を活かすために使用されます。この関数は、効率的なnumpyの操作を可能にします。ループを使用することができますが、これはnumpyの優れた特性を活かす点で劣る方法です。(numpy…

Generative AI Test 2023#2 概要と対策

Generative AI Testとは 「Generative AI Test」とは、日本ディープラーニング協会(JDLA)が提供する、生成AIに関する知識と活用スキルを評価するためのミニテストです。このテストは、OpenAIやMidjourneyなどの生成AI技術を安全かつ効果的にビジネスで活用…

ソフトマックス関数

ソフトマックス関数とは ソフトマックス関数は、複数の数値からなるベクトルを受け取り、それを正規化して確率分布として表現するための関数です。主に機械学習や深層学習の分野で使用されます。この関数は、多クラス分類の出力層や、ニューラルネットワーク…

Generative AI Test 試験内容と出題予想

Generative AI Testとは 「Generative AI Test」とは、生成AIに特化した知識や活用リテラシーを確認するためのミニテストで、一般社団法人日本ディープラーニング協会(JDLA)によって実施されます。このテストは、OpenAIやMidjourneyなどの近年の企業活動で…

論文解説 ChatGPTを用いた映像に合わせた音声生成

解説する論文 タイトル:What Do I Hear? Generating Sounds for Visuals with ChatGPT 著者: David Chuan-En Lin, Nikolas Martelaro 論文のURL: https://arxiv.org/pdf/2311.05609.pdf 論文発表日: 2023年11月9日 専門外の人でも分かる解説 この論文は、Cha…

論文解説 プロンプト最適化

解説する論文 タイトル: Black-Box Prompt Optimization: Aligning Large Language Models without Model Training 著者: Jiale Cheng, Xiao Liu, Kehan Zheng, Pei Ke, Hongning Wang, Yuxiao Dong, Jie Tang, Minlie Huang 論文のURL: https://arxiv.org/p…

万能近似定理を調べていたらボレル可測関数が分かりにくいのでまとめた

万能近似定理 万能近似定理(Universal approximation theorem)(Hornik et al., 1989; Cybenko, 1989) ネットワークが十分な数の隠れ層を持つ時、線形の出力層と、(ロジスティックシグモイド活性化関数のような)「押しつぶす」事ができる活性化関数を持つ隠れ…

論文解説 音声認識システムでの精度向上

解説する論文 タイトル: Server-side Rescoring of Spoken Entity-centric Knowledge Queries for Virtual Assistants 著者: Youyuan Zhang, Sashank Gondala, Thiago Fraga-Silva, Christophe Van Gysel 論文のURL: https://arxiv.org/pdf/2311.01398.pdf …

論文解説 レビューテキストを使ったレコメンド

解説する論文 タイトル: Recommendations by Concise User Profiles from Review Text 著者: Ghazaleh H. Torbati, Anna Tigunova, Andrew Yates, Gerhard Weikum 論文のURL: https://arxiv.org/pdf/2311.01314.pdf 論文発表日: 2023年1月 専門外の人でも分…