ITエンジニア ノイのブログ

ITエンジニアのノイです。 YouTubeで ITエンジニアのお勉強という学習用の動画を公開しています。チャンネル登録お願いします!https://m.youtube.com/channel/UCBKfJIMVWXd3ReG_FDh31Aw/playlists

論文解説 LLMの新しい評価方法

要約 タイトル: BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues 著者: Haodong Duan, Jueqi Wei, Chonghua Wang, Hongwei Liu, Yixiao Fang, Songyang Zhang, Dahua Lin, Kai Chen 論文のURL: https://arxiv.org/abs/2310.13650 こ…

k-means法

k-means法とは k-meansは、教師なし学習の一つで、データをk個のクラスタに分けるアルゴリズムです。データの「重心」や「代表点」を用いて、データ間の類似性に基づいてグループ化します。 機械学習の中での位置付け k-meansは教師なし学習の一部として位置…

論文解説 動画内のインスタンスセグメンテーション

要約 タイトル: Deep Learning Techniques for Video Instance Segmentation: A Survey 著者: Chenhao Xu, Chang-Tsun Li, Yongjian Hu, Chee Peng Lim, Douglas Creighton 論文のURL: https://arxiv.org/abs/2310.12393 この論文の解説です。 論文発表日: 1…

論文解説 テーブルタスク(表形式)をGPTで

要約 タイトル: Table-GPT: Table-tuned GPT for Diverse Table Tasks 著者: Peng Li, Yeye He, Dror Yashar, Weiwei Cui, Song Ge, Haidong Zhang, Danielle Rifinski Fainman, Dongmei Zhang, Surajit Chaudhuri 論文のURL: https://arxiv.org/abs/2310.09…

SVM(サポートベクターマシーン)

SVM(サポートベクターマシーン)とは? SVMは「Support Vector Machine(サポート ベクター マシーン)」の略で、教師あり学習の機械学習アルゴリズムの一つです。 このアルゴリズムは特に認識性能に優れており、画像のパターン認識などによく使用されます…

論文解説 アイディアから画像生成 Idea2Img

要約 タイトル: Idea2Img: Iterative Self-Refinement with GPT-4V(ision) for Automatic Image Design and Generation 著者: Zhengyuan Yang, Jianfeng Wang, Linjie Li, Kevin Lin, Chung-Ching Lin, Zicheng Liu, Lijuan Wang 論文のURL: https://arxiv.o…

カイ二乗検定

カイ二乗検定とは カイ二乗検定は、集計結果に出た差が偶然なのか、それとも何か意味(原因)があるために生じた差なのかを確認するための統計的手法です。具体的には、観測されたデータと期待されるデータとの間に統計的に有意な差があるかどうかを判断しま…

論文解説 AIによるネットワークの負荷予測

要約 タイトル: AI/ML-based Load Prediction in IEEE 802.11 Enterprise Networks 著者: Francesc Wilhelmi, Dariush Salami, Gianluca Fontanesi, Lorenzo Galati-Giordano, Mika Kasslin 論文のURL: https://arxiv.org/abs/2310.07467 この論文の解説です…

論文解説 トランスフォーマーとLLMの文脈内学習

要約 タイトル: Understanding In-Context Learning in Transformers and LLMs by Learning to Learn Discrete Functions 著者: Satwik Bhattamishra, Arkil Patel, Phil Blunsom, Varun Kanade 論文のURL: https://arxiv.org/abs/2310.03016 この論文の解説…

論文解説 LLMで特定の情報を出力させないためには

タイトル: Who's Harry Potter? Approximate Unlearning in LLMs 著者: Ronen Eldan, Mark Russinovich 論文のURL: https://arxiv.org/abs/2310.02238 この論文の解説です。 論文発表日: 3 Oct 2023 専門外の人でも分かるような説明 この研究は、大規模な言…

M1のMacでLightGBMがインストールできない

M1のMacは環境構築にクセがあります。 LightGBMをローカルで使えるようになるまでの手順を残しておきます。 最初に出てきたエラー ModuleNotFoundError: No module named 'sklearn' というエラーは、sklearn モジュールがインストールされていないことを示し…

論文解説 大規模言語モデルLLMを使った動画生成AI

タイトル: LLM-grounded Video Diffusion Models 著者: Long Lian, Baifeng Shi, Adam Yala, Trevor Darrell, Boyi Li 論文のURL: https://arxiv.org/abs/2309.17444 この論文の解説です。 論文発表日: 29 Sep 2023 専門外の人でも分かるような説明 この研究…

論文解説 コーディングはChatBotを使うのが良い?

要約 タイトル: "Always Nice and Confident, Sometimes wrong": Developer's Experiences Engaging Generative AI Chatbots Versus Human-Powered Q&A Platforms 著者: Jiachen Li, Elizabeth Mynatt, Varun Mishra, Jonathan Bell 論文のURL: https://arxi…

LLMの能力と限界を評価するツール 2023.9.28発表論文

要約 タイトル: GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond 著者: Shen Zheng, Yuyu Zhang, Yijie Zhu, Chenguang Xi, Pengyang Gao, Xun Zhou, Kevin Chen-Chuan Chang 論文のURL: https…

グラフデータの解釈 2023.9.28発表論文

タイトル Graph-Toolformer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT Authors Jiawei Zhang 論文 https://arxiv.org/pdf/2309.16595.pdf この論文を解説します 専門外の人でも分かるように説明 この論文は、大規模な…

AIの嘘を見分ける方法 2023.9.26発表論文

タイトル: How to Catch an AI Liar: Lie Detection in Black-Box LLMs by Asking Unrelated Questions 著者: Lorenzo Pacchiardi, Alex J. Chan, Sören Mindermann, Ilan Moscovitz, Alexa Y. Pan, Yarin Gal, Owain Evans, Jan Brauner https://arxiv.org/…

LLM 読解データセット 2023.9.21発表論文

タイトル: Can LLMs Augment Low-Resource Reading Comprehension Datasets? Opportunities and Challenges 著者: Vinay Samuel, Houda Aynaou, Arijit Ghosh Chowdhury, Karthik Venkat Ramanan, Aman Chadha https://arxiv.org/abs/2309.12426 この論文の…

LLM-Grounder 家庭用ロボットとLLM 2023.9.21公開論文

タイトル: LLM-Grounder: Open-Vocabulary 3D Visual Grounding with Large Language Model as an Agent https://arxiv.org/abs/2309.12311 この論文の説明です。 著者: Jianing Yang, Xuweiyi Chen, Shengyi Qian, Nikhil Madaan, Madhavan Iyengar, David …

人間が書いたか?AIが書いたか?見分ける研究 2023.9.16発表論文

タイトル: Generative AI Text Classification using Ensemble LLM Approaches https://arxiv.org/abs/2309.07755 この論文の説明です。 著者: Harika Abburi, Michael Suesserman, Nirmala Pudota, Balaji Veeramani, Edward Bowen, Sanmitra Bhattacharya …

Generative AI vs. AGI 2023.9.19発表論文

タイトル: Generative AI vs. AGI: The Cognitive Strengths and Weaknesses of Modern LLMs https://arxiv.org/abs/2309.10371 この論文の説明です。 著者: Ben Goertzel 専門外の人でも分かるように概要説明 この論文は、大規模言語モデル(LLM)と呼ばれ…

Transformers vs LSTM 2023.9.20発表論文

タイトル: Transformers versus LSTMs for electronic trading https://arxiv.org/pdf/2309.11400.pdf この論文の内容を簡単に説明します。 著者: Paul Bilokon, Yitao Qiu 概要: この研究では、金融の時系列予測において、LSTM(Long Short-Term Memory)と…

LLM を介したソーシャル チャットボットの開発 2023.9.20発表論文

タイトル: 「Fictional Worlds, Real Connections: Developing Community Storytelling Social Chatbots through LLMs」 https://arxiv.org/abs/2309.11478 この論文の要約です。 著者: Yuqian Sun, Hanyi Wang, Pok Man Chan, Morteza Tabibi, Yan Zhang, H…

Generative AI vs. AGI: 現代のLLMの認知的な強みと弱み 2023.9.20論文要点

タイトル: 「Generative AI vs. AGI: 現代のLLMの認知的な強みと弱み」 https://arxiv.org/abs/2309.10371 著者: Ben Goertzel 概要: この論文では、2023年半ばのLLM(大規模言語モデル)に関する詳細な考察が行われています。具体的には、ChatGPT, GPT-4, B…

im2colの実装

1. im2colの基本 「im2col」は、畳み込み演算を効率的に行うための手法です。具体的には、4次元配列(ミニバッチサイズ、チャンネル数、縦幅、横幅)を行列に変換し、畳み込み演算を行列積の計算として実行します。この変換により、畳み込み演算の処理速度が…

im2colの考え方

im2colとは? 「im2col」とは、画像の畳み込み演算を効率的に行うための技術の一つです。名前の「im2col」は「image to column」の略で、文字通り画像データを列データに変換することを意味しています。 例えば… 画像が本棚で、フィルターが特定の本を探すた…

LLMのファインチューニングでできること、できないこと

LLMのファインチューニングによって課題に合わせた出力をしたいと思いますよね。 できることできないことをまとめました。 https://note.com/npaka/n/nec63c01f7ee8 を参考にさせて頂きました。 LLMのファインチューニングで何ができて、何ができないのか LL…

LightGBM ~回帰問題~

LightGBMとは LightGBMは、勾配ブースティングを基にしたアルゴリズムで、特徴量の重要性の計算や欠損値の取り扱いを自動的に行い、回帰および分類の問題に適用できるモデルです。LightGBMは、XGBoostを超えると言われる強力な機械学習アルゴリズムの一つで…

全結合型ニューラルネットワーク(Fully Connected Neural Network)

全結合型ニューラルネットワーク(Fully Connected Neural Network)とは 簡単に言ってしまうと、普通のニューラルネットワークです。ディープラーニングの勉強をしていると突然出てきますが、1周回って普通のニューラルネットワークです。 ディープラーニ…

今更ながら Pythonが2系だったので3系にする

プライベートではGoogle Colabばかりで、たまたまターミナルを開いて、ちょっとpythonを使おうとしたらまさかの2系だったので3系に変更します。 状況 @MacBook-Pro ~ % python WARNING: Python 2.7 is not recommended. This version is included in macOS f…

レコメンドの種類 メモリベースとモデルベース

メモリベースとモデルベースの手法は、推薦システムの中で広く使われる2つのアプローチです。以下にその主な違いをまとめました。 メモリベース: データ使用: 既存のユーザー-アイテムの評価データを直接使用してレコメンドします。 計算方法: ユーザー間や…