こんにちは！ノイです。 機械学習でモデルを評価しなければならないことがあるかと思います。 PrecisionとRecall 機械学習モデルのパフォーマンスを評価するための重要な指標です。 Precision Precision(適合率)は、モデルが予測した陽性と判断されたサンプ…

こんにちは！ノイです！ BSDライセンスとは BSDライセンスは、オープンソースソフトウェアのライセンスの一つで、3つの主要なバージョンが存在します。それぞれのバージョンには、いくつかの異なる条件が含まれていますが、すべてのバージョンで、利用者に以…

RWKVとは RWKV (Recurrence without Convolutions and with Keys)は、Transformerに代わる新 しいRNNモデルです。 RNN まずはじめに、RNNとは何かについて説明しましょう。RNNはRecurrent Neural Networkの略で、再帰型ニューラルネットワークと呼ばれます。…

こんにちは！ノイです！ 機械学習でデータセットを用意するとnpzファイルであることもあります。 npzファイル Numpy独自のバイナリファイルで保存したも のです。 npzファイルは、NumPyライブラリで使用さ れるデータ形式の1つで、複数のNumPy配列 を単一の…

こんにちは！ノイです！ 機械学習をやっていると特徴空間って言葉がでてきますよね。 特徴空間 特徴ベクトルが表現される空間です。 特徴ベクトルとは、データを表現するための数値の集合であり、機械学習モデルの学習に利用されます。 画像データの場合 各…

こんにちは！ノイです！ 自然言語処理を行うとき、よくEmbeddingって出てきますよね。 何を組み込むのって思って調べても、結局、何をしているのかよく分からんってなる人も多いかと思います。 Embeddingとは 自然言語処理(NLP)では、単語を数値データに変換…

こんにちは！ノイです。 何かを開発する時、先人の知恵を借りたいことってありますよね。 他人が開発したプログラムを利用する時、ライセンスに注意しなければなりません。 CCライセンスとは CCライセンスとは、クリエイティブ・コモンズ (Creative Commons)…

こんにちは！ノイです！ 機械学習でクラス分類のモデルでラベル数が多くなってしまうことがあります。精度や学習時間が課題となることも多いので、記事にまとめました。 極端多ラベル分類 Extreme multi-label classification（極端多ラベル分類）は、非常に…

こんにちは！ノイです！ 機械学習でクラス分類のモデルが必要になることもあるかと思います。 この記事ではクラス分類についてまとめています。 クラス分類とは 機械学習によるクラス分類とは、与えられたデータに対して、そのデータがどのクラスに属するか…

こんにちは！ノイです！ Light Graph Convolutionとは LightGCNはユーザとアイテムの埋込みをユーザーアイテムインタラクショングラフに線形に伝搬します。 ユーザとアイテムの埋込みを学習し、最終的な埋込みとしてすべての層で学習された埋込みの加重和を…

こんにちは！ノイです！ AWSでpipenv install boto3をしてboto3をインストールしようとしましたが、うまく入りませんでしたのでメモ書きしておきます。 やったこと AWSでboto3が必要だったのでインストールしました。 Neu@Neu aws-test % pipenv install bot…

こんにちは！ノイです！ ECサイトなどでよく使われるレコメンド機能、簡単に作ってみたいですよね！ データセットの配置から学習、推論まで簡単にできるのがAWS Personalizeです。 AWS Personalize AWS Personalizeは、機械学習技術を使用して、ユーザーにと…

こんにちは！ノイです！ 機械学習をする際にAWSを使う人も多いかと思います。 ポリシーの考え方は慣れる必要がありますので、記事にまとめました。 ポリシーとは AWSのポリシーは、AWS Identity and Access Management (IAM) や AWSの一部のサービスで使用さ…

こんにちは！ノイです！ グラフデータとは グラフデータとは、複数のノード（頂点）とノード同士を結ぶエッジ（辺）から構成されるデータのことを指します。グラフデータは、ソーシャルネットワークや道路網、化合物の構造など、様々な分野で使われています…

こんにちは！ノイです！ 機械学習エンジニアはモデルのチューニングをする際にハイパーパラメータを調整することもあります。この記事ではハイパーパラメータの基本的なことを書きます。 ハイパーパラメータとは？ ディープラーニングにおいて、モデルの学習…

こんにちは！ノイです！ AWSでキーを作成して、使っていないのにずっと課金され続けるってことありませんか？ 削除しようと思っても削除ができずに困ってしまいます。 AWSのコスト サービスを使ってないのにキーで課金され続けるってこともあります。 AWS Ke…

こんにちは！ノイです！ 自然言語処理の発展にはtransformerが欠かせませんね。 自然言語処理とは 自然言語処理（NLP）は、人工知能の分野で最も興味深く、急速に進化している分野の一つです。NLPは、コンピュータが自然言語を理解し、処理することを目的と…

こんにちは！ノイです！ プロンプトエンジニアリング(Prompt Engineering) 自然言語処理(NLP)におけるテキスト生成タスクの新しいアプローチです。従来のNLPタスクでは、モデルが事前に学習されたテキストを参照し、そのコンテキストに応じてテキストを生成…

こんにちは！ノイです！ データレイクとは 膨大なデータを収集、保存、分析するために設計されたストレージシステムです。データレイクは、企業や組織が複数のデータソースからデータを収集し、さまざまな形式で保存し、必要に応じて分析するために使用され…

こんにちは！ノイです！ if文の分岐 Pythonのif文は、プログラムの中で条件分岐を行うために使用されます。if文は、ある条件がTrueかFalseかに基づいて、プログラムが実行するコードブロックを切り替えることができます。 基本的なif文の構文 if 条件式: 実…

こんにちは！ノイです！ 開発をする際にAWS（Amazon Web Services）を使っていますか？ ノイはサービスと止め忘れて、課金され続けてしまうという失敗談がありましたので記事にしました・・・ じわじわと毎日課金されていました・・・ AWSのコスト管理 AWSの…

こんにちは！ノイです！ 入出力 Pythonはファイルの入出力を簡単に行うことができます。ファイルの読み込み、書き込み、追記などの操作ができ、テキストファイルだけでなくバイナリファイルも扱うことができます。 ファイル操作 ファイルを開いて操作をする…

こんにちは！ノイです。 機械学習をやっているとpythonでコードを書くことも多いですよね。 この記事は初学者向けの情報です。 for文 Pythonのfor文は、リストやタプル、辞書、集合、文字列などのイテラブルオブジェクトから順番に要素を取り出し、繰り返し…

こんにちは！ノイです。 機械学習をやっているとpythonでコードを書くことも多いですよね。 例外処理 例外処理を使用することで、プログラムの実行中にエラーが発生した場合に、プログラムを停止する代わりに、エラーを処理できます。つまりプログラムが継続…

こんにちは！ノイです！ 機械学習をする時にまずはデータをデータベースにインポートしたいってことありませんか？ ちょっと試してみたいという時はローカルDBへのインポートします。 この時、ちょっとした注意点があるので、備忘録として残しておきます。 ①…