GPU
イベント
注目のイベント
人気
03/27(水)
19:30〜21:00
オンライン /
東京都
221
/ 270
人
マガジン
技術ブログ
Amazon SageMaker JumpStartによるエンドポイントデプロイのベンチマークと最適化
2024/03/12
ブックマーク
大規模言語モデル (LLM) をデプロイする場合、機械学習 (ML) の担当者は通常、モデルサービングのパフォーマンスの 2 つの測定値に注目します。1 つ目は 1 トークンの生成にかかる時間で定義されるレイテンシー、二つ目は 1 秒あたりに生成されるトークンの数によって定義されるスループットです。デプロイされたエンドポイントへの単一のリクエストは、モデルレイテ
LLMで英会話の練習をしたい
2024/02/16
ブックマーク
皆さん、お疲れ様です。ニフティ基幹システムグループの山田(山田一族)です。 突然ですが、皆さんも昔は英語を話せるようになりたいと思っていませんでしたか?私も昔はそう思っていた時期がありました。 英語を話せるようになりたいと思って、かれこれ8年ぐらいは通勤時の電車内で BBC放送 のpodcastを聞いています。ですが一向に英語を話せるようにはなりませ
AWS における生成 AI インフラストラクチャ
2024/02/07
ブックマーク
この記事は、 Generative AI Infrastructure at AWS を翻訳したものです。 生成 AI モデルの構築やトレーニング、そして正確で洞察に満ちた出力の予測と提供には、大規模なインフラストラクチャを必要とします。 大規模言語モデル(LLM)や基礎モデル(FM)が生成する高品質の合成テキスト、画像、その他のメディアの出力には、大量のデータが必要です。 まず、モデルのトレー