Vera Rubinは推論プロセスに合わせて再設計されたハードウェア
いまさらな感じですが、Vera Rubinの構成や設計思想のメモ。 LLMの推論処理の流れ LLMの推論は、大きく プレフィル(Prefill) と デコード(Decode) の2段階に分かれている。 プレフィルフェーズ
とあるデザイナーのテクニカルノート
いまさらな感じですが、Vera Rubinの構成や設計思想のメモ。 LLMの推論処理の流れ LLMの推論は、大きく プレフィル(Prefill) と デコード(Decode) の2段階に分かれている。 プレフィルフェーズ
RTX PRO 5000 Blackwellを購入しました。GeForce RTX 5070 Ti(ほとんど使ってない)からの乗り換えです。ローカル生成AIを始めたのはほんの4カ月前ぐらいなんですが、異例の速さで大金を使う
GeForce RTXシリーズとRTX PROシリーズの違いが気になったので、まとめてみました。生成AIを本格的にやるなら大容量VRAMは正義。VRAM容量で悩んでいる人は多いんじゃないでしょうか。自分も16GBのVRA
ローカル環境でAIを動かすことにロマンを感じる人です。昨今のハードウェア事情に疎かったため、GPU性能と扱えるAIモデルをまとめてみました。 VRAM容量 生成AIにはVRAMの容量が重要 画像生成AIやLLMのモデルは