Stable DiffusionのLoRA（Low-Rank Adaptation）トレーニングでネットワーク次元（network dim, rank）を4や8、16、32など「2の冪」に設定するのが一般的なのは、計算効率や実装上の理由、性能面でのメリット、そしてコミュニティでの経験則によるものです。以下、順を追って詳しく解説します。
1. 数学的・技術的背景：2の冪が計算効率に優れる理由
コンピュータは内部で二進数を使っており、データやメモリは2の冪単位で扱うと効率が良い設計になっていますdocs.nvidia.com。例えばメモリアドレスのアラインメント（境界揃え）は2の冪長（バイト単位）で行われ、構造体や配列の配置も2の冪境界に揃えることで高速なアクセスが可能になります。特にGPUでは32スレッド単位の「ワープ（warp）」で並列処理を行いますが、データ長がワープ幅やメモリブロックの倍数だと無駄なく全スレッドが仕事を分担できるため効率的ですleimao.github.ioolcf.ornl.gov。逆に中途半端なサイズだと一部のスレッドが余ってしまったり、メモリアクセスが分割され追加のオーバーヘッドが発生します。
深層学習の演算でも2の冪は有利です。例えば行列演算（GEMM）の高速化に用いられるTensor Coreは、FP16（16ビット浮動小数点）演算の場合に各次元が8の倍数（=2バイト×8=16バイト境界）であると最も効率よく動作しますdocs.nvidia.comdocs.nvidia.com。NVIDIAの公式ドキュメントによれば、FP16データでは行列サイズを8の倍数に揃えるとTensor Coreをフル活用でき、そうでない場合に比べて計算速度が大幅に向上すると報告されていますdocs.nvidia.com。実際、かつては8の倍数でないとTensor Core自体が使われませんでしたが、最新のライブラリでは自動パディング等で対応するものの、それでも次元を8や16などの倍数にすると最大限の性能が引き出せることが示されていますdocs.nvidia.com。このように、内部的なデータ長が2の冪だとメモリ転送や乗算のタイル処理が無駄なく行えるため、計算全般の効率が上がるのです。
2. 実装面での影響：PyTorch・CUDA・LoRA実装での内部要因
Stable DiffusionのLoRAトレーニングは主にPyTorch上で実装され、GPU上で動作します。PyTorchの線形層（nn.Linear）や行列演算はCUDAのcuBLAS/cuDNNライブラリを内部で利用しており、これらの低レベルライブラリがGPUの性能を引き出すために最適化されている次元もやはり2の冪ですdocs.nvidia.com。例えば、先述のようにFP16の演算ではcuBLASは行列のサイズ（M, N, K次元のいずれも）が8要素（=16バイト）の倍数であるときに最も高速なカーネルを使用しますdocs.nvidia.comdocs.nvidia.com。もし中途半端な次元だと、cuBLAS内部でパディング（該当しない部分をゼロ埋めして計算）したり、Tensor Coreを使わずに演算する可能性があり、結果として余計なメモリと時間を消費しますdocs.nvidia.com。PyTorch自体に「rankは2の冪でなければならない」という制限はありませんが、内部挙動として2の冪に揃っていると自動的に効率的な経路が選択されるのです。
Stable Diffusion向けLoRA実装（例えばKohya氏のsd-scriptsやそのGUI）でも、特別な場合を除きLoRAは通常の線形層として追加実装されています。したがってrank次元を2の冪にすることでPyTorch/CUDAの最適化がそのまま活かされることになります。実装上の典型として、LoRAでは重み更新の対象となる行列$ΔW$を$A$（サイズ：アウトプットチャネル×rank）と$B$（サイズ：rank×インプットチャネル）の積に分解しますが、このrankが例えば8や16だと内部メモリレイアウトが8の倍数になり、メモリアクセスが綺麗に揃います。一方、例えばrank=7のように奇数だと、GPUメモリ上では8要素分の領域に7要素分のデータを載せるようなパディングが生じる可能性があります（実際、cuBLAS 11以降では8未満の剰余部分も処理されますが、8に揃っていた方がわずかに効率が良いと報告されていますdocs.nvidia.com）。また一部の拡張LoRA実装では、内部でrankを分割するアルゴリズム上の制約からパラメータを2の冪にするよう推奨している場合もあります。実際に、LoRA拡張の一つである「LoKr」について開発者が「factor（rank相当）は2の冪にした方がよい。例えば6（3の倍数）だと内部計算上問題が起こる可能性がある」とコメントしていますgithub.com。このように実装面でも、2の冪に揃えることはライブラリやアルゴリズムが想定する最適パスに乗せるため有利と言えます。
3. 性能面での違い：2の冪 vs その他のdim指定による影響
学習速度の面では、network dimを2の冪にしておくことで高速化が期待できます。極端な例では、以前のGPUライブラリ環境でrankが8の倍数でないとTensor Coreが使えず計算速度が2～4倍も低下するケースがありましたdocs.nvidia.com。現在の環境では非倍数でも内部で対応しますが、それでも例えばrankが8の倍数か否かで僅かながら演算効率が変わり、偶数の方が奇数より速い傾向が報告されていますdocs.nvidia.com。実質的には、例えばrank=8とrank=7で同じエポック数を回した場合、後者の方がGPU使用率の低下などにより若干処理時間が長くなる可能性があります。学習そのものの収束ステップ数に違いは出ませんが、所要時間やスループットで差が出る点で、2の冪でない選択は非効率と言えます。
VRAM使用量に関しては、LoRAのパラメータ数はおおむね「元の重み行列の形状 × rank」に比例するため、rankを増やせばメモリ消費も線形増加します。ただし2の冪に揃えること自体が大きなメモリ節約になるわけではありません。例えばrank=7と8ではパラメータ数が14%程度しか違いませんし、PyTorchは重み行列を連続メモリ上に配置するため無駄なギャップは基本ありません（ごく小さなアラインメント調整領域はありますが無視できる量です）。一方で、GPU計算の都合上内部で計算バッファを8の倍数に丸めて確保するような場合には、奇数rankでも結局8分の領域を使ってしまい有効活用されないメモリ領域が生じる可能性がありますdocs.nvidia.com。このような理由から、実質のVRAM効率を考えても2の冪にしておくのが無難です。
出力品質（学習後のモデル性能）に関しては、rankそのものの大小はモデルが追加できる表現力を左右しますが、「2の冪か否か」が直接品質に影響を与えることはありません。つまりrank=8と9であれば、計算効率以外の要因で出力画像の品質に差はほぼ無いと考えられます。品質に効くのは主にrankの絶対値（例えば4では表現力不足だが32なら十分、等）です。実際、LoRAを提案した元論文でも比較的低いrank=8で良好な性能を示しており、多くの問題で8前後がスイートスポットだと述べられていますdeveloper.nvidia.com。Stable DiffusionのLoRAにおいても有志の実験で、rankを16から極端に1まで下げても驚くほどそれなりに学習対象の情報が反映されたとの報告がありますgithub.com。このため、「2の冪にする」のは品質目的ではなくあくまで計算資源を無駄なく使うためのテクニックといえます。品質を高めたい場合は適切なrank値自体を選ぶべきで、一般には必要十分な最小rankを2の冪乗で選ぶ（例：容量的に8で足りなければ16に上げる）のが効率と品質のバランス上推奨されます。
4. コミュニティの実用的観点：経験則とユーザーの議論
Stable DiffusionのLoRAトレーニングを行っているコミュニティでも、network dimは通常2の冪の値を使うというのが半ば標準になっています。例えばKohya氏のLoRA学習スクリプトではデフォルト値が8に設定されており、解説でも「とりあえず試すなら2～8あたりから始めるとよい」とされていますgithub.comgithub.com。実際に4、8、16、32あたりが頻出で、128程度を上限とするケースが多いようですgithub.com（128は2の冪です）。一部の商用サービスでも、Fireworks AIのドキュメントには「LoRAのrankは64までの2の冪で指定する（デフォルト8）」と明記されておりdocs.fireworks.ai、これは不必要に奇妙な値を選んで性能劣化するのを防ぐ経験則と言えます。
コミュニティの議論では、「そもそもrankは2の冪でなくても動作上問題はないがメリットも少ない」といった認識で一致しています。機能的には任意の整数値でLoRAを組めるため、たとえばrank=5や7にしても学習自体は可能ですが、実際にそれらを選ぶ利点が乏しいのです。多くのユーザーは偶数かつ既定のステップで増減できる値（8→16のように倍々にして調整しやすい）として2の冪を用いており、これなら比較実験もしやすく結果の共有もしやすいという実用上の理由もありますgithub.comgithub.com。一方で、2の冪でない値を使って不具合に遭遇した例も報告されています。前述のLoKr拡張の件では、rankの分割比率に3の倍数を用いたところ内部エラーが出たため開発者が「因数は2の冪を使うよう」助言しておりgithub.com、このような情報もコミュニティを通じて共有されています。総合すると、「LoRAのdimは2の冪にすべし」というのは性能上・実装上の合理性に加え、コミュニティで培われた安全策・定石として広まっていると言えます。
参考文献・情報源: GPU計算最適化に関するNVIDIA公式ドキュメントdocs.nvidia.com、LoRA実装ガイドgithub.comおよびユーザーフォーラムでの議論github.comdocs.fireworks.aiなどを参照しました。これらによれば、2の冪に設定することが「計算資源を無駄にせず、安定した学習結果を得るための現場知見」であることが分かります。