Implement Forge Neo/ForgeNeoを導入した話 #2(Krea2編)

 ローカルPCに導入したAIツールを久しぶりに触った話。その2はkrea2を試してみた話。


はじめに

前回の投稿は自宅のローカルパソコンにForge Neo(Easy Forge Neo)を導入した話でした。今回はそのForge Neoを使って(自分の中で)新しいモデルを触ってみる。

Forge Neoは前回も書いた通りStable Diffusionから派生したWEB UIなので、「SD1.5」と呼ばれるStable DiffuisionのモデルやSD1.5を拡張した「SDXL」モデルやさらにそれをチューニングした「Illustrious」モデルを使用できる。この辺りは元々のA1111版Stable Diffuisionでも使用することができた。

そして、Forge Neoではさらに様々なAIモデルに対応している。GitHubに書かれている内容を羅列すると、

  • Qwen-Image-2.1
  • Krea 2
  • Anima
  • Flux.2-Krein
  • Ernie-Image
  • PiD 1.5
  • Z-Image
  • Wan 2.2
  • Mugen
  • (Advanced) SDXL
  • Quen-Image / Quen-Image-Edit
  • Flux Kontext
  • Nunchaku
  • Lumina-Image-2.0
  • Chroma1-HD

などに対応しているとのことである。浅学なので全然聞いたこともないモデルもたくさんある。

折角新しいUIを導入したのだからこれまで触っていたSD1.5やSDXLなどを使うだけではなくちょっと新しいモデルにも触れてみようということで、自然言語に対応している「Krea2」と動画生成に対応している「wan 2.2」を試してみることにした。


Krea2を試してみる

「Krea2」とは米国AI企業Krea社が開発した画像生成モデルである。実写風の画像生成を得意としており、自然言語によるプロンプトにも対応していることが特徴として挙げられるらしい。「2」とある通り前バージョンの「Krea1」もあることにはあるようだが、互換性はないみたいなので今回は触れないことにする。


セットアップ

「Forge Neo」は「Krea2」に対応しており、Forge Neo本体のインストールが終わっていればソフトウェアや拡張機能などを追加するひつようはなく、「Krea2」に対応するモデルを用意さえすれば使用することができる。

「Krea2」に導入するモデルには以下の3種類がある。

  • DiT
  • TextEncoder
  • VAE

DiT(Diffusion Transformer)が所謂画像生成モデルとなる。SD1.5やSDXLなどとは異なる形式を指すモデルになるらしいが、このモデルの方式については難しくて私の現在の知識量では理解することができなかったので省略する。

さらにこのDiTにも大きく分けると2種類あり、ざっくり書くと学習に適した「Krea-2-Raw」モデルと推論に適した「Krea-2-Turbo」モデルがある。要は、LoRAを作ったりしたい人はRawモデルを使用して、画像生成したい人はTurboモデルと使えば良いということである。

あとはモデルに用いられている浮動小数点数或いは整数の形式とビット数によっても種類が分かれている。bf16とかfp8とかint8とかそんな感じのやつである。数字が大きければ数字の精度が高くなるので品質は上がるがデータサイズも大きくなる。逆に数字が小さければ逆になるといった感じである。プログラムを触っている人であれば説明するまでもないだろうが、勿論int型とかfloat型とか数値の型によっても表現できる数字は変わってくるので、厳密には単純にビット数だけに比例するわけではないが、そこらへんも今回はあまり気にしないことにする。

今回は推論(画像生成)するだけなのでTurbo型、数字の型は調べるとよく推奨されているint8型を採用することにした。


TextEncoderは所謂辞書みたいなもので4Bとか12Bとか登録されている文字数が異なる。Bはbillionの頭文字なので10億を意味するので、4Bはつまり40億である。広辞苑に収録されている語数が25万らしいので、4BのText Encoderで広辞苑の16000倍の言葉が詰め込まれているということである。凄い。

VAE(Variational Auto Encoder)はエンコーダの名の通り、AIの演算結果を画像など人間が理解できるアウトプットに変換してくれるやつである。


モデルの説明をつらつらと書いたが実際はあまり詳しく考えることなく、ネット上の先人達の経験に従ってよく推奨されている以下のモデルを使用することにした。

それぞれのモデルファイルはHugging Faceからダウンロードする。パスに「ComfyUI」と書かれているが対応しているバージョン(2.27以上)のForge Neoであれば問題なく使用できるので気にしないでよい。

  • DiT:krea2_turbo_int8_convrot.safetensors
  • TextEncoder:qwen3vl_4b_fp8_scaled.safetensors
  • VAE:qwen_image_vae.safetensors

DiTで約12.5GB、TextEncoderで約5GBほどのサイズがあるのでのんびりダウンロードしよう。それぞれのモデルはSDと同様に「<インストールディレクトリ>\Model\」配下のそれぞれのフォルダに格納すればよい。前回も触れたがフォルダ直下に置くと他のモデルとの区別がつかないので、色んなモデルを使い分けることを考えているのであれば使用するモデルごとにフォルダを分けておいた方が分かりやすい。


Forge Neoの起動・実行

モデルをダウンロードして所定の場所に配置したらForge Neoを起動する。

起動したらまず画面の一番左上にある「UI Preset」のプルダウンを「Krea」に切り替えること。

それから左隣にある「Checkpoint」にDiT、「VAE / Text Encoder」にそれぞれVAEとText Encoderのダウンロードしたものを選ぶ。VAEとText Encoderは項目が分かれていないので同じ項目内でダウンロードしたものを2つ選べばよい。

◇

モデルのセッティングが終わったらプロンプトを入力する。

SDモデルやXLモデルの場合はプロンプトにはカンマ区切りで単語や熟語単位で入力していく必要があったが、Kreaモデルでは自然言語で入力すればよい。例えば「笑顔で立っている女性」を入力したい場合、SDやXLでは

1girl, standing, smile,

といった感じで入力していたが、Kreaモデルの場合は

a girl is smile and she is standing.

みたいに文章のまま入れたらよい。従来のカンマ区切りで入力しても生成できるが自然言語で入力した方が細かなニュアンスを表現しやすいし、その違いをうまく汲み取って表現してくれる…ような気がする。

◇

上述したTurboモデルで推論(画像生成)するのであれば、ステップ数は8、CFGは1.0が推奨となっている。これまでのSDやXLモデルと比べるととても少なく感じるが、それだけ短い工程で品質の良い推論ができるようになっている、ということなのだろう。

CFG Scale(Classifier-Free Guidance Scale)が1.0の場合、Negative Promptは読み込まれないので入力する必要はない。

あとは画像サイズや実行回数を適宜設定して(とりあえず試すならデフォルトのままでよい)「Generate」を押下して実行しよう。これまでどおり右下のアウトプットエリアに生成画像が表示されたら完了となる。


参考にしたサイトのプロンプトを使って最初に出力した画像

感想

その後、いくつか画像生成を試してみた感想。


●生成する画像を細かく指定しやすくなっている

前段でも少し触れたとおり、プロンプトが自然言語に対応するようになったこともあって細かな表現がしやすくなった。

SDやXLであれば手を挙げさせたければ「hands up」と指定する必要があったが「どれくらいの位置まで手を挙げるか」といった「程度」を再現するのが難しかったが、Krea2であれば「Raise your hand to shoulder level.」みたいに肩の位置まで手を挙げるとか文章で説明するのと同じように指定しやすくなった。もうちょっと構図を調整したい!みたいな希望にこたえやすくなった。

一方、細かく指定しやすくなった反動というか、プロンプトで明示していない部分についてはAIが(雑に)処理してしまうので余計気になることもあった。「3人の男性が立っている」みたいにざっくり書くと男性3人をきちんと反映させてくれる一方で容姿に関する指定がないせいで3人とも同じ人物が並んでしまう、みたいな感じ。そういった違和感を潰していこうとすると、「1番左の男性は黒髪短髪で若く白いシャツを着て…」みたいに細かく指定していくことになって、プロンプトがどんどん長くなっていってしまって大変になってしまうといった感じである。

◇

余談だが、最近AIっぽいプレゼン画像とかフライヤー画像とかをよく見かける。何故「AIっぽいよく見る画像」になってしまうのかというと、前述した「プロンプトで明示されていない部分を雑に処理する」というのが一因としてあるのだろうと改めて感じた。プロンプトに画像デザインに関する指定がない(或いは極めて簡単にしか指定されていない)ので、AIモデルが一番得意(一番学習された)とするデザインが出力されてしまうのだろう。

最近では所謂「AIっぽいデザイン」に対して辟易する声も聞くようになってきているが、そういったデザインにならないように「AIモデルに対してきちんと指示を出せる」能力、つまりはツールとしてきちんと使いこなせる能力が今後より重要になっていくのではないかなぁと思ったのである。

◇

閑話休題。

あとはわりとSDやXLモデルは人物を学習しているせいか何も指定しなくても人物画像が生成されることが多かったが、上にあげたサンプル画像のように風景画像も生成しやすくなった。昔みたいに文字を表示しようとしたら破綻した謎言語で表示されることもなくきちんと指示した言葉が表示されるようになったことも印象的である。

実際にクラウド型AIモデルでも使用されている品質のものが、ローカルPCでもきちんと生成できるようになった印象を受けた。


●i2iはあまり効果なさげ?

一方で画像から画像を生成するi2iはあまり向いていないのかなという印象を受けた。

例えば2次イラストを3次元の写真風に変更したいみたいなそういった用途では何度か試してみたが今のところ上手く生成することはできなかった。画像を直接参考にして変換するというよりは元にする画像の内容をどれだけ言語化するか(プロンプトとして変換することができるか)の方が重要といった感じである。



上記はXで投稿したポストである。一枚目のイラスト風画像はIllustriousで、二枚目の写真風画像はKrea2でそれぞれ生成した画像なのだが、これも一枚目の画像からi2iで生成したわけではなく一枚目の画像の内容を元にプロンプト化してt2iで生成した画像となっている。

従ってKrea2でi2iをしたい、要は参考とする元画像のようなアウトプットを生成したい場合には、元となる画像の内容を言語化する国語力が必要になってくるわけである。

そういうのが苦手な人には画像を読み込ませてプロンプトを生成する、いわばリバースエンジニアリング的なツールも世の中にはあるようなのでそういったものを利用した方がよいのかもしれない。私はそういったツールはまだ一度も使ったことがないので、どのツールがどれぐらいの精度で生成できるのかとかは分からないけれど。


終わりに

Krea2を触ってみたファーストインプレッションはこんな感じだった。

だいぶ使いやすくなって生成物の品質もかなり上がった印象を受けた一方で、今までのStable Diffuision系のような使い方をそのまま踏襲することができない部分も見受けられて戸惑う部分も散見された。

とは言え、Krea2自体が今年2026年6月にリリースされた最近のAIモデルであり多くの人が現在進行形で色々な使い方を模索している状況なので、今後さらに進化していく可能性はある(勿論トレンドから外れてしまう可能性もあるだろうが)。今回触れたような気になるポイントも解消されるかもしれないので、当面はウォッチしていても面白そうなモデルであると感じたのであった。


次回はForge NeoでWan2.2を試してみた話を書く予定。


Previous Post
No Comment
Add Comment
comment url