CIImageオブジェクトの上下反転ができない

グレーのMTLTextureからCIImageを作成する
↑この続き。フロントカメラで得たMTLTextureから作成したCIImageの上下反転をしたい。

CGAffineTransform transform = CGAffineTransformMakeScale(1.0 , -1.0);
transform = CGAffineTransformTranslate(transform, 0, mtlTexture.height);

ciimage = [ciimage imageByApplyingTransform:transform];

↑このような処理でCIImageオブジェクトを上下反転させることができる（※1）ようなのだが、、、

The image extent and destination extent do not intersect.
↑このようなログが出てきて何も表示されない、、、なぜだー！？



少し戻って、確実な画像について確認してみた。

UIImage *uiimage = [UIImage imageNamed:@“hoge.png"];
CIImage *ciimage = [CIImage imageWithCGImage:uiimage.CGImage];

↑こんな感じでUIImageオブジェクトからCIImageを一度作成し、それをUIImage→UIImageViewとして画面表示してみたところ、、、



↑表示された。
次にCIImageを先ほどの方法で反転させると、、、

[CIContext(CIRenderDestination) _startTaskToRender:toDestination:forPrepareRender:error:] The image extent and destination extent do not intersect.
↑というワーニングが出るだけで画面には全く何も表示されない。

CGAffineTransform transform = CGAffineTransformMakeScale(1.0 , -1.0);
//transform = CGAffineTransformTranslate(transform, 0, uiimage.height);
transform = CGAffineTransformTranslate(transform, 0, -uiimage.height);

ciimage = [ciimage imageByApplyingTransform:transform];

↑エラーメッセージからするとずらし方がおかしい？と、試しに反転後の移動量をマイナス側にすると



↑上下反転して表示された。え？y軸どっち向いてるの、、、？


それじゃあ最初のMTLTextureのとこもマイナス側にしたら、、、
何も表示されなかった（ワーニングなどもなし）。

もうなにがなんだか🤔

結局MTLTextureはそもそもコンピュートシェーダの出力なのでシェーダの出力前に上限反転して回避した、、、orz



※1 参考サイトはこちら
Metal逆引きレシピ - Qiita

グレーのMTLTextureからCIImageを作成する

id<MTLTexture> オブジェクトがある場合にこれをCIImageにしようとした。

Metal逆引きレシピ - Qiita
↑こちらの記事にあるように

let inputImage = CIImage(mtlTexture: texture, options: nil) // —(1)

↑このようにすればCIImageを作成することができる。
ただ、今回はMTLTextureが白黒画像（※1）だ。

MTLTextureDescriptor *textureDescriptor = [MTLTextureDescriptor 
    texture2DDescriptorWithPixelFormat:MTLPixelFormatR8Unorm 
    width:width 
    height:height 
    mipmapped:NO];

↑このようにMTLTextureのpixel format はMTLPixelFormatR8Unorm。RGBAなどではなく輝度データがあるだけのデータなのだ。

なので、先ほどの(1)のコードだとデフォでRGBなので



↑表示（※2）すると赤くなる。RGBのRの値と解釈するようだ。

なので色空間（color space）をグレーにする。Objective-Cでどうやってオプションを与えるのか随分探したが、次のようにしたところ、、、

CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceGray();
    NSDictionary *options = @{kCIImageColorSpace:(__bridge id)colorSpace};
CIImage *ciimage = [CIImage imageWithMTLTexture:mtlTexture options:options];

//…

CGColorSpaceRelease(colorSpace);

↑これでグレーで表示された。

ところが、これだと見ての通り上下逆さまになるので処理が必要になるが、これについてはまた次に。


※1 ARKit x Metal でface trackingをしているのでフロントカメラの画像はYとCbCrで取得できその輝度画像を使用している。

※2 CIImageオブジェクトを↓このようにUIImageにし、画面に表示している。
UIImage *uiimage = [UIImage imageWithCIImage:ciimage];

続き → CIImageオブジェクトの上下反転ができない