【iOS 9】Core Image の新機能：文字認識／追加フィルタ47種

先日、Gunosy さん主催の勉強会「WWDC Afterparty Roppongi」にて標題の発表をさせていただきました。

iOS 9 の新機能　Core Image 編 from Shuichi Tsutsumi

タイトルの通り、iOS 9 の Core Image の新機能について紹介＆デモ *1 しました。

概要

大きく分けて、文字認識、新フィルタの紹介の２つ。

文字認識

WWDC初日に書いた下記記事でもわりと反響の大きかった機能。

【iOS9】API Diffs から見る iOS 9 の新機能 - その後のその後

で、OCR的なものを期待していたわけですが、リファレンスで CIFeatureTypeText を見ると、認識結果の文字列が入ってくるプロパティはないので、文字の「内容」を認識するのではなく、文字の「領域」を検出するものでした、という話。

class CITextFeature : CIFeature {
    
    var bounds: CGRect { get }
    var topLeft: CGPoint { get }
    var topRight: CGPoint { get }
    var bottomLeft: CGPoint { get }
    var bottomRight: CGPoint { get }
}

いわゆる「顔認識」も、「誰の顔か」を認識するのではなくて、顔の「領域」を検出するものがほとんどなのと同様ですね。

それはそれとしてOCRの前処理とかに便利だと思います。実装は非常に簡単で、顔認識とかとほぼ同じです。

let image  = CIImage(CGImage: imageView.image!.CGImage!)

let detector = CIDetector(
    ofType: CIDetectorTypeText,
    context: nil,
    options: [CIDetectorAccuracy: CIDetectorAccuracyHigh])

let features = detector.featuresInImage(image)

for feature in features as! [CITextFeature] {
    // 認識結果の矩形を描画する処理
}

NDAのため iOS 9 での実行結果スクショを貼るのは自粛しますが、デモでは以下の2種類の画像について試し、

前者は文字領域を完璧に検出
後者はGitHub マークのある黒地に白文字の "shu223" というものしか認識されず

という結果になりました。わずかなパースや陰影（後者のような「写真」画像は、人間には均一に見える部分でも、二値化してみると結構色に偏りがあったりする）で認識精度がガクッと落ちるようです。

新フィルタ

CIFilter は

CIFilter(name: filterName, withInputParameters: params)

っていう感じでフィルタ名を文字列で指定する形式なので、API Diffs とかには新規追加フィルタは表記されない（Filter Reference というドキュメントもあるけど更新が遅い）ため、次のようにビルトインフィルタ名を全部出力しておいて、

let filterNames = CIFilter.filterNamesInCategory(kCICategoryBuiltIn)
for filterName in filterNames {
    print(filterName)
}

そのあと `diff` コマンドで新規追加分を抽出する、ということを毎年 iOS がメジャーバージョンアップするたびにやっています。

で、今年はフィルタ数の変化をグラフにしてみたのですが、

ひさびさにフィルタ数がグッと増えていて、ちょっと盛り上がりを感じます。

例によってNDAによってフィルタをかけた結果のスクショ掲載は控えますが、以下に新フィルタ名47種の一覧を載せておくので、名前から効果を察していただけると。

CIAreaAverage
CIAreaMaximum
CIAreaMaximumAlpha
CIAreaMinimum
CIAreaMinimumAlpha
CIBoxBlur
CICircularWrap
CICMYKHalftone
CIColumnAverage
CIComicEffect
CIConvolution7X7
CICrystallize
CIDepthOfField
CIDiscBlur
CIDisplacementDistortion
CIDroste
CIEdges
CIEdgeWork
CIGlassLozenge
CIHeightFieldFromMask
CIHexagonalPixellate
CIKaleidoscope
CILenticularHaloGenerator
CILineOverlay
CIMedianFilter
CIMotionBlur
CINoiseReduction
CIOpTile
CIPageCurlTransition
CIPageCurlWithShadowTransition
CIParallelogramTile
CIPDF417BarcodeGenerator
CIPointillize
CIRippleTransition
CIRowAverage
CIShadedMaterial
CISpotColor
CISpotLight
CIStretchCrop
CISunbeamsGenerator
CITorusLensDistortion
CITriangleTile
CIZoomBlur

会場ではシミュレータでデモしたのですが、GPUが効くので、実機でやるとチョッパヤです。

ちなみにちょっと余談ですが、会場で Yahoo の佐野さんから飛び出した「Apple は何のためにそんなにがんばってフィルタを追加しているのか？」という質問が印象的でした。

確かに、CIDetector 系は実用的だし、ボックスブラーとかノイズリダクションとか、色のブレンド系etcは写真加工系に幅広く使えそうなのでわかるとしても、CICrystallize とかの飛び道具系って実際には使う人いなそうだなぁと。そして僕はそういえば案件で Core Image 使ったことなんて記憶に無いのになぜ毎年やってるのだろう、と・・・