AI（機械学習）を利用したOCRの認識精度　　(2020/07/15 New)

このTipsでは、昨今主流となっている機械学習を利用したOCRの認識精度について紹介します。 クラウドサービスとAIの利用で、どこまで認識できるか興味がある方は参考にして下さい。

検証には、OCR de PawSのOCR機能を利用しています。 OCR機能として、現バージョンでは次の3種類のOCRサービスが利用できます。

• Microsoft Azure
• Google Cloud Platform (GCP)
• Windows10標準のOCR（AIやクラウドを利用しない従来のOCR）

それぞれの特徴の違いなどを知ることができます。

なお、検証パターンは、２回の記事に分けて紹介する予定です。

AzureのOCRサービスでは、次の2種類が使用できます。

1. Read APIを使用したOCR
2. OCR APIを利用したOCR

AIを利用したOCRサービスです。手書き文字の認識にも対応しています。ただし、現在サポートされている言語は欧米系のみです。

従来のアルゴリズム（AI未使用）を使用したOCRサービスです。27言語に対応しており言語の自動検出も可能です。 日本語のOCRを使用したい場合は、こちらを指定する必要があります。

認識精度は、機械学習を利用したRead APIのほうが圧倒的に高精度です。
サポート言語に関しては、Azureの制限事項を参照して下さい。

GCPのOCRサービスでは、次の2種類のモードが使用できます。どちらもAIが使用されています。

1. 一般的な画像に適したOCR
2. 文書に適したOCR

一般的な画像からテキストを検出する場合に適しています。

高密度のテキスト画像やドキュメントなどに最適化されます。

検出する言語や、画像内のテキスト位置によっては、精度に大きな違いが発生する場合があります。

Windows 10のSDKを使用したOCRサービスです。AIを使用しない従来からのアルゴリズムで実装されています。
しかし、オフラインで動作するため高速で処理され、クラウド側にデータを渡す必要がないのでプライバシーを保護できます。

最初の検証は、日本語の縦書きです。縦書きの精度を検証すれば横書きの精度に関しては推測できると思うので、ここではあえて縦書きのみ行います。

１．ルビを含まない文章

最初は、ルビを含まない次の画像からテキストを検出します。（電子書籍から切り取った画像）

GCP
われわれのように地球物理学関係の研究に従事しているものが国々の神話など を読む場合に一番気のつくことは、それらの説話の中にその国々の気候風土の特 徴が濃 厚に印銘されており浸潤していることである。たとえばスカンディナヴィ アの神話の中には、温暖な国の住民には到底思いつかれそうもないような、驚く べき氷や雪の現象、あるいはそれを人格化し象徴化したと思われるような描写が 織り込まれているのである。 それで、わが国の神話伝説中にも、そういう目で見ると、いかにも日本の国土 にふさわしいような自然現象が記述的あるいは象徴的に至るところにちりばめら れているのを発見する。
ほぼ完璧に検出できました。


Azure (OCR API)
徴 が 濃 厚 に 印 銘 さ れ て お り 浸 潤 し て い る こ と で あ る 。 た と え ば ス カ ン デ ィ ナ ヴ ィ 織 り 込 ま れ て い る の で あ る 。 れ て い る の を 発 見 す る 。 を 読 む 場 合 に 一 番 気 の つ く こ と は 、 そ れ ら の 説 話 の 中 に そ の 国 々 の 気 候 風 土 の 特 に ふ さ わ し い よ う な 自 然 現 象 が 記 述 的 あ る い は 象 徴 的 に 至 る と こ ろ に ち り ば め ら べ き 氷 や 雪 の 現 象 、 あ る い は そ れ を 人 格 化 し 象 徴 化 し た と 思 わ れ る よ う な 描 写 が ア の 神 話 の 中 に は 、 温 暖 な 国 の 住 民 に は 到 底 思 い っ か れ そ う も な い よ う な 、 驚 く そ れ で 、 わ が 国 の 神 話 伝 説 中 に も 、 そ う い う 目 で 見 る と わ れ わ れ の よ う に 地 球 物 理 学 関 係 の 研 究 に 従 事 し て い る も の が 国 々 の 神 話 な ど 、 い か に も 日 本 の 国 土
文字としては検出できているのですが、各文章の順番がバラバラで縦書きは苦手なようです。


Windows 10標準
わ れ わ れ の よ う に 地 球 物 理 学 関 係 の 研 究 に 従 事 し て い る も の が 国 々 の 神 話 な ど を 読 む 場 合 に 一 番 気 の つ く こ と は 、 そ れ ら の 説 話 の 中 に そ の 国 々 の 気 候 風 土 の 特 徴 が 濃 厚 に 印 銘 さ れ て お り 浸 潤 し て い る こ と で あ る 。 た と え ば ス カ ン デ ィ ナ ヴ ィ ア の 神 話 の 中 に は 、 猛 暖 な 国 の 住 民 に は 到 底 思 い っ か れ そ う も な い よ う な 、 驚 く べ き 氷 や 雪 の 現 象 、 あ る い は そ れ を 人 格 化 し 象 徴 化 し た と 思 わ れ る よ う な 描 写 が 織 り 込 ま れ て い る の で あ る 。 、 い か に も 日 本 の 国 土 そ れ で 、 わ が 国 の 神 話 伝 説 中 に も 、 そ う い う 目 で 見 る と に ふ さ わ し い よ う な 自 然 現 象 が 記 述 的 あ る い は 象 徴 的 に 至 る と こ ろ に ち り ば め ら れ て い る の を 発 見 す る 。
一部文章の順番がおかしくなっている箇所は有りますが、縦書きでも予想以上の健闘をしました。

次は、ルビを含む画像からテキストを検出します。（電子書籍から切り取った画像）

GCP
あめのたぢからおのみこと 記紀にはないが、天手力男命が、引き明けた岩戸を取って投げたのが、 とがくしやま 虚空はるかにけし飛んでそれが現在の戸隠山になったという話も、やはり火 山爆発という現象を夢にも知らない人の国には到底成立しにくい説話である。
ルビも取得していますが、ほぼ完璧に検出できました。


Azure (OCR API)
虚 空 は る か に け し 飛 ん で そ れ が 現 在 の 戸 隠 山 に な っ た と い う 話 も 、 や は り 火 山 爆 発 と い う 現 象 を 夢 に も 知 ら な い 人 の 国 に は 到 底 成 立 し に く い 説 話 で あ る 。 記 紀 に は な い が 、 天 手 カ 男 命 が 、 引 き 明 け た 岩 戸 を 取 っ て 投 げ た の が 、 あ め の た ち か ら お の み こ と と が く し や ま
文字としては検出できていますが、やはり各文章の順番がバラバラで縦書きは苦手なようです。


Windows 10標準
あ め の た ち か ら お の み こ と 記 紀 に は な い が 、 天 手 カ 男 命 が 、 引 き 明 け た 岩 戸 を 取 っ て 投 げ た の が 、 と が く し や ま 虚 空 は る か に け し 飛 ん で そ れ が 現 在 の 戸 隠 山 に な っ た と い う 話 も 、 や は り 火 山 爆 発 と い う 現 象 を 夢 に も 知 ら な い 人 の 国 に は 到 底 成 立 し に く い 説 話 で あ る 。
一部の文字検出に誤りが有りますが、ほぼGCPと同等の結果で予想以上の健闘をしました。

AIを利用したGCPが優秀であることは当然として、Widows 10標準のOCRが大健闘しました。 同じMicrosoft製品なのですが、AzureのOCR APIはアルゴリズムが異なっているのでしょうか・・・。

ここでは、マンガの吹き出しの検証を行います。日本語と英語の吹き出しで検証しています。 複数の吹き出しを使用した、少し意地悪な検証です。

１．縦書き日本語と複数の吹き出し

最初は、縦書きの日本語と２つの吹き出しを含む次の画像からテキストを検出します。（電子書籍から切り取った画像）

GCP（一般的な画像モード）
耕作《ん 計域… pSRこるな
うまく検出できないようです。AI搭載のGoogleでも無理なのか・・・・？


GCP（文書モード）
耕作くん 写真 わたしにも一枚 もらえないかな?
モードを変更すると、今度はほぼ完璧に検出できました。


Azure (OCR API)
も ら え な い か な ? わ た し に も 一 校
右側の吹き出しが全く検出できなく、しかも文章の順番がバラバラでやはり縦書きは苦手なようです。


Windows 10標準
写 真 : わ た し に も 一 校 も ら え な い か な ?
健闘したのですが、右側の吹き出しが全く検出出来ませんでした。

次は、英語で２つの吹き出しを含む次の画像からテキストを検出します。（電子書籍から切り取った画像）

GCP（一般的な画像モード）
SO WHY DO YOU NEED THESE RATINGS? DON'T TV NETWORKS JUST PUT ON WHAT THEY DAMN WELL PLEASE ANYWAY? OH NO, NOT AT ALL, SON. TV PROGRAMMERS FOLLOW THE DATA WE COLLECT VERY CAREFULLY SO THAT THEY DONT ACCIDENTALLY PUT ON ANY- THING THAT MIGHT BE NEW OR INNOVATIVE. OR GOOD. C 0000
画像内の絵を間違って文字として検出している箇所も有りますが、ほぼ完璧に検出できました。


GCP（文書モード）
SO WHY DO YOU NEED THESE RATINGS? DONT TV NETWORKS JUST PUT ON WHAT THEY DAMN WELL PLEASE ANYWAY? OH NO, NOT AT ALL, SON TV PROGRAMMERS FOLLOW THE DATA WE COLLECT VERY CAREFULLY SO THAT THEY DON'T ACCIDENTALLY PUT ON ANY- THING THAT MIGHT BE NEW OR INNOVATIVE OR GOOD 0 0 0 0
一般的な画像モードとほぼ同様です。しかしこのモードでは、「DON'T TV」等の記号が上手く検出できていません。


Azure (Read API)
OH NO, NOT AT ALL, SON. SO WHY TV PROGRAMMERS FOLLOW DO YOU NEED THE DATA WE COLLECT VERY CAREFULLY THESE RATINGS? DON'T TV SO THAT NETWORKS JUST THEY DON'T PUT ON WHAT ACCIDENTALLY THEY DAMN PUT ON ANY- WELL PLEASE THING THAT ANYWAY? MIGHT BE NEW OR INNOVATIVE OR GOOD 60 0 0
GCPと同様に文字としてはほぼ完璧に検出できています。ただし、単純に水平方向で検出した順番で出力しているため吹き出し毎のテキストが分離されていません。


Windows 10標準
00 YOJ NEED THESE DON -r NETWOE<S ous-r ON WHAT WELL PLEASE OH No, NOT AT ALL. s.ot.å TV FOLLOW DATA WE COLLECT CAQEFUL.LS SO THAT eoNT Acc I DENTALLY T HING MIGHT BE NEW
解説は控えさせていただきます・・・。

AIを利用したGCP及びAzureとも、文字の検出精度は非常に優秀であることがわかるのではないでしょうか。 Azureの場合は、検出後の順番などはプログラマー任せという仕様でしょうか・・・。

ここでは、動画再生中にフレーム内の一部を切り出した検証を行います。 ピンぼけしている映像を使用した、少し意地悪な検証です。

１．ピンぼけした文字（日本語）

最初は、日本映画の背景で映像として流れていた、少し文字フォーカスがあいまいな画像からテキストを検出します。（動画フレームから切り取った画像）

GCP（一般的な画像モード）
あなたの街の 安心キャッシング 蔵の屋質買取 くらのや 質 買取 脱売·預りもしています 駅より徒歩 2 分 $310-0783 軽に
誤検出も有りますが、大健闘しています。


GCP（文書モード）
あなたの街の 安心キャッシング くらのや 質買取 販売・預りもしています 駅より徒歩2分 「310-0783 蔵の屋
このモードの方が、誤検出は少ない結果になりました。大健闘です。


Azure (OCR API)
メ 、 あ な た の の 第 ン 、 安 心 ャ ッ シ ン ク ・ く 6 の ー 蔵 の 屋 質 買 取 欺 た ・ 湫 り も し て い 寸
やはり厳しい結果になりましたが、横書きではWindows 10標準OCRより検出できた文字数が多くなっています。


Windows 10標準
欺 た ・ 湫 り も し て い 寸 く 6 の ー 蔵 の 屋 質 買 取
最も検出できた文字数が少ない結果となりました。

次は、海外ドラマの背景でニュース映像として流れていた、少し文字のフォーカスがあいまいな画像からテキストを検出します。（動画フレームから切り取った画像）

GCP（文書モード）
Panera went online with a record-setting fifty million unique souls and visitors. The aggressive chain restaurant's stock is soaring after buying Facebook earlier this year. Insiders and sources close to the industry say that *Acon' is entirely unlike any of the other post-life experiences. “We've crafted this very special place to be everything you've ever dreamed of every thrill and excitement inherent is such a charged environment," a Panera representative. craftsmanship and attention to detail is astounding. 'Aeon' happes to be my personal choice as a post-life experience, and I'm actually really looking forward to it!" says - The
AeonがAconやAeonと混在していたり、記号と文字以外の誤検出は有りますが精度はかなり高いです。 モードを変更しても結果は同じでした。


Azure (Read API)
Panera went online with a record-setting fifty million unique souls and visitors. The aggressive chain restaurant's stock is soaring after buying Facebook earlier this year. Insiders and sources close to the industry say that "Acon" is entirely unlike any of the other post-life experiences. "We've crafted this very special place to be everything you've ever dreamed of every thrill and excitement inherent is such a charged environment," says a Panera representative. " The craftsmanship and attention to detail is astounding. "Acon" happes to be my personal choice as a post-life experience, and I'm actually really looking forward to it!"
AeonをAconと検出していますが、その他は記号を含めてほぼ完璧です。


Windows 10標準
P•er• •eat • b earl —rees say ••We•ve very dre tera exe— b • ei•rvd era— b
・・・。

AIを利用したGCP及びAzureとも、文字の検出精度は非常に優秀であることがわかります。 Azureの場合、英語の検出精度ではGoogleに勝るケースもみられます。

ここでは、デジカメで撮影した画像の一部を切り取った検証を行います。 少し斜めになっている、意地悪な検証です。

１．縦書きの看板（日本語）

最初は、観光地でよく見かける観光名所の説明を表示した看板からテキストを検出します。（デジカメ画像から切り取った画像）

GCP（文書モード）
ドリ of によ らい ぞう そん 五智如来地蔵尊 この五智如来地蔵尊は、寛文の初 め頃(一六六三年)相州岩村 (神奈川 県足柄下郡)の網元 朝倉清兵衛の 娘が九歳で身ごもり、その安産を大 室山浅間神社に祈願したところ、無 事安産したので「おはたし」と称し てお礼に、真鶴石で五智如来蔵を作 らせ、船で城ケ崎の富戸港に運び、 富戸の強力兄弟が、一体を三回に分 けて背負い、計十五回で現在地に安 置されたと伝えられています。 昔から願い事をかなえて下さる 優しい心の神様として、伊豆、相模、 附近の方々の信仰が深く、特に安産 と縁結びの神様として参詣が多い。
ルビの検出が変ですが、ほぼ完璧に検出出来ました。 なお、モードを変更してもルビの検出は同様でした。


Azure (OCR API)
県 足 柄 下 郡 ) の 網 元 朝 倉 清 兵 衛 の 娘 か 九 歳 て 身 こ も り 、 そ の 安 産 を 大 室 山 浅 間 神 社 に 祈 願 し た と こ ろ 、 無 事 安 産 し た の で 「 お は た し 」 と 称 し て お 礼 に 、 真 鶴 石 で 五 智 如 来 蔵 を 作 め 頃 ( 一 六 六 三 年 ) 相 州 岩 村 ( 神 奈 川 ら せ 、 船 で 城 ヶ 崎 の 富 戸 港 に 運 び 、 富 戸 の 強 力 兄 弟 が 、 一 体 を 三 回 に 分 け て 背 負 い 、 計 十 五 回 で 現 在 地 に 安 附 近 の 方 々 の 信 仰 か 深 く 、 特 に 安 産 置 さ れ た と 伝 え ら れ て い ま す 。 優 し い 心 の 神 様 と し て 、 伊 豆 、 相 模 、 と 縁 結 び の 神 様 と し て 参 詣 が 多 い 。 五 智 如 来 地 蔵 尊 昔 か ら 願 い 事 を 「 か な え て 」 下 さ る こ の 五 智 如 来 地 蔵 尊 は 、 寛 文 の 初 ら い し そ う そ ん
文字の検出自体は良いのですが、やはり縦書きの場合、順番がおかしくなります。


Windows 10標準
こ ち に よ ら い し ぞ う そ ん 五 智 如 来 地 蔵 尊 こ の 五 智 如 来 地 蔵 尊 は 、 寛 文 の 初 め 頃 ( 一 六 六 三 年 ) 相 州 岩 村 ( 神 奈 川 県 足 柄 下 郡 ) の 網 元 朝 倉 清 兵 衛 の 娘 か 九 歳 て 身 こ も り 、 そ の 安 産 を 大 室 山 浅 間 神 社 に 祈 願 し た と こ ろ 、 無 事 安 産 し た の で 「 お は た し 」 と 称 し て お 礼 に 、 真 鶴 石 で 五 智 如 来 蔵 を 作 ら せ 、 船 で 城 ヶ 崎 の 富 戸 港 に 運 び 、 富 戸 の 強 力 兄 弟 が 、 一 体 を 三 回 に 分 け て 背 負 い 、 計 十 五 回 で 現 在 地 に 安 置 さ れ た と 伝 え ら れ て い ま す 。 昔 か ら 願 い 事 を 「 か な え て 」 下 さ る 優 し い 心 の 神 様 と し て 、 伊 豆 、 相 模 、 附 近 の 方 々 の 信 仰 か 深 く 、 特 に 安 産 と 縁 結 び の 神 様 と し て 参 詣 が 多 い 。
GCPで検出できなかった記号やルビも検出しています。予想外の大健闘です。 濁点のあるひらがなが上手く検出できていない以外は、GCP以上の検出結果です。

次は、縦書きと横書き、さらに日本語と英語が混在している看板からテキストを検出します。（デジカメ画像から切り取った画像）

GCP（一般的な画像モード）
東天狗岳 すのばち池。黒百合平 Mt.Higashitengudake Suribachiike Ponds-Kuroyuridaira Plain 茅野市
文書モードより誤検出が多いようですが、大健闘しました。


GCP（文書モード）
東天狗岳 すりばち池・黒百合平 Mt.Higashitengudake Suribachiike Ponds•Kuroyuridaira Plain ここは 天狗の奥庭上端, 野市
ほぼ完璧に検出していますが、文字以外の誤検出と一般的な画像モードで検出できた茅野市が検出できていません。


Azure (OCR API)
東 天 狗 岳 ・ こ ・ 「 」 こ は 天 狗 の 奥 庭 上 一 」 、 一
予想通りですが、残念な結果になりました。


Windows 10標準
東 天 狗 岳 ・ こ ・ 「 」 こ は 天 狗 の 奥 庭 上 一 」 ・ 一
Azureとほぼ同じ結果になりました。

AIを利用したGCPでは、縦書きと横書き、日本語と英語が混在する画像でも文字の検出精度は非常に優秀であることがわかります。 また、背景が無地で高解像度画像の場合、非AIのOCRでもかなり良い検出結果になることも分かりました。

背景が無地でない場合やレイアウトが複雑になるほど、従来のOCRアルゴリズムでは検出が困難になります。 技術の変化を改めて実感された方も少なくないと思いますが、AIに置き換わっていく時代が着々と進行しているということになります。

Googleドライブを利用すると、少し手間と時間がかかりますが無料で機械学習を使用したOCRを試してみる事が可能です。 なお、モードの変更などができないため、画像によっては誤検出するケースも多いです。
やり方は、切り取った画像をファイルにしアップロードを行った後に、Googleドキュメントで開くという手順になります。

クラウドの基本的な知識が有る方は、OCR de PawSを試してみて下さい。切り取った画像を貼り付けるだけで、モードの違いなども試すことができるようになります。

次回は、もう少し複雑なパターンと翻訳の検証を行った結果を紹介する予定です。