奈良先端科学技術大学院大学 情報科学研究科 像情報処理学講座

紙文書への電子的注釈入力・表示システム

研究背景

文書の閲覧と注釈

文書を閲覧する,すなわち読むという行為は, 文書中の読むべき情報を「探し」, その情報を「読み」,さらに必要であれば「注釈」を付け 理解の助けや次に閲覧する際の目印とするというような行動から成っていると考えられます. ここで「注釈を付ける」という作業に焦点を当てると, それは私たちが日常的にごく当たり前のように行っている行為ですが, 注釈を効果的に用いれば文書はより読みやすく理解しやすいものになると考えられます.

私たちが日常読む文書は,PCなどで閲覧する「電子化文書」, 本や新聞,雑誌などの「紙文書」がほとんどですが, それらに「注釈を付与」し「読む」ときにそれぞれ長所・短所があります.

電子化文書や紙文書に注釈を付け読むときの長所・短所

電子化文書はPC上で注釈付けの作業ができるため,非常に簡単に注釈を付けることができます. しかし,「読む」ということに対しては, ディスプレィの大きさに制約され画像を拡大・縮小するという操作が必要となることが多々あります. また,紙文書のように「めくる」という直感的な操作を提供することができません.

一方で,紙文書では,電子化文書では不可能な「めくる」という操作は可能なのですが, 注釈を書き込むということは,書き込んだものを編集・消去することはできず, 文書を破壊するということにつながります.

以上のように,電子化文書や紙文書に注釈を付け読むということを考えた場合,一長一短があるのですが, それらの長所を持ち合わせるシステムを開発し文書の閲覧を支援しようという研究が行われています. しかし,現状では既存の紙文書(既に印刷された文書)に対して注釈付けを非破壊的に可能とするようなシステムはありません.

研究目的と提案システム

「電子書見台」システム

そこで本研究では,以下の図のような「電子書見台」システムを提案し, 既存の紙文書に対し,非破壊な注釈付けを可能とすることで,文書の閲覧を支援することを目的とします.

電子書見台概観

提案システムは,ユーザがLEDを装着したペンを用いて注釈を書き込み, カメラによる入力画像から文書の位置と書き込みの位置を取得し, その位置を参照しプロジェクタで紙面に注釈を仮想的に重畳表示する仕組みとなっています. また,入力画像から注釈を書き込んでいる紙面を判別する情報を取得し, 次に閲覧する際に自動的に紙面を判別し,以前に付けた注釈を表示することも可能としています.

このシステムにより,

・紙文書の扱いやすさ,見やすさを失わない閲覧

・非破壊で直感的な注釈の入力

ということが可能となり文書の閲覧を支援することができます. また,注釈以外のディジタルコンテンツ(動画やハイパーリンク)を既存の紙文書に表示するということも期待できます.

試作システムの動作検証

試作システム

以下の図のような試作システムを用い動作を検証しました.

試作システム概観

結果

動作の様子を以下の図に示します.

試作システム概観

試作システムでは,10ptの大きさで印刷されている厚みを持たない紙文書に対し, 1行あるいは1文字ずれない精度でラインや図形を記入することが可能でした. また,紙面を自動的に識別し, あらかじめ付けておいた注釈を対応するページに正確に重畳表示し, さらに注釈を追記し表示することが可能であることも確認できました.

まとめ

本研究では,既存の紙文書に対し, 電子的な注釈の入力・表示を可能とすることで文書の閲覧を支援するシステムである 「電子書見台」を提案しました. また,提案システムのプロトタイプを実装し, 市販のラインマーカ程度の太さでの記入, 紙面を正しく識別し,書き込んだ注釈を再度表示が可能であることを確認しました.