Our Prototype RGB-NIR Imaging System Overview

SystemOverview

Project Abstract

     In recent years, many applications using a pair of RGB and near-infrared (NIR) images have been proposed in computer vision and image processing communities. However, the acquisition of the pair of RGB and NIR images is still a challenging task. In this project, we have developed a prototype of a practical real-time RGB-NIR imaging system that can capture RGB and NIR images simultaneously using a single image sensor. The top figure shows an overview of our prototype RGB-NIR imaging system. To acquire high-quality RGB and NIR images, we have proposed a novel RGB-NIR filter array that features high sampling density of the G band like the Bayer color filter array. We also have implemented the image processing pipeline on hardware. Our protoytpe system can capture and display the captured RGB and NIR images in real time at several operation modes.



Publications

Journal Paper

  • Single-Sensor RGB-NIR Imaging: High-Quality System Design and Prototype Implementation   [Project]
    Yusuke Monno, Hayato Teranaka, Kazunori Yoshizaki, Masayuki Tanaka and Masatoshi Okutomi
    IEEE Sensors Journal, vol.19, no.2, pp.497-507, January, 2019.

Conference Papers

  • Single-Sensor RGB and NIR Image Acquisition: Toward Optimal Performance by Taking Account of CFA Pattern, Demosaicking, and Color Correction   [PDF]
    Hayato Teranaka, Yusuke Monno, Masayuki Tanaka and Masatoshi Okutomi
    IS&T Electronic Imaging (EI2016), February, 2016.

  • N-to-sRGB Mapping for Single-Sensor Multispectral Imaging   [Project]
    Yusuke Monno, Masayuki Tanaka and Masatoshi Okutomi
    IEEE ICCV Workshop: 5th Color and Photometry in Computer Vision Workshop (CPCV2015), pp.66-73, December, 2015.

  • Simultaneous Capturing of RGB and Additional Band Images Using Hybrid Color Filter Array   [Project]
    Daisuke Kiku, Yusuke Monno, Masayuki Tanaka and Masatoshi Okutomi
    IS&T/SPIE Electronic Imaging (EI2014), Digital Photography X (Proc. SPIE 9023), pp.90230V-1-9, February, 2014.

Demonstration

  • A Real-Time RGB-NIR Imaging System Using a Single Image Sensor   [Abstract], [Poster]
    Kazunori Yoshizaki, Munenori Fukunishi, Yasuhiro Komiya, Yusuke Monno, Masayuki Tanaka, Masatoshi Okutomi and Steven Lansel
    IEEE Conference on Computer Vision and Pattern Recognition (CVPR2016) (Demonstration), June, 2016.

Japanease Presentations

  • 可視光と近赤外光を同時に撮像可能な撮像素子 [リンク]
    紋野雄介, 田中正行, 奥富正敏, 吉崎和徳, 福西宗憲, 小宮康宏
    O plus E, アドコム・メディア, vol.40, no.4, pp.560-565, July, 2018.

  • RGB-NIRカメラを用いた非接触心拍数推定
    角詩香, 紋野雄介, 森脇健太, 吉崎和徳, 田中正行, 奥富正敏
    第24回画像センシングシンポジウム (SSII2018), pp.SO3-IS3-18-1-2, June, 2018.

  • 次世代ヒューマンセンシングに向けたRGB-Xイメージングシステムの研究開発
    奥富正敏, 田中正行, 紋野雄介, 吉崎和徳, 菊地直, 福西宗憲
    ICTイノベーションフォーラム, pp.28-29, October, 2017.

  • カラー画像と近赤外線画像を同時に撮影可能なイメージングシステム
    奥富正敏, 紋野雄介, 田中正行, 吉崎和徳, 福西宗憲, 小宮康宏
    日本光学会 光設計研究グループ 第62回研究会 (招待講演), 光設計研究グループ機関誌, No.62, pp.38-43, July, 2017.

  • カラー画像を同時取得可能なリアルタイム近赤外線蛍光イメージング
    吉崎和徳, 福田弘之, 紋野雄介, 田中正行, 奥富正敏, 石原学, カムトーンキッティクン チャイヤスィット
    第23回画像センシングシンポジウム (SSII2017), pp.SO1-IS1-20-1-4, June, 2017.

  • カラー画像と近赤外線画像を同時撮影可能なイメージングシステム [リンク]
    紋野雄介, 田中正行, 奥富正敏, 菊地直, 吉崎和徳, 小宮康宏
    O plus E, アドコム・メディア, vol.38, no.11, pp.991-992, October, 2016.

  • 【招待ショートサーベイ】単板撮像素子を用いたマルチバンド画像撮影システム [発表資料]
    紋野雄介, 田中正行, 奥富正敏, 菊地直, 吉崎和徳, 福西宗憲, 小宮康宏
    パターン認識・メディア理解研究会 (PRMU) (招待講演), vol.116, no.208, pp.153-156, September, 2016.

  • 単板リアルタイムRGB-NIR イメージングシステム
    吉崎和徳, 福西宗憲, 小宮康宏, 紋野雄介, 寺中駿人, 田中正行, 奥富正敏
    第19回画像の認識・理解シンポジウム (MIRU2016), pp.DS-08-1-2, August, 2016.

  • 単板撮像素子を用いたリアルタイムRGB-NIR イメージングシステム [紹介動画]
    吉崎和徳, 福西宗憲, 小宮康宏, 紋野雄介, 寺中駿人, 田中正行, 奥富正敏
    第22回画像センシングシンポジウム (SSII2016), pp.SO1-DS1-01-1-1, June, 2016.

  • 高性能RGB-NIRイメージングに向けたCFAとデモザイキング処理の提案
    寺中駿人, 紋野雄介, 田中正行, 奥富正敏, 吉崎和徳, 福西宗憲, 小宮康宏
    第22回画像センシングシンポジウム (SSII2016), pp.SO2-IS2-31-1-7, June, 2016.

  • ハイブリッドCFAを用いた実用的なワンショットRGB-NIRイメージング
    紋野雄介, 禧久大輔, 菊地直, 田中正行, 奥富正敏
    第21回画像センシングシンポジウム (SSII2015), pp.IS1-12-1-4, June, 2015.

  • ハイブリッドカラーフィルタアレイを用いたワンショットRGB-X画像撮影
    禧久大輔, 紋野雄介, 菊地直, 田中正行, 奥富正敏
    日本光学会年次学術講演会 Optics & Photonics Japan (OPJ2014), pp.6aE2-1-2, November, 2014．

Press Release


Media Reports

Jananease Newspaper

Jananease Magazine

Online News (Japanease)

Online News (Other Languages)

アクセスカウンター