環境を監視して現実世界をナビゲートするには、ロボットがさまざまな背景照明条件下で画像と環境測定値を取得できる必要があります。近年、世界中の研究者やエンジニアが、ロボット、監視システム、または周囲を感知できるその他のデバイスに統合するための、ますます高度なセンサーの開発に取り組んでいます。
ミームスコンサルティングによると、香港理工大学、北京大学、延世大学、復旦大学の研究者は最近、網膜機能を人工的にシミュレートするメカニズムを使用し、光条件下で収集されたさまざまなデータに使用できる新しいタイプのバイオニックビジョンセンサーを開発しました。このバイオニックビジョンセンサは、二硫化モリブデン製のフォトトランジスタに基づいています。
生体模倣ビジョンセンサアレイの写真(左);ビジョンセンサユニットの概略構成と光学顕微鏡画像(右)
「私たちの研究チームは5年前に光電子メモリの研究を始めました」と、ビジョンセンサーを開発した研究者の一人であるYang Chai氏は述べています。「この新興デバイスは、光依存および履歴依存の信号を出力し、画像統合を可能にします。 、弱い信号蓄積、スペクトル解析およびその他の複雑な画像処理機能、センシング、データストレージ、およびデータ処理の多機能統合を1つのデバイスに実現します。
2018年、Yang Chaiと彼の同僚は、光電子メモリに関する最初の論文を発表し、光センシングと論理演算を行うことができる抵抗スイッチングメモリデバイスを導入しました。1年後、チームは3つの異なる機能を備えた新しいタイプのフォト抵抗ランダムアクセスメモリを発表しました。具体的には、新しいデバイスは、環境を感知し、情報をメモリに格納し、ニューロモルフィックな視覚的前処理操作を実行することができる。
「私たちは2020年にニアセンサーとインセンサーコンピューティングのパラダイムの概念を研究し、この分野での見解を発表しました。ヤン・チャイ氏は続けて、「生体模倣ビジョンセンサーに関するこの新しい研究は、これまでのすべての努力の上に私たちの上に構築されています。
周囲の自然光の強度は大きく異なり、総範囲は280dBです。ヒト網膜が外光信号を感知すると、信号の強さに応じて光受容体(すなわち、桿体および円錐体)の光感度を調整する。これにより、人間の目は最終的にさまざまなレベルの照明に徐々に適応し、暗い環境と明るい環境の両方ではっきりと見ることができ、「視覚的適応」として知られる能力が得られます。
「例えば、明るいホールから暗い映画館に入ると、最初はほとんど何も見えませんが、しばらく映画館に入ると、物が見えやすくなります」とヤン・チャイは説明します。「この現象は暗所視適応と呼ばれています。逆に、暗い映画館から日当たりの良い屋外に行くと、最初はとても眩しいと感じ、周りで何が起こっているのかに慣れるまでに時間がかかります。暗黒適応の反対のプロセスは、明所視適応と呼ばれます。
ヤン・チャイと彼の同僚の最近の研究の主な目標は、人間の網膜の構造と機能に触発された視覚センサーを構築することです。これを行うために、彼らは最初に人間の網膜を研究することから始め、次に視覚的適応を人工的にシミュレートすることを可能にする知覚戦略を設計しようとしました。
CMOS技術に基づく最先端のイメージセンサは、通常、70dBのダイナミックレンジが制限されています。ただし、このダイナミックレンジは、自然シーンの照明範囲(280dB)よりもはるかに狭くなっています。
「幅広い光強度にわたって視覚的知覚を達成するために、研究者は制御された光学絞り、液体レンズ、調整可能な露光時間、および後処理におけるノイズ除去アルゴリズムの使用を探求してきました」とYang Chai氏は述べています。「しかし、これらのメソッドは、多くの場合、複雑なハードウェアとソフトウェアのリソースを必要とします。
生体模倣ビジョンセンサアレイの暗および光適応。(a)暗適応試験の概略:暗環境下での8×8ピクセルアレイを用いた低照度画像の認識。(b)光適応試験の模式図:明るい環境での8×8ピクセルアレイを用いた高照度画像の認識。(c)「8」パターンを識別するための暗順応プロセス。(d)「8」パターンを識別するための光適応プロセス。
光適応型ビジョンと感覚端末での広い検出範囲を備えた光電子デバイスは、非常に貴重なアプリケーションを持つことができます。たとえば、コンピュータビジョンツールの性能を向上させ、ロボットやその他のセンシングシステムを構築するために必要なハードウェアの複雑さを軽減し、画像認識システムの精度を向上させるのに役立ちます。
しかし、他の研究チームは、過去にさまざまな照明条件に適応できる光電子デバイスを開発しました。しかし、以前に実証されたデバイスのほとんどは、網膜の光適応機構を模倣することしかできない。ダークアダプテーションプロセスは、これまでのところシミュレーションがより困難であることが証明されています。
「網膜の視覚適応機能を完全に再現するには、まだ長い道のりがあります」とYang Chai氏は説明します。「これを実現するために、同じデバイス内の暗順応と光適応の程度を異なるゲート電圧を印加することによって制御できる超薄型半導体を用いたフォトトランジスタベースのビジョンセンサを設計しました。このようにして、網膜の感光体や水平細胞をシミュレーションし、199dBの検知範囲を達成することに成功しました。生体模倣センサーにおける視覚適応デバイス」
視覚適応(暗適応と光適応)のための網膜内の光受容体と水平細胞の人工シミュレーション
今回、Yang Chaiたちの研究グループは、二硫化モリブデンとして知られる超薄型半導体材料で作られたフォトトランジスタをベースにした生体模倣ビジョンセンサをベースにしている。彼らが使用したフォトトランジスタは、異なるゲート電圧でチャネル内の電子をトラップまたは放出することができる複数の電荷トラップ状態を有する。
最終的に、これらの状態により、研究者はデバイスのコンダクタンスを動的に調整できます。これにより、人間の網膜の暗と光の適応メカニズムを人工的にシミュレートすることができ、それによってさまざまな照明条件に対するセンサーの知覚の範囲が広がりました。
「当社のバイオニックビジョンセンサーにはいくつかの利点と特徴があります」とYang Chai氏は述べています。「まず、視覚的適応機能が単一のデバイスに実装され、フットプリントが大幅に削減されます。第 2 に、1 つのデバイスに複数の機能を実装できます。ライトセンシング、メモリ、および処理を含みます。最後に、異なる光強度の下での暗と光の適応は、そのゲート電圧を制御することによって達成することができる。
Yang Chaiと彼の同僚は、一連のテストでバイオニックビジョンセンサーを評価し、それが効果的に人間の網膜の機能を模倣し、暗闇と光の両方の適応において顕著な結果を達成することができることを発見しました。さらに、以前に提案されたソリューションと比較して、かなり高い知覚範囲(199dB)を有する。
「当社のビジョンセンサーは、マシンビジョン機能を充実させ、ハードウェアの複雑さを軽減し、高い画像認識効率を達成することができます」とYang Chai氏は述べ、「これらの利点はすべて、自動運転、顔認識、複雑な照明環境での工業生産などの分野で利用できます。素晴らしいアプリケーションの見通し。
今後の研究では、ビジョンセンサの性能をさらに向上させるとともに、センサアレイからなる大規模システムの構築にも活用する予定です。理想的には、このセンサアレイをフレキシブルまたは半球状の基板上に構築して、より広い視野を可能にしたいと考えています。
「改善が必要な分野の1つは、マシンビジョンアプリケーションをサポートするにはまだ十分ではないため、ビジョンセンサーの適応時間です。ヤン・チャイ氏は「我々の目標は、適応時間をマイクロ秒レベルに短縮することです。また、ビジョンセンサアレイのスケールについても更なる改良が求められている。配列サイズの短期目標は、100 x 100 ピクセル以上です。最後に、シリコンベースの制御回路を含むビジョンセンサと後処理ユニットの異種統合は、実用化に向けた非常に重要なステップです。
GMKJテクノロジーは、健康的でスマートな光源に深く関与しており、UVA UVB UVC LED、赤外線IR LED VCSEL製品およびソリューションのフルレンジを市場に提供しています。国内外の市場に何百もの高品質のパートナーがいて、健康でスマートな生活を創造するための光技術の使用を共同で推進しています。.
