Las características de la cámara OpenMV

OpenMV Cam es una placa de microcontrolador pequeña y de bajo consumo que le permite implementar fácilmente aplicaciones utilizando visión artificial en el mundo real. Usted programa OpenMV Cam en scripts Python de alto nivel (cortesía del sistema operativo MicroPython) en lugar de C/C++. Esto facilita el manejo de los resultados complejos de los algoritmos de visión artificial y el trabajo con estructuras de datos de alto nivel. Pero aún tiene control total sobre su cámara OpenMV y sus pines de E/S en Python. Puede activar fácilmente la toma de fotografías y videos en eventos externos o ejecutar algoritmos de visión artificial para averiguar cómo controlar sus pines de E/S.

El procesador STM32H743II ARM Cortex M7 funciona a 480 MHz con 32 MB de SDRAM + 1 MB de SRAM y 32 MB de flash externo + 2 MB de flash interno. Todos los pines de E/S emiten 3,3 V y son tolerantes a 5 V. El procesador tiene las siguientes interfaces de E/S:

• Una interfaz USB de alta velocidad (12 Mbs) para su computadora. Su cámara OpenMV aparecerá como un puerto COM virtual y una unidad flash USB cuando esté enchufada.
• Un zócalo de tarjeta μSD con capacidad de lectura/escritura de 100 Mbs que permite que su OpenMV Cam tome fotografías y extraiga fácilmente activos de visión artificial de la tarjeta μSD.
• Un bus SPI que puede ejecutar hasta 80 Mbs, lo que le permite transmitir fácilmente datos de imagen del sistema al LCD Shield, WiFi Shield u otro microcontrolador.
• Un bus I2C (hasta 1 Mb/s), un bus CAN (hasta 1 Mb/s) y un bus serie asíncrono (TX/RX, hasta 7,5 Mb/s) para interactuar con otros microcontroladores y sensores.
• Un ADC de 12 bits y un DAC de 12 bits.
• Dos pines de E/S para servocontrol.
• Interrupciones y PWM en todos los pines de E/S (hay 10 pines de E/S en la placa).
• Y, un LED RGB y dos LED IR de 850nm de alta potencia.
• 32 MB de SDRAM externa de 32 bits sincronizada a 100 MHz para 400 MB/s de ancho de banda.
• 32 MB de flash quadspi externo sincronizado a 100 MHz en modo DDR de 4 bits para 100 MB/s de ancho de banda (velocidad de lectura).

Un sistema de módulo de cámara extraíble que permite que OpenMV Cam H7 interactúe con diferentes sensores:

• La OpenMV Cam H7 Plus viene con un sensor de imagen OV5640 capaz de tomar imágenes de 2592x1944 (5MP). La mayoría de los algoritmos simples se ejecutarán entre 25 y 50 FPS en resoluciones QVGA (320x240) e inferiores. Su sensor de imagen viene con una lente de 2,8 mm en una montura de lente M12 estándar. Si desea utilizar lentes más especializados con su sensor de imagen, puede comprarlos y colocarlos usted mismo fácilmente. - Para aplicaciones profesionales de visión artificial, puede comprar nuestro Módulo de cámara con obturador global.

- Para aplicaciones profesionales de visión artificial, puede comprar nuestro Módulo de cámara con obturador global. - Para aplicaciones de visión artificial térmica, puede comprar nuestro módulo adaptador FLIR Lepton.

Un conector de batería LiPo compatible con baterías LiPo de 3,7 V comúnmente vendidas en línea para aplicaciones robóticas de aficionados.

Biblioteca de interfaz

La cámara OpenMV viene integrada con una biblioteca RPC (Remote Python/Procedure Call) que facilita la conexión de la cámara OpenMV a su computadora, una SBC (computadora de placa única) como RaspberryPi o Beaglebone, o un microcontrolador como Arduino. o ESP8266/32. La biblioteca de interfaz RPC funciona sobre:

• Serie asíncrona (UART): hasta 7,5 Mb/s.
• Bus I2C: hasta 1 Mb/s.
• Bus SPI: hasta 80 Mb/s.
• Bus CAN: hasta 1 Mb/s.
• Puerto COM virtual USB (VCP): hasta 12 Mb/s.
• WiFi usando WiFi Shield- hasta 12 Mb/s.

Con la biblioteca RPC, puede obtener fácilmente resultados de procesamiento de imágenes, transmitir datos de imágenes RAW o JPG, o hacer que OpenMV Cam controle otro microcontrolador para un control de hardware de nivel inferior, como motores de accionamiento.

OpenMV proporciona las siguientes bibliotecas para conectar su OpenMV Cam a otros sistemas a continuación:

• Biblioteca de interfaz Python genérica para comunicaciones USB y WiFi Proporciona código Python para conectar su OpenMV Cam a una computadora con Windows, Mac o Linux (o RaspberryPi/Beaglebone, etc.) con python programáticamente a través de USB VCP o Ethernet/WiFi (es decir, con enchufes) .
• Biblioteca de interfaz Arduino para comunicaciones I2C, SPI, CAN y UART

Applications

La cámara OpenMV se puede usar para las siguientes cosas actualmente (más en el futuro):

• Soporte de TensorFlow Lite para microcontroladores
  • La compatibilidad con TensorFlow Lite le permite ejecutar modelos personalizados de clasificación y segmentación de imágenes a bordo de su OpenMV Cam. Con la compatibilidad con TensorFlow Lite, puede clasificar fácilmente regiones complejas de interés en la vista y controlar los pines de E/S en función de lo que ve. Consulte el módulo TensorFlow para obtener más información.
  • OpenMV Cam presenta la integración de Edge Impulse para facilitar el entrenamiento de TensorFlow Lite Models en la nube. ¡Usando OpenMV IDE y Edge Impulse, puede entrenar fácilmente a un modelo en 15 minutos! Aquí hay un video que muestra cómo funciona.
• Detección de personas
  • Puede detectar si hay una persona en el campo de visión utilizando nuestro modelo TensorFlow Lite integrado de detector de personas. Vídeo de demostración aquí.
• Comparación de plantillas
  • Puede utilizar la coincidencia de plantillas con su OpenMV Cam para detectar cuándo se ve una imagen traducida previamente guardada. Por ejemplo, la comparación de plantillas se puede usar para buscar fiduciales en una PCB o leer dígitos conocidos en una pantalla.
• Decodificación de código de barras lineal
  • OpenMV Cam H7 Plus también puede decodificar códigos de barras lineales 1D. En particular, puede decodificar códigos de barras EAN2, EAN5, EAN8, UPCE, ISBN10, UPCA, EAN13, ISBN13, I25, DATABAR, DARABAR_EXP, CODABAR, CODE39, CODE93 y CODE128. Puede ver nuestro video sobre esta función aquí.
• Detección/descodificación de códigos QR
  • Puede usar OpenMV Cam para leer códigos QR en su campo de visión. Con la detección/descodificación de códigos QR puede crear robots inteligentes que puedan leer etiquetas en el entorno. Puede ver nuestro video sobre esta función aquí.
• Detección/descodificación de matriz de datos
  • OpenMV Cam H7 Plus también puede detectar y decodificar códigos de barras 2D de matriz de datos. Puede ver nuestro video sobre esta función aquí.

• Detección de rostro
  • Puede detectar rostros con su OpenMV Cam (o cualquier objeto genérico). Su OpenMV Cam puede procesar Haar Cascades para realizar la detección de objetos genéricos y viene con una Cascada de cara frontal y una Cascada de ojos Haar integradas para detectar rostros y ojos. Vídeo de demostración aquí.
• Registro visual
  • Puede usar Eye Tracking con su OpenMV Cam para detectar la mirada de alguien. Luego puede, por ejemplo, usar eso para controlar un robot. Eye Tracking detecta dónde mira la pupila en lugar de detectar si hay un ojo en la imagen.
• Detección de círculos
  • Puede usar OpenMV Cam H7 Plus para detectar fácilmente círculos en la imagen. Compruébelo usted mismo en este vídeo.
• Detección de rectángulo
  • La OpenMV Cam H7 Plus también puede detectar rectángulos usando el código detector cuádruple de nuestra biblioteca AprilTag. Mira el video aquí.
• Seguimiento de color
  • Puede usar su cámara OpenMV para detectar hasta 16 colores a la vez en una imagen (siendo realistas, nunca querría encontrar más de 4) y cada color puede tener cualquier cantidad de manchas distintas. Su cámara OpenMV le indicará la posición, el tamaño, el centroide y la orientación de cada blob. Usando el seguimiento de color, su cámara OpenMV puede programarse para hacer cosas como seguir el sol, seguir líneas, seguir objetivos y mucho, mucho, más. Vídeo de demostración aquí.
• Seguimiento de etiquetas de abril
  • Incluso mejor que los códigos QR anteriores, OpenMV Cam H7 Plus también puede rastrear AprilTags. AprilTags son marcadores de referencia de última generación invariantes de rotación, escala, cizallamiento e iluminación. Tenemos un video sobre esta función aquí.
• Detección de línea
  • La detección de línea infinita se puede realizar rápidamente en su cámara OpenMV a casi el máximo de FPS. Y también puede encontrar segmentos de línea de longitud no infinita. Puede ver nuestro video de esta función aquí. Además, admitimos la ejecución de regresiones lineales en la imagen para su uso en aplicaciones de seguimiento de línea como este DIY Robocar.

• Seguimiento de marcadores
  • Puede usar su OpenMV Cam para detectar grupos de colores en lugar de colores independientes. Esto le permite crear creadores de color (2 o más etiquetas de color) que se pueden colocar en los objetos, lo que le permite a su cámara OpenMV comprender cuáles son los objetos etiquetados. Vídeo de demostración aquí.
• Flujo óptico
  • Puede usar el flujo óptico para detectar la traducción de lo que está mirando su OpenMV Cam. Por ejemplo, puede usar el Flujo óptico en un helicóptero cuádruple para determinar qué tan estable es en el aire. Vea el video de la característica aquí.
• Diferenciación de fotogramas
  • Puede usar la diferenciación de fotogramas en su OpenMV Cam para detectar movimiento en una escena observando lo que ha cambiado. Frame Differencing le permite usar su OpenMV Cam para aplicaciones de seguridad. Mira el video de la función aquí.
• Captura de imagen
  • Puede usar OpenMV Cam para capturar imágenes en escala de grises/RGB565 BMP/JPG/PPM/PGM. Usted controla directamente cómo se capturan las imágenes en su secuencia de comandos de Python. Lo mejor de todo es que puede realizar funciones de visión artificial y/o dibujar marcos antes de guardarlos.
• Grabación de vídeo
  • Puede usar la cámara OpenMV para grabar videos en escala de grises/RGB565 MJPEG o imágenes GIF (o videos RAW). Usted controla directamente cómo se graba cada cuadro de video en su secuencia de comandos de Python y tiene control total sobre cómo comienza y finaliza la grabación de video. Y, al igual que capturar imágenes, puede realizar funciones de visión artificial y/o dibujar en cuadros de video antes de guardarlos.

Finalmente, todas las funciones anteriores se pueden mezclar y combinar en su propia aplicación personalizada junto con el control de pines de E/S para comunicarse con el mundo real.