树莓派Bullseye版后底层驱动切换，libcamera相关使用

树莓派Bullseye版后底层驱动切换，libcamera相关使用

目录

前言

在 Pi映像的版本之后，下面的 Pi驱动程序被切换到。它是一个开源软件堆栈（以后将被称为驱动程序，易于理解），对于第三方来说，端口和开发自己的相机驱动程序非常方便。截至目前，该官员提供了一个图书馆，以促进用户使用程序致电

打电话给相机

该软件堆栈提供了六个说明，以促进用户预览测试摄像头接口。

-你好

这是一个简单的“ Hello World”程序，可以预览相机并在屏幕上显示相机屏幕。

用法的示例

libcamera-hello

该命令将在屏幕上预览相机约5秒钟。用户可以使用-t参数设置预览时间，该设备为毫秒。如果设置为0，它将继续预览。例如：

libcamera-hello -t 0

调整文件

Pi的驱动程序将调用用于不同摄像机模块的调谐文件。调谐文件中提供了各种参数。调用相机时，将调用调谐文件中的参数，并将图像处理并最终输出到预览屏幕。由于驱动程序只能自动感知芯片信号，因此相机的最终显示效果将受整个模块的影响。调整文件的使用是灵活处理不同模块的相机并调整和改善图像质量。

如果使用默认调谐文件时相机的输出图像不是理想的选择，则用户可以通过调用自定义调谐文件来调整图像。例如，如果与常规PI V2型号相比，如果您使用的是摄像机的官方版本，则黑色摄像头可能需要不同的白平衡参数。在这种情况下，您可以通过调用调谐文件进行切换。

libcamera-hello --tuning-file /usr/share/libcamera/ipa/raspberrypi/imx219_noir.json

用户可以复制默认调整文件并根据其需求进行修改。

注意：调谐文件的使用适用于其他说明，并且不会在后续说明中介绍。

预览窗口

大多数指令将在屏幕上显示预览窗口。用户可以通过-Info-Text参数自定义预览窗口的标题信息，还可以通过％调用一些相机参数并在窗口上显示它们。

例如，如果使用总部：您可以通过-Info-txe“％focus”在窗口上显示相机的焦距

libcamera-hello --info-text "focus %focus"

注意：有关参数设置的更多信息，您可以参考后续命令参数设置章节

-jpeg

-jpeg是一个简单的静止图像拍摄程序。与静止的功能不同，-jpeg代码更简单，并且具有许多相同的功能可以完成图像拍摄。

拍摄完整的像素JPEG图像

libcamera-jpeg -o test.jpg

此射击命令将显示一个预览串行端口约5秒钟，然后拍摄完整的像素JPEG图像并将其保存为test.jpg

用户可以通过-T参数设置预览时间，并可以通过 - 宽度和 - 设置捕获图像的分辨率。例如：

libcamera-jpeg -o test.jpg -t 2000 --width 640 --height 480

暴露控制

所有说明允许用户设置快门时间并自行获得，例如：

libcamera-jpeg -o test.jpg -t 2000 --shutter 20000 --gain 1.5

该命令将拍摄图像，射击过程中的曝光将为20ms，相机增益设置为1.5次。增益参数集将首先设置光敏芯片内的模拟增益参数。如果设定增益超过驾驶员内置的最大模拟增益值，则将首先设置芯片的最大模拟增益，然后将其余的增益多个用作数字增益。

注意：通过ISP（图像信号处理）实现数字增益，而不是直接调整芯片的内置寄存器。在正常情况下，默认的数字增益接近1.0，除非以下三个案例。

总体增益参数要求，即，当模拟增益无法满足设定的增益参数要求时，将需要数字增益来补偿小于1的颜色增益之一（通过数字增益实现了颜色增益）。在这种情况下，最终增益稳定为1/min（，），这意味着实际上应用了统一的数字增益，并且是颜色通道之一（非绿色通道）的增益值。 AEC/AGC已修改。如果AEC/AGC发生变化，数值增益也将在一定程度上变化，以消除任何波动，但是此更改将很快恢复为“正常”值。

PI的AEC/AGX算法允许该程序指定曝光补偿，也就是说，通过设置光圈值来调整图像的亮度。例如：

libcamera-jpeg --ev -0.5 -o darker.jpg
libcamera-jpeg --ev 0 -o normal.jpg
libcamera-jpeg --ev 0.5 -o brighter.jpg

-仍然

-Still和-jpeg非常相似，区别在于它们继承了更多的功能。和以前一样，用户可以使用以下命令拍照。

测试命令

libcamera-still -o test.jpg

编码器

- 播放以不同格式支持图像文件，可以支持PNG和BMP编码，并且还可以将RGB或YUV像素的二进制转储保存到无需编码或任何图像格式的情况下。如果您直接保存RGB或YUV数据，则该程序在读取此类文件时必须了解文件的像素布置。

libcamera-still -e png -o test.png
libcamera-still -e bmp -o test.bmp
libcamera-still -e rgb -o test.data
libcamera-still -e yuv420 -o test.data

注意：图像保存格式由-e参数控制。如果未调用-e参数设置，则默认情况下，根据输出文件名的格式保存它。

原始图像拍摄

原始图像是图像传感器直接输出的图像，尚未由任何ISP或CPU处理。对于彩色相机传感器，原始图像的输出格式通常是拜耳。请注意，原始图像与我们之前提到的位编码的RGB和YUV图像不同。 RGB和YUV也是ISP处理的图像。

拍摄原始图像的说明：

libcamera-still -r -o test.jpg

原始图像通常以DNG（Adobe）格式保存。 DNG格式与大多数标准程序兼容，例如DCRAW或。原始图像将作为具有.dng后缀相同名称的文件保存。例如，如果运行上述命令，它将被保存为test.dng，并且将同时生成一个JPEG文件。 DNG文件包含与图像采集有关的元数据，例如白平衡数据，ISP颜色矩阵等。以下是该工具显示的元数据编码信息：

File Name                       : test.dng
Directory                       : .
File Size                       : 24 MB
File Modification Date/Time     : 2021:08:17 16:36:18+01:00
File Access Date/Time           : 2021:08:17 16:36:18+01:00
File Inode Change Date/Time     : 2021:08:17 16:36:18+01:00
File Permissions                : rw-r--r--
File Type                       : DNG
File Type Extension             : dng
MIME Type                       : image/x-adobe-dng
Exif Byte Order                 : Little-endian (Intel, II)
Make                            : Raspberry Pi
Camera Model Name               : /base/soc/i2c0mux/i2c@1/imx477@1a
Orientation                     : Horizontal (normal)
Software                        : libcamera-still
Subfile Type                    : Full-resolution Image
Image Width                     : 4056
Image Height                    : 3040
Bits Per Sample                 : 16
Compression                     : Uncompressed
Photometric Interpretation      : Color Filter Array
Samples Per Pixel               : 1
Planar Configuration            : Chunky
CFA Repeat Pattern Dim          : 2 2
CFA Pattern 2                   : 2 1 1 0
Black Level Repeat Dim          : 2 2
Black Level                     : 256 256 256 256
White Level                     : 4095
DNG Version                     : 1.1.0.0
DNG Backward Version            : 1.0.0.0
Unique Camera Model             : /base/soc/i2c0mux/i2c@1/imx477@1a
Color Matrix 1                  : 0.8545269369 -0.2382823821 -0.09044229197 -0.1890484985 1.063961506 0.1062747385 -0.01334283455 0.1440163847 0.2593136724
As Shot Neutral                 : 0.4754476844 1 0.413686484
Calibration Illuminant 1        : D65
Strip Offsets                   : 0
Strip Byte Counts               : 0
Exposure Time                   : 1/20
ISO                             : 400
CFA Pattern                     : [Blue,Green][Green,Red]
Image Size                      : 4056x3040
Megapixels                      : 12.3
Shutter Speed                   : 1/20

超长时间的曝光

如果您想拍摄超长的曝光图片，我们需要禁用AEC/AGC和白平衡，否则这些算法会导致图片在收敛时等待大量帧数据。禁用这些算法需要设置明确的值，并且用户可以通过设置来跳过预览过程。

这是拍摄照片100秒的指令：

libcamera-still -o long_exposure.jpg --shutter 100000000 --gain 1 --awbgains 1,1 --immediate

注意：几台官方摄像机最长曝光时间的参考表格。

模块的最大曝光时间

v1（）

v2（）

11.76

v3（）

112

HQ（）

670

- vid

-VID是一个视频录制程序，默认情况下使用 Pi硬件H.264编码器。运行此程序后，将在屏幕上显示一个预览窗口，并将编码并输出到指定的文件。例如，录制10s视频。

libcamera-vid -t 10000 -o test.h264

如果您想查看视频，可以使用VLC播放它

vlc test.h264

注意：录制的视频流是一个未包装的。用户可以使用-Save-Patts设置输出时间戳，以促进随后将位流到其他视频格式。

libcamera-vid -o test.h264 --save-pts timestamps.txt

如果要输出MKV文件，则可以使用以下说明：

mkvmerge -o test.mkv --timecodes 0:timestamps.txt test.h264

编码器

Pi支持JPEG格式，而无需压缩和格式：

libcamera-vid -t 10000 --codec mjpeg -o test.mjpeg
libcamera-vid -t 10000 --codec yuv420 -o test.data

-Codec选项设置输出格式，而不是输出文件的扩展。

使用 - 参数将输出文件拆分为段（MS中的单元），这适用于需要将JPEG视频流拆分为具有较短时间（约1ms）的单独JPEG文件的JPEG视频流。

libcamera-vid -t 10000 --codec mjpeg --segment 1 -o testd.jpeg

UDP视频流

您可以使用UDP来流视频，并运行 Pi side（）：

libcamera-vid -t 0 --inline -o udp://:

它需要用实际的客户端IP地址或多播地址替换。

在客户端（）中，输入以下命令以获取和显示视频流（两个命令之一就足够）；

vlc udp://@: :demux=h264
vlc udp://@: :demux=h264

注意：端口需要与您在 Pi上设置的设置保持一致

TCP视频流

您可以使用TCP进行视频流，然后在 Pi side（）上运行：

libcamera-vid -t 0 --inline --listen -o tcp://0.0.0.0:

（）运行：

vlc tcp/h264://: #两条指令选一条即可
ffplay tcp://: -vf "setpts=N/30" -fflags nobuffer -flags low_delay -framedrop

RTSP视频流

在 Pi上，VLC通常用于处理RTSP视频流。

libcamera-vid -t 0 --inline -o - | cvlc stream:///dev/stdin --sout '#rtp{sdp=rtsp://:8554/stream1}' :demux=h264

在播放方面，您可以运行以下任何命令：

vlc rtsp://:8554/stream1
ffplay rtsp://:8554/stream1 -vf "setpts=N/30" -fflags nobuffer -flags low_delay -framedrop

在所有预览命令中，如果要关闭 Pi端的预览窗口，则可以使用参数-n（ - ）设置它。另请注意 - 参数设置，更改设置将迫使视频流的标头信息包含在每个I（Intra）帧中。如果视频标头丢失，此设置允许客户端正确解析视频流。

高帧速率模式

如果您使用-VID命令记录高框架速率视频（通常高于60fps）并减少框架下降，则需要注意以下几点：

H.264的目标水平需要设置为4.2。您可以使用 - 级别4.2参数设置。降低降噪功能必须关闭。您可以使用 - 参数设置。如果设定的帧速率高于关闭预览窗口以释放更多CPU资源以避免框架丢失。您可以使用参数-n设置在 /boot/.txt文件中添加设置= 1，以确保不限于调整ISP输出分辨率的CPU时钟。使用 - 宽度1280-720来设置分辨率，或者根据相机模型将其设置为较低的分辨率。如果您使用的是PI 4或更高的性能模型，则可以将设置= 550或更高添加到 /boot/.txt文件中以超频为主板GPU，以获得更高的性能结果。

例如，记录1280 x720视频。

libcamera-vid --level 4.2 --framerate 120 --width 1280 --height 720 --save-pts timestamp.pts -o video.264 -t 10000 --denoise cdn_off -n

-生的

-RAW类似于视频录制程序。区别在于-RAW记录拜耳格式数据直接由传感器（即原始图像数据）输出。 -RAW不会显示预览窗口。例如，记录一个2秒的原始数据剪辑。

libcamera-raw -t 2000 -o test.raw

该程序将直接在没有格式信息的情况下直接转储原始帧，并且该程序将直接将像素格式和图像大小直接打印到终端，并且用户可以根据输出数据查看像素数据。

默认情况下，程序将将原始帧保存到文件中。该文件通常更大，用户可以通过 - 参数将文件拆分。

libcamera-raw -t 2000 --segment 1 -o testd.raw

如果记忆条件更好（例如使用SSD），则-RAW可以以每秒约10帧的速度将官方的HQ数据（每帧约18MB）写入硬盘。为了达到此速度，该程序编写尚未格式化的原始帧，并且无法将它们保存到诸如still之类的DNG文件中。如果要确保没有帧降低，则可以使用 - 降低帧速率。

libcamera-raw -t 5000 --width 4056 --height 3040 -o test.raw --framerate 8

通用命令设置选项

一般命令设置选项适用于

--help, 	-h

打印程序帮助信息，您可以为每个程序指令打印可用的设置选项，然后退出。

--version

打印软件版本，打印和-App的软件版本，然后退出。

--list-cameras

显示公认的支持相机。例如：

Available cameras
-----------------
0 : imx219 [3280x2464] (/base/soc/i2c0mux/i2c@1/imx219@10)
    Modes: 'SRGGB10_CSI2P' : 640x480 [206.65 fps - (1000, 752)/1280x960 crop]
                             1640x1232 [41.85 fps - (0, 0)/3280x2464 crop]
                             1920x1080 [47.57 fps - (680, 692)/1920x1080 crop]
                             3280x2464 [21.19 fps - (0, 0)/3280x2464 crop]
           'SRGGB8' : 640x480 [206.65 fps - (1000, 752)/1280x960 crop]
                      1640x1232 [41.85 fps - (0, 0)/3280x2464 crop]
                      1920x1080 [47.57 fps - (680, 692)/1920x1080 crop]
                      3280x2464 [21.19 fps - (0, 0)/3280x2464 crop]
1 : imx477 [4056x3040] (/base/soc/i2c0mux/i2c@1/imx477@1a)
    Modes: 'SRGGB10_CSI2P' : 1332x990 [120.05 fps - (696, 528)/2664x1980 crop]
           'SRGGB12_CSI2P' : 2028x1080 [50.03 fps - (0, 440)/4056x2160 crop]
                             2028x1520 [40.01 fps - (0, 0)/4056x3040 crop]
                             4056x3040 [10.00 fps - (0, 0)/4056x3040 crop]

根据印刷信息，相机后缀为0，IM新的477相机后缀为1。调用相机时，可以指定相应的后缀。

--camera

要指定相机，相应的后缀可以参考命令 - 列表 - 的打印信息。

例如：-hello -c .txt

在设置文件中，使用键= value的格式一一将参数设置为一行：

timeout=99000
verbose=

--config,	-c

通常，我们可以通过指令直接设置摄像机参数。在这里，我们使用 - 参数。您可以指定设置文件并直接读取文件中的设置参数以设置相机预览效果。

--timeout, 	-t

-t选项设置程序运行时间。如果正在运行视频录制命令，则该选项将设置录制时间。如果图像射击命令正在运行，则设置图像之前的预览时间。

如果在运行程序时未设置它，则默认值为5000（5秒）。如果设置为0，则程序将一直运行。

示例：-hello -t 0

--preview,  -p

-p设置预览窗口的大小和窗口的位置（合格的设置在窗口的X和DRM版本中都是有效的），格式为 - xy在显示屏上设置了预览窗口的坐标位置，W和H设置了预览窗口的宽度和长度

预览串行端口的设置不会影响相机图像预览的分辨率和纵横比。该程序将将预览映像缩放到预览窗口中以显示，并将根据原始图像纵横比对其进行调整。

示例：-Hello -P 100,100,500,500

--fullscreen, -f

-f选项设置“预览窗口全屏显示”，全屏显示模式预览窗口和边框。像-p一样，它不会影响分辨率和纵横比，并且会自动适应。

示例：-Still -f -o test.jpg

--qt-preview

使用基于QT框架的预览窗口，不建议在正常情况下使用此设置，因为此预览程序将不使用零拷贝缓冲区共享和GPU加速度，这将导致过度的资源利用。 QT预览窗口支持X转发（默认预览程序不支持它）。

QT预览串行端口不支持---设置选项。如果用户想使用QT预览，建议保留一个小型预览窗口，以避免过度使用对系统正常操作的资源使用。

示例：-hello -qt-

--nopreview, -n

不要预览图像。此设置将关闭图像预览功能。

示例：-hello -n

--info-text

设置预览窗口的标题和信息显示（仅在X-窗口下有效）以使用该格式为-Info-Text。调用更改选项，要设置多个参数，并且通常以％指令格式调用参数。该程序将根据说明调用图元数据中的相应值。

如果未指定窗口信息，则将默认的-INFO-TEXT设置为“＃％帧（％FPS FPS）EXP％EXP AG％AG％DG％DG”

示例：-hello -Info测试“焦点：％focus可用参数：

指示

％框架

框架序列号

％fps

即时帧速率

％exp

捕获图像时的快门速度，在MS中

％ag

图像模拟增益通过光敏芯片控制

％DG

ISP控制的图像的数值增益

％rg

每个像素红色组件

％bg

每个像素的蓝色组件

％重点

图像的角点测量，值越大，图像越清晰

％lp

当前镜头的局限器（每米单位距离）

％

自动对焦状态（空闲，，）

--width
--height

这两个参数分别设置了图像的宽度和高度。对于-Still，-jpeg和-vid指令，这两个参数可以设置输出图像/视频的分辨率。

如果使用-RAW指令，则这两个参数会影响获得的元数据框架的大小。相机具有2x2块读数模式。如果设置分辨率小于拆分模式，则相机将根据2x2块大小获得元数据帧。

-hello无法指定分辨率。<br />示例：

-vid -o test.h264-宽度1920-1080记录1080p视频

-Still -R -O Test.jpg-宽度2028-1520以分辨率为JPEG图像。

--viewfinder-width
--viewfinder-height

此设置选项还用于设置图像分辨率，不同之处在于它仅设置预览图像大小。它不会影响最终输出图像或视频的分辨率。具有预览图像大小的设备不会影响预览窗口大小，并且会根据窗口进行调整。

示例：-hello ---宽度640 --- 480

--rawfull

这种设置迫使光敏芯片激活 - 宽度和 - 设置，以完整分辨率读取模式输出静态图像和视频。此设置-Hello无效。

使用此设置将牺牲帧速率。在完整的分辨率模式下，框架读取速度将较慢。

示例：-RAW -T 2000-1- -o testd.RAW样品指令以完整分辨率模式捕获多个元数据框架。如果您使用的是总部相机。每个帧的大小为18MB，如果未设置，则默认的HQ相机处于2x2模式，并且每个帧的数据大小仅为4.5MB。

- 模式

此参数更一般，用于设置相机模式。使用时，您需要指定宽度，高度，位深度和包装模式，并用结肠对其进行分配。设定值不必完全准确。系统将自动匹配最接近的值。此外，设置了位深度和包装模式（默认值为12，P表示包装）

--viewfinder-mode       #Specify sensor mode, given as :::

- 模式参数用于在录制视频和拍摄静止图像时设置相机模式。如果要在预览期间设置它，则可以使用 - 模式参数

--lores-width
--lores-height	

这两个选项设置了低分辨率图像。低分辨率数据流压缩图像，导致图像改变纵横比。在使用-VID录制视频时，如果设置了低分辨率，则将禁用颜色处理和其他功能。

示例：-hello- -lores宽度224- lores-224请注意，低分辨率设置通常与图像后处理结合使用，否则几乎没有用。

--hflip   #水平翻转图像
--vflip    #垂直翻转图像
--rotation     #根据给出的角度，水平或者垂直翻转图像 

--roi   #裁剪图像

--hdr				Run the camera in HDR mode (supported cameras only)

--sharpness #设置图像的锐度 

--contrast  #设置图像对比度 

--brightness  #设置图像亮度

--saturation  #设置图像色彩饱和度 

--ev  #设置EV补偿

--shutter  #设置曝光时间 ，单位是ms 

--gain  #设置增益值 （数值增益和模拟增益组合） 
--analoggain  #--gain的代名词

--metering  #设置测光模式 

--exposure   #设置曝光配置文件 

--awb  #设置白平衡模式

--awbgains   #设置固定的颜色增益

--denoise  #设置去噪模式 

--tuning-file #指定摄像头调谐文件 

--autofocus-mode			Specify the autofocus mode 

--autofocus-range   Specify the autofocus range 

--autofocus-speed   Specify the autofocus speed 

--autofocus-window   --autofocus-window

--lens-position	    Set the lens to a given position 

--output, -o  #输出文件名 

--wrap  #将输出文件计数器打包

--flush  #马上刷新输出文件

--qiality, -q  #设置JPEG图像质量 <0 ~ 100>
--exif, -x #添加而外的EXIF标志
--timelapse  #延时拍照的时间间隔， 单位是ms
--framestart #帧计数的开始数值
--datetime  #用日期格式命名输出文件
--timestamp #用系统时间戳命名输出文件
-- restart  #设置JPEG重启时间间隔
--keypress, -k  # 设置回车按键拍照模式
--signal, -s  #设置信号触发拍照
--thumb #设置缩略图参数 
--ebcoding, -e  #设置图像编码类型。 jpg / png / bmp / rgb / yuv420
--raw, -r  #保存原始图像
--latest #关联符号到最新保存的文件
--autofocus-on-capture  #设置在拍照前做一次对焦动作

--quality, -q  # 设置JPEG指令 <0 - 100>
--bitrate, -b  # 设置H.264比特率
--intra, -g #设置内部帧周期 （只支持H.264）
--profile #设置H.264配置
--level  #设置H.264等级
--codec  #设置编码类型 h264 / mjpeg / yuv420
--keypress, -k  #设置回车暂停和录制
--signal， -s #设置信号暂停和录制
--initial #在录制或者暂停状态下启动程序
--split #切割视频并保存到另外的文件
--segment #将视频分割成多个视频段
--circular  #将视频写入循环缓冲区中
--inline #在每个I帧中写入数据头（只支持H.264）
--listen #等待TCP连接
--frames #设置录制的帧数