K510 ISP Tuning Tool Guides
文档版本：V1.0.0
发布日期：2022-03-31
免责声明 您购买的产品、服务或特性等应受北京嘉楠捷思信息技术有限公司（“本公司”，下同）商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，本公司不对本文档的任何陈述、信息、内容的准确性、可靠性、完整性、营销型、特定目的性和非侵略性提供任何明示或默示的声明或保证。除非另有约定，本文档仅作为使用指导的参考。 由于产品版本升级或其他原因，本文档内容将可能在未经任何通知的情况下，不定期进行更新或修改。
商标声明
“
”、“Canaan”图标、嘉楠和嘉楠其他商标均为北京嘉楠捷思信息技术有限公司的商标。本文档可能提及的其他所有商标或注册商标，由各自的所有人拥有。
版权所有©2022北京嘉楠捷思信息技术有限公司 本文档仅适用K510平台开发设计，非经本公司书面许可，任何单位和个人不得以任何形式对本文档的部分或全部内容传播。
北京嘉楠捷思信息技术有限公司 网址：canaan-creative.com 商务垂询：[email protected]
# 前言 **文档目的** 本文档为ISP Tuning Tool说明文档。读者对象
本文件的主要受众是有经验的软件工程师、图像算法工程师、系统设计师和系统集成商，他们希望实现私有应用程序和驱动程序。
修订记录 修订记录累积了每次文档更新的说明。最新版本的文档包含以前所有版本的更新内容。
| 版本号 | 修改者 | 修订日期 | 修订说明 |
|---|---|---|---|
| V1.0.0 | 系统软件组 | 2022-03-31 | SDK V1.6发布 |
[TOC]
本节介绍ISP调优工具和数据流的说明，这些框架和数据流是为上层处理器提供的，用于控制整个ISP图像优化。
+----------------------------------------------------+
| |
| K510 |
| |
| +-------+ +--------------------------+ |
| | | | | |
| | ISP +------> | v4l2_drm.out | |
| | | | | |
| +-------+ +-------------+------------+ |
| | |
| | |
| +-----------------+ | |
| | | | |
| | isp-tuningd | <----------+ |
| | | |
| +^-+--------------+ |
| | | |
| | | |
+----------------------------------------------------+
| |
| |
+-------------------------------+
| | | |
| | | PC |
| | | |
| ++-v------------------+ |
| | | |
| | ISP Tuning Tool | |
| | | |
| +---------------------+ |
| |
+-------------------------------+
通信协议参见客户端代码仓库里的说明文档，工具包含两部分，一部分是在PC上运行的客户端isp-tuningd，程序位于/app/mediactl_lib/isp-tuningd，另一部分是在K510上运行的服务端。通信默认使用TCP的9982端口。
ISP Tuning Tool是在PC上运行的应用程序。除了能设置寄存器外还支持进行AWB校准和CCM校准。
isp-tuningd会从标准输入接收yuv图像（NV12）并广播给所有客户端，我们可以使用v4l2_drm.out，他会自动启动isp-tuningd并送入图像数据。我们可以用如下命令运行
cd /app/mediactl_lib
# 使用camera 0
./v4l2_drm.out -t 1 -f video_drm_1080x1920.conf
# 使用camera 1
./v4l2_drm.out -t 1 -f video_drm_1080x1920_r2k.conf如果不需要使用预览，则直接启动isp-tuningd即可。
/app/mediactl_lib/isp-tuningdK510 ISP中提供了许多寄存器和表以进行控制和调优。ISP硬件寄存器的设置对图像质量非常重要。目前K510平台，图像调优过程只通过TCP Socket实现。
本节介绍调优窗口上这些面板的功能。
图3-1显示了调优窗口上的整个操作面板
- 面板1是菜单，它可以选择加载配置好的ISP文件或进行校准。
- 面板2是连接控制面板，填入开发板的IP地址和端口号（默认9982端口）后点击绿色的连接按钮即可连接。
- 面板3是寄存器面板，如果你需要设置或读取的寄存器并不在这里面则可以使用这个面板进行设置和读取。
- 面板4是ISP选择面板，可以指定ISP F2K或ISP R2K。
- 面板5是调优参数选择面板，用户可以根据面板提示文本选择各种参数或参数组，这些选择的寄存器将显示在面板5上。
- 面板6是调优参数设置面板，它用于设置或从调优服务器获取参数值。
ISP Tuning Tool在连接后不会自动获取所有寄存器值，如果需要获取所有的寄存器值可以点击连接控制面板右侧的读取按钮，即可拉取当前的所有寄存器值。
本节介绍使用ISP调优工具进行标定和校准的说明，包括自动白平衡（AWB）、颜色校正矩阵（CCM）、Gamma和镜头阴影（LSC）。
- 标准灯箱，有标准D65光源
- 标准24色卡，目前仅支持X-RITE色卡
- 准备标定的相机，能输出sensor原始图像或处理后的图像
- ISP也仅打开黑电平矫正与去马赛克算法模块，CSC等格式转换模块一定要注意对称性（矩阵是逆矩阵），另外降噪、锐化等模块影响不大，不过也尽量关闭，非线性模块与颜色处理模块（GAMMA，宽动态，AWB，CCM，饱和度调整等）必须关闭
-
相机对准24色卡，确保24色卡撑满整个画面，然后抓取图像，未保证准确可以点击暂停播放，如下图所示
-
抓取的图像注意亮暗适中，太亮太暗都影响标定
点击菜单栏的“Calibration”，选择“AWB”即可执行标定，程序会自动框选色卡
此时按下任意键继续，弹出完成白平衡后的图像
如果没问题，则继续按下任意键，工具会弹出对话框询问参数是否合理，是则会将其填入主界面相关寄存器，否则放弃标定结果，如果是则工具会继续询问是否写入设备寄存器。
与AWB标定一致，不再赘述。
标准的gamma曲线的公式为 $$ Y=aX^b $$ 其中$b$即为Gamma系数，在成像端一般小于1，在显示端一般大于1。$a$的值可以根据$b$的值算出来
$$ a=\frac{256}{256^b} $$ 该公式的原理是输入是256，做完Gamma矫正后仍为256。
Gamma系数b为0.5时，曲线如下图所示
- 一张镜头拍摄获得的RAW格式照片
因镜头的中心与四周通光量不一致，造成图像亮度不均匀，因此通过曲线拟合生成一个矫正曲面来弥补该问题。
矫正前如下图所示
矫正后如下图所示
翻译免责声明
为方便客户，Canaan 使用 AI 翻译程序将文本翻译为多种语言，它可能包含错误。我们不保证提供的译文的准确性、可靠性或时效性。对于因依赖已翻译信息的准确性或可靠性而造成的任何损失或损害，Canaan 概不负责。如果不同语言翻译之间存在内容差异，以简体中文版本为准。
如果您要报告翻译错误或不准确的问题，欢迎通过邮件与我们联系。