(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201911366727.0
(22)申请日 2019.12.26
(71)申请人 苏州羿景睿图信息科技有限公司
地址 215300 江苏省苏州市昆山市玉山镇
环庆路2588号原创基地4号楼1层
(72)发明人 刘云杰　
(51)Int.Cl.
H04N  5/217(2011.01)
(54)发明名称
一种基于FPGA的CLAHE透雾增强并行运算方
法
(57)摘要
本发明公开了一种基于FPGA的CLAHE透雾增
强并行运算方法，将照相机或摄像机采集的图像
经SDI采集后通过CLAHE算法进行图像增强运算，
然后再通过SDI输出，最后进行点屏；所述CLAHE
算法包括图像分块、HE统计、迭代运算、CDF统计、
新HE统计、块间插值。这种基于FPGA的CLAHE透雾
增强并行运算方法其功耗和硬件体积都支持嵌
入式的使用，且可调整运算模块个数来适配不同
分辨率增强的应用需求，已实现并验证了单片
FPGA支持1080P@30Hz，1080P@60Hz，4K@30Hz的图
像增强。权利要求书1页  说明书3页  附图2页CN 111010497 A 2020.04.14
C N  111010497
A
1.一种基于FPGA的CLAHE透雾增强并行运算方法，其特征是，将照相机或摄像机采集的图像经SDI采集后通过CLAHE算法进行图像增强运算，然后再通过SDI输出，最后进行点屏。
2.根据权利要求1所述的一种基于FPGA的CLAHE透雾增强并行运算方法，其特征是，所述CLAHE算法包括以下步骤:
S1.图像分块，将一幅图像等分成若干块；
S2.HE统计，对每个图像分块进行直方图统计，得出每个图像分块的R分量直方图；
S3.迭代运算，根据初始阈值，对R分量直方图进行限制修整，反复运算得到最终的直方图；
S4.CDF统计，对256个颜级别进行逐步累加，得到累加直方图；
S5.新HE统计，根据累加直方图到直方图的转变公式，计算出各个图像分块的最新直方图，并更新到RAM中去；
S6.块间插值，当下一帧视频流进来时，对应的R、G、B值在第五步RAM中到各自的对应值，然后输出，对于块间接缝处读取时进行线性插值，产生最新的R、G、B值，然后输出，VS、HS、DE等视频流信号做同步打拍即可。
3.根据权利要求2所述的一种基于FPGA的CLAHE透雾增强并行运算方法，其特征是，所述步骤S1中一幅图像等分成16块。
4.根据权利要求2所述的一种基于FPGA的CLAHE透雾增强并行运算方法，其特征是，所述步骤S2中对每个图像分块256个颜分量进行统计，该算法对R分量的256个颜级别进行直方图统计。
5.根据权利要求2所述的一种基于FPGA的CLAHE透雾增强并行运算方法，其特征是，所述步骤S5中RAM更新完成后将第二步HE统计中的直方图RAM清空。
6.根据权利要求2所述的一种基于FPGA的CLAHE透雾增强并行运算方法，其特征是，所述步骤S6中流进的下一帧视频为各个图像分块累加直方图转变后的新直方图。
7.根据权利要求2所述的一种基于FPGA的CLAHE透雾增强并行运算方法，其特征是，所述步骤S6中流进的下一帧视频为SDI采集的视频。
权　利　要　求　书1/1页CN 111010497 A
一种基于FPGA的CLAHE透雾增强并行运算方法
技术领域
[0001]本发明涉及嵌入式图像处理透雾增强领域，尤其涉及一种基于FPGA的CLAHE透雾增强并行运算方法。
直方图均衡化方法
背景技术
[0002]图像增强算法从经典的直方图均衡化算法到基于模糊理论的图像增强算法在不断改进中发展，图像增强在视频图像处理应用时，由于图像信息数据比较大，一般会采用 多DSP或DSP阵列的方式来提高处理速度，但是其功耗和成本大大增加；或者采用CPU+FPGA 的方式，例如海思+FPGA，但是这种方式同样会使系统体积和功耗增强；又或者FPGA内部采用简单的HE或AHE算法来实现，但是该方式往往导致增强效果不明显。
因此，在FPGA内部采用简单的HE或AHE算法的基础上开发了CLAHE算法，FPGA内部采用简单的HE或AHE算法中的自适应直方图均衡对增强后的对比度没有限幅，往往带来很多噪声，而CLAHE算法对每个子块直方图做了限制，很好地控制了AHE算法带来的噪声；虽然CLAHE作为进一步的图像增强算法被提出，但其在图像透雾方面也具有良好的效果。[0003]现阶段业界在图像增强方面的算法一般分为两种：一种是基于DSP+FPGA进行实时图像增强，虽然DSP运算能力强，需要附带存储芯片，还需跟FPGA之间进行视频数据交互，会使硬件电路设计复杂，功耗和硬件体积增大，不适用于低功耗的嵌入式应用。另一种是基于Soc FPGA来设计，由FPGA和ARM端共享DDR来对视频进行增强处理，其需要在Soc端的DDR内部开视频缓存，这样会增强视频延迟，不利于实时处理。同时也增加了硬件成本。
发明内容
[0004]本发明所要解决的技术问题是，提供一种视频无需进出DDR从而完成视频数据的实时增强，且支持嵌入式图像实时增强处理的基于FPGA的CLAHE透雾增强并行运算方法。[0005]为了解决上述技术问题，本发明是通过以下技术方案实现的：一种基于FPGA的CLAHE透雾增强并行运算方法，将照相机或摄像机采集的图像经SDI采集后通过CLAHE算法进行图像增强运算，然后再通过SDI输出，最后进行点屏。
[0006]进一步地，所述CLAHE算法包括以下步骤:
S1.图像分块，将一幅图像等分成若干块；
S2.HE统计，对每个图像分块进行直方图统计，得出每个图像分块的R分量直方图；
S3.迭代运算，根据初始阈值，对R分量直方图进行限制修整，反复运算得到最终的直方图；
S4.CDF统计，对256个颜级别进行逐步累加，得到累加直方图；
S5.新HE统计，根据累加直方图到直方图的转变公式，计算出各个图像分块的最新直方图，并更新到RAM中去；
S6.块间插值，当下一帧视频流进来时，对应的R、G、B值在第五步RAM中到各自的对应值，然后输出，对于块间接缝处读取时进行线性插值，产生最新的R、G、B值，然后输出，VS、
HS、DE等视频流信号做同步打拍即可。
[0007]进一步地，所述步骤S1中一幅图像等分成16块。
[0008]进一步地，所述步骤S2中对每个图像分块256个颜分量进行统计，该算法对R分量的256个颜级别进行直方图统计。
[0009]进一步地，所述步骤S5中RAM更新完成后将第二步HE统计中的直方图RAM清空。[0010]进一步地，所述步骤S6中流进的下一帧视频为各个图像分块累加直方图转变后的新直方图。
[0011]进一步地，所述步骤S6中流进的下一帧视频为SDI采集的视频。
[0012]与现有技术相比，本发明的有益之处在于：这种基于FPGA的CLAHE透雾增强并行运算方法其功耗和硬件体积都支持嵌入式的使用，且可调整运算模块个数来适配不同分辨率增强的应用需求，已实现并验证了单片FPGA支持1080P@30Hz ，1080P@60Hz，4K@30Hz的图像增强。
[0013]附图说明：
图1是一种基于FPGA的CLAHE透雾增强并行运算方法原理示意图；
图2是图像分块示意图；
图3是HE统计之后的直方图。
[0014]具体实施方式：
下面结合附图和具体实施方式对本发明进行详细描述。
[0015]一种基于FPGA的CLAHE透雾增强并行运算方法，如图1所示，将照相机或摄像机采集的图像经SDI采集后通过CLAHE算法进行图像增强运算，然后再通过SDI输出，最后进行点屏。
[0016]所述CLAHE算法包括以下步骤:
S1.图像分块，如图2所示，将一幅图像等分成16块；
S2.HE统计，对每个图像分块进行直方图统计，对每个图像分块256个颜分量进行统计，该算法对R分量的256个颜级别进行直方图统计，得出每个图像分块的R分量直方图；
S3.迭代运算，根据初始阈值，对R分量直方图进行限制修整，反复运算得到最终的直方图；
S4.CDF统计，对256个颜级别进行逐步累加，得到累加直方图；
S5.新HE统计，根据累加直方图到直方图的转变公式，计算出各个图像分块的最新直方图，并更新到RAM中去，RAM更新完成后将第二步HE统计中的直方图RAM清空；
S6.块间插值，当下一帧视频流进来时，对应的R、G、B值在第五步RAM中到各自的对应值，然后输出，对于块间接缝处读取时进行线性插值，产生最新的R、G、B值，然后输出，VS、HS、DE等视频流信号做同步打拍即可。
[0017]上述步骤S2中，HE统计具体实施方式如下，如图3所示，图3左侧是HE统计之后的直方图，中间横线是阈值，超出部分被拿掉平均分配到256个级度上面去，根据实际操作使用，本部分进行了2次迭代，第一次把图中左侧图像区域超出部分平均到256级上去，第2次迭代将右侧图像区域阴影部分再次平均到256级上去，至此迭代运算中止。
[0018]上述步骤S6中流进的下一帧视频为各个图像分块累加直方图转变后的新直方图或为SDI采集的视频。
[0019]这种基于FPGA的CLAHE透雾增强并行运算方法其功耗和硬件体积都支持嵌入式的使用，且可调整运算模块个数来适配不同分辨率增强的应用需求，已实现并验证了单片FPGA支持1080P@30Hz ，1080P@60Hz，4K@30Hz的图像增强。
[0020]需要强调的是：以上仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。