Local dimming algorithm in matlab

2021年7月4日 7点热度 0条评论 来源: 南方菜鸟

LED局部背光算法的matlab仿真 

       最近公司接了华星光电(TCL)的一个项目LCD-BackLight-Local-Diming-Algorithm-IP ,由于没有实际的硬件,只能根据客户给的论文 算法进行调研,评估和确认。即先理解论文的算法,再用MATLAB或OpenCV仿真,再通过视觉或客观图像评价指标评估算法效果,最后通过对几种论文算法的实验仿真效果分析比较确定一种算法,作为fpga实现。最大感触是得搞清楚实际情况再行动!

一  论文算法原理

     论文题目为<< Backlight Local Dimming Algorithm for High Contrast LCD-TV>>,我一般看英语论文先用excel表格记录论文编号,题目,背景,关键词,主要方法,缺点(可以创新的地方),结论等核心点,接着看文献顺序为:摘要,结论,实验,着重看论文算法(准确理解,很耗时),若很闲则会看Introduction。

下面直接给出算法整体框架:

 

 从上图可以看出整个算法分为四步,LED亮度强度计算,暗区域增强,空间滤波器,时间滤波器。注意点1:算法的仿真是放在FPGA上通过对LED的亮度调节,即整个算法是对LED块的分块的亮度进行处理,由于没有LED等实际硬件,本次仿真是对图像分块后的每个图像块亮度强度进行处理。注意点2:算法的实验是进行视频仿真,而MATLAB主要是进行图像处理,故本次省略了最后一步时间滤波器的处理,这一步包含当前帧和上一帧。

论文算法的参数如下表格所示:

 

 上面的参数在第一步到第三步都会有所涉及,这里提前给出。

(一)LED亮度强度计算

1.算法介绍

 

 Linit(n)为第n个LED块的初始亮度强度,第一步的输出;LMAX可允许的最大LED亮度强度水平;TL 是一个预定义参数,用来控制局部调节水平,由表1可知为0.0625;PNUM(第n个图像块的总像素数量);

 Hn(i)是第n个图像块的直方图;W(i)是预定义的权重向量,论文里为变量i的平方。

2.MATLAB代码实现

从上面公式1可知,算法整体为两项中取最小值,第二项有点繁琐,那就从第二项开始:第二项的TL,Pnum都很好计算,一个为常数0.0625,一个为图像块的总像素数,即图像的尺寸M*N,图像行列的乘积;

第二项中的图像块直方图和权重W(i)的乘积的累加和需注意,图像块的直方图怎么实现,若是调用imhist仅仅是显示直方图,而在这里明显不对,故需要查资料弄懂图像的直方图的含义,通过看<<数字图像处理>>这本书,明白图像的直方图:对应灰度级的像素数。而MATLAB怎么表示,通过在MATLAB中搜索help imhist和不断看相关函数发现了histogram函数。在MATLABhelp文档中,知道了一种用法可以表示图像某个灰度级的像素数:h = histogram(In,256);counts=h.Values ;通过这两行代码把第n个图像块的直方图搞定了,那么公式1则轻松表示出来了。故对公式1的处理关键:拆分,弄明白直方图的含义,通过经典的数字图像处理书籍和matlab官方的文档,准确理解直方图含义。由于后面的步骤要调用这个结果,故把这一步封装成函数,调用很方便。代码如下:


 1 function L_init = Linit(In)
 2 [m,n]=size(In);
 3  num_p=m*n;
 4     s=0;
 5     h = histogram(In,256);
 6 counts=h.Values  ;
 7     for i2 = 1:256
 8         h = counts(i2);
 9        ii= i2^2;
10    s=s+(h*ii); %求得所有像素与灰度级平方的乘积。
11   % s=s+(h*i2);
12     end
13  num_p = double (num_p);
14   s = double (s);
15 L_temp=(0.0625/num_p)*s;
16 L_init = min(63,L_temp);
17 end

LED亮度强度计算

(二)暗区域增强

通过第一步的matlab代码实现,我们可以学会MATLAB编写方法:第一对公式的每个变量准备理解,如最大值,像素总数,灰度级,权重变量。第二对公式拆分,把握关键的一点,即难一点实现的,如上面的直方图。三是查阅权威书籍<<数字图像处理>>和matlab官方文档,弄懂直方图的实现,再把算法完整编写。对于这一步的暗区域增强,实现过程相似。

1.算法介绍

 

 Lben 是增强的LED亮度强度灰度;Lmean 是当前图像的所有图像块的 Linit的平均值;TM用来定义暗区域的阈值;TB用来控制暗区域增强水平的预定义参数;

2.MATLAB代码实现

     通过上面的分析可知,Linit的使用通过调用第一步的函数输出值即可,而Lmean 的计算则需要注意,它是包含图像的所有块的Linit的均值,故需要用一个矩阵存放所有图像块的Linit的值,再用matlab的mean2函数即可,而后面的TM,TB用通过表格可知分别是5和3。整体是选择结构,用matlab的if语句实现即可。


1 function L_ben = Lben(Lini,L_mean)
2 TM = 5;
3 if(Lini<L_mean | TM<L_mean) % L_mean = 20
4     L_ben = Lini;
5 else
6      L_ben =min(63 ,Lini+3*(Lini-L_mean));
7 end
8 end

暗区域增强Lben

(三)空间滤波器处理

1.算法介绍

 

 LSF(n)是第n个LED块的亮度强度的空间滤波器的输出;TSF 是用来平滑滤波器的预定义参数;Φ(n)是大小为3X3的第n个块的邻域中心;这一步的关键是对3*3的领域空间的理解,以第n块为中心,共3*3总共为9个图像块的领域。这个领域用一个3*3的矩阵索引实现,即Lben(m)是领域中每一块的 Lben 值。

2.MATLAB代码实现

其实关键点就是3*3的邻域实现,我的想法是,将10*10的Lben最外围全部舍掉,即行和列范围都是2-9,然后舍掉本身即第n块的Lben,这总共8个元素,构成一个数组,取数组的最大值和第n块的Lben比较取较大值,得到空间滤波器的输出,每一块都能得到一个输出。思路的代码如下:


 1 function L_SF = S_filter(LSF_ini,temp_Lben,T_SF)
 2 %function L_SF = S_filter(LSF_ini,T_SF)
 3 temp_Lsf = temp_Lben;
 4 [row,col]=size(temp_Lben);
 5 LSF_temp1=zeros(1,9);
 6 for nx=2:row-1
 7     for ny=2:col-1
 8        % 取出对应需要进行运算区域的数据
 9         LSF_temp1 = temp_Lsf(nx-1:nx+1,ny-1:ny+1);
10        % convert to 
11         temp11=[LSF_temp1(1,:),LSF_temp1(2,1),LSF_temp1(2,3),LSF_temp1(3,:),];
12        % 赋值
13         temp_max =  max(temp11);
14     end
15 end
16 Len_nn = LSF_ini;
17        L_SF = max(Len_nn,temp_max-T_SF);
18 end

空间滤波器

 

二 主函数的设计

   由于这个LED的局部调光算法的核心思想:

根据图像的内容分块,以及对不同块使用不同的系数(图像块或LED块的亮度强度)去调节背光(达到高对比度,即亮的地方更亮,暗的地方更暗)。

上面是我对LED局部调光算法的总结。故要想实现这个算法,得搞定怎么对图像分块,用MATLAB表示第n块图像,对第n块图像实现上面的(一)(二)(三)步处理,这是难点。我刚开始直接想的是MATLAB现成的函数:B = blockproc(A,[m n],fun)函数。但这个函数的输入为原图像,输出直接和原图同大小的一幅图像,不能实现我们想要的第n块图像。我在这卡了很久,通过大量查阅官网的图像分块资料和看数字图像处理书籍,及网上查阅csdn博客和MATLAB中文论坛,终于找到办法:即数字图像就是一个多维矩阵,像素点对应矩阵元素,故图像分块就是矩阵的分块。如本文的图像分块为10*10共100块,输入图像分辨率大小为1000*1000的rgb图像,则每一图像块为100*100的矩阵。我们把这个100*100的矩阵赋值给一个10*10的元胞数组的一个元素(关键,由于矩阵不能赋值给一点),然后把元胞数组的元素赋值给临时变量temp,这个大小为100*100的矩阵temp就是第n块的图像块,再传递给上面的函数调用即可。当然,针对10*10共100块的图像块处理,会频繁用到for循环结构,幸亏上面把每一步封装成函数,我们调用即可,不然很难搞。做matlab算法和FPGA的设计一样,都是循序渐进,即模块化设计(一个功能一个函数),把每个模块仿真实现无误后,再顶层调用即可。LED局部调光算法的主函数如下:


 1 close all
 2 clear
 3 clc;
 4 %load('S1.mat');
 5 
 6 % %blockproc  
 7 % 
 8 % % myfun = @(block_struct) block_struct.data;
 9 % %I = imread('e1.jpeg');%100*100 pixel of image
10 RGB = imread('ee2_1000.jpg');%1000*1000 pixel of image
11 I =rgb2gray(RGB);
12 % figure 
13 % imshow(I);
14  temp_Linit = zeros(10,10);
15 % % I1 = rgb2gray(I);
16 t_row = 0:100:1000;   % the row'coordinates of each block
17 t_row1= t_row;
18 t_row = t_row+1;%pattention-->reduced add the Extra 1
19 t_col = 0:100:1000;   % the column'coordinates of each block
20 t_col1= t_col;
21 t_col = t_col+1;
22 % % save space to predifine variable
23 % %temp = repmat(int8(0), 100, 100);%arry cannot deliver to point
24 temp1 = cell(10);% creat cell struct
25 len = 10;          %the number of block in row or column
26 for i = 1 : len
27     for j = 1 : len
28         temp = I(t_row(i):t_row1(i+1), t_col(j):t_col1(j+1));
29         temp1{i,j}=temp;
30         In =  temp1{i,j};
31         temp_Linit(i,j)= Linit(In);
32  %subplot(10, 10, 10*(i-1)+j); imshow(temp);
33     end
34 end
35 % %%cal L_ben by cycle
36 % 
37 L_mean = mean2(temp_Linit);
38  temp_Lben = zeros(10,10);
39 for i1 = 1 : 10
40     for j1 = 1 : 10
41         Lben_In =   temp_Linit(i1,j1);
42         temp_Lben(i1,j1)= Lben(Lben_In,L_mean);
43     end
44 end
45 % %%combine L_SF to arry
46 %T_SF = 20;
47  temp_Lsf = zeros(10,10);
48 for i4 = 1 : 10
49     for j4 = 1 : 10
50         Lsf_In =   temp_Lben(i4,j4);
51         temp_Lsf(i4,j4)= S_filter(Lsf_In,temp_Lben,20);
52     end
53 end
54 % 
55 % %YCBCR1_temp{i,j}=temp_Lsf(i,j);
56 tt_row = 0:100:1000;   % the row'coordinates of each block
57 tt_row1= tt_row;
58 tt_row = tt_row+1;%pattention-->reduced add the Extra 1
59 tt_col = 0:100:1000;   % the column'coordinates of each block
60 tt_col1= tt_col;
61 tt_col = tt_col+1;
62 % % save space to predifine variable
63 % %temp = repmat(int8(0), 100, 100);%arry cannot deliver to point
64 YCBCR1_out = zeros(1000);
65 YCBCR1_temp = cell(10);% creat cell struct
66 len1 = 10;          %the number of block in row or column
67 for i5 = 1 : len1
68     for j5 = 1 : len1
69         YCBCR1_temp{i5,j5}=temp_Lsf(i5,j5);
70    YCBCR1_out(tt_row(i5):tt_row1(i5+1), tt_col(j5):tt_col1(j5+1))=YCBCR1_temp{i5,j5};
71 
72  %subplot(10, 10, 10*(i-1)+j); imshow(temp);
73     end
74 end
75 
76  YCBCR = rgb2ycbcr(RGB);
77   figure
78  imshow(YCBCR);
79 YCBCR(:,:,1)=YCBCR1_out;
80 RGB1 = ycbcr2rgb(YCBCR);
81 figure
82 imshow(RGB);
83 figure
84 imshow(RGB1);

main code

实验效果如下

 

实验现象简单分析,算法处理后,输出的图像变暗很多,即亮度改变很大,但视觉效果差,和原图差很远,即细节增强效果不好。

本文算法主要是对图像的亮度调整,故关键点2是颜色空间转换,即要实现对亮度的调整,得把RGB图像转换为YCbCr,然后Y分量即RGB图像的亮度,把算法的结果1000*1000的矩阵的点赋值给Y分量,其他两个分量不变,之后将YCbCr形式的图像转换回RGB图像显示,这时的RGB图像的亮度已经是我们算法的处理结果。关键点1是图像的分块(怎么表示第n块图像块),分块的逆问题:把分块后的图像块组合成一幅图像,通用是利用到主函数里的思路,数字图像即矩阵,即将每个图像块赋值给矩阵的某个范围的行和列即可,如100*100的图像块直接赋值给1000*1000矩阵行和列的1:100范围,把十个图像块循环赋值完,即得到一个矩阵。

 

三 论文算法复现总结

(一)清楚认识世界比你咋想重要得多(首要核心)

       首先得准确理解算法,在算法的设计实现过程中犯了五个误区。

       第一是如算法的处理对象,即LED块的亮度强度,得用颜色空间转换YCbCr才行,而我刚开始直接当成图像的灰度,当成和大多数图像处理算法一样的思路,惯性思维导致。

      第二是,算法是对视频处理,我看到最后才发现这一点,当前帧和上一帧,真的很突然,发现自己想错了。

      第三是,RGB图像的R分量一开始搞错了,直接写成R =  RGB(1, :, :);% R = 1*M*3. 正确写法如下:R =  RGB(:, :, 1);% R = M*N.

      第四是对于直方图的写法,刚开始直接调用了网上的,后面仔细分析发现统计的灰度值,和直方图代表一个灰度级的像素数差很远。

      第五是,图像的像素总数搞成了图像的灰度总数,这是没有查阅权威资料和文档。这是犯了没有仔细思考,以科学事实为原则。

 (二)循序渐进(拆分原则)

       即设计一个算法,把他拆分成很多步骤或模块组成,例子1如在银行取钱,第一步插入银行卡,第二步输入密码,第三步输入取款金额,第三步取出银行卡离开。例子2,时钟的表针分成三部分,时针,分针,秒针。故本次算法也用拆分,由四个步骤组成,那么就一步步的实现,把第一步实现了做下一步;或者各个击破,把每一步分别实现,组合起来。正确的设计方法,是模块化设计,循序渐进,把每一个部分当成一个函数,直接在主函数调用即可,当遇到问题时,由于是一个模块,且模块间关联不大,很容易解决。很错误就是想一下子把整个功能实现,由于代码量很大,一旦出现问题,会很复杂的逻辑关系,到时候是问题解决你了,败给了时间。

(三)用多种方式去做

     多查阅官方文档,多看权威书籍,多勇敢尝试不同方法。

 方法1:最开始想复制粘贴别人的算法,发现搜了半天,如CSDN博客,知乎上怎么查找论文的代码列出的网站,博客园,GitHub上,谷歌搜索,搜作者的主页等方式,都没找到,只能另想他法。

方法2:先问了一个同事,他的想法是可以用C++做图像处理,为我开启了一种新思路,但我一直用matlab做红外图像细节增强算法,好歹搞出一篇论文,故不想放弃MATLAB图像处理的基础。他还启发了我,对图像亮度处理,用颜色空间转换: RGB-YCbCr-RGB,让我发现了自己的坑,我设计的算法对图像灰度处理,错的离谱。

方法3:自己编代码。很耗时,同样很多问题伴随,这就是工科生,在问题中收获知识和成长!

 

了解世界和自己!

    原文作者:南方菜鸟
    原文地址: https://www.cnblogs.com/Xwangzi66/p/14967931.html
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。