（GO_GTD_2)基于OpenCV和QT，建立Android图像处理程序
一、综述
如何采集图片？在windows环境下，我们可以使用dshow，在linux下，也有ffmpeg等基础类库，再不济，opencv自带的videocapture也是提供了基础的支撑。那么在andoird下，使用的肯定是Android自带的相关函数了。由于Android是基于java语言的，如果我们想要调用Android
的相关函数，那么必须通过JNI的方法。
这里有可以分为两种，一种是直接在java中实现比较完整的函数，在qt中，只需要调用这个函数就可以；另一种就是使用qt自带的jni机制，比如下面这样，打开摄像头，并且采集图片。我们首先介绍第二种方法，让大家最快进入情况。
二、通过JNI打开摄像头
a、填加头文件和命名空间，定义公共变量和宏：
#include
<QtAndroid>
#include
<QDebug>
#include
<QAndroidJniEnvironment>
#include
<QAndroidActivityResultReceiver>
#include
<QDateTime>
#include
<QFile>
using
namespace
cv;
using
namespace
QtAndroid
;
QString
strFetchImage
=
""
;
QString
selectedFileName
=
""
;
#define
CHECK_EXCEPTION
()
\
if
(env->ExceptionCheck())\
{\
qDebug
()
<<
"exception
occured"
;\
env->ExceptionClear();\
}
其中需要注意的是，
CHECK_EXCEPTION
是用来检查Android系统是否有异常的。这一点在使用JNI的时候非常重要和必要。
b、填加回调类，主要就是在一系列异常判断后，获得imagepath。该类集成自
ResultReceiver
：
class
ResultReceiver
:
public
QAndroidActivityResultReceiver
{
public
:
ResultReceiver
(
QString
imagePath
,
QLabel
*
view
)
:
m_imagePath
(
imagePath
),
m_imageView
(
view
)
{
}
void
handleActivityResult
(
int
receiverRequestCode
,
int
resultCode
,
const
QAndroidJniObject
&
data
)
{
qDebug
()
<<
"handleActivityResult,
requestCode
-
"
<<
receiverRequestCode
<<
"
resultCode
-
"
<<
resultCode
<<
"
data
-
"
<<
data
.
toString
();
if
(
resultCode
==
-
1
&&
receiverRequestCode
==
1
)
{
qDebug
()
<<
"captured
image
to
-
"
<<
m_imagePath
;
qDebug
()
<<
"captured
image
exist
-
"
<<
QFile
::
exists
(
m_imagePath
);
m_imageView
->
setPixmap
(
QPixmap
(
m_imagePath
));
}
}
QString
m_imagePath
;
QLabel
*
m_imageView
;
};
C、填加控件触发事件。一般来说我们选择pressed事件
d、编写拍照代码
//打开摄像头，采集图片
void
MainWindow
::
on_btn_capture_pressed
()
{
ui
->
lbMain
->
setScaledContents
(
true
);
//显示的图像自动缩放
b_canSave
=
false
;
//图片没有采集完成，目前不可以保存
//引用JNI
QAndroidJniEnvironment
env
;
//创建用于打开摄像头的content
QAndroidJniObject
action
=
QAndroidJniObject
::
fromString
(
"android.media.action.IMAGE_CAPTURE"
);
QAndroidJniObject
(
intent
(
"android/content/Intent"
,
"(Ljava/lang/String;)V"
,
action
.
object
<
jstring
>());
//设定img路径
QString
date
=
QDateTime
::
currentDateTime
().
toString
(
"yyyyMMdd_hhmmss"
);
QAndroidJniObject
fileName
=
QAndroidJniObject
::
fromString
(
date
+
".jpg"
);
QAndroidJniObject
savedDir
=
QAndroidJniObject
::
callStaticObjectMethod
(
"android/os/Environment"
,
"getExternalStorageDirectory"
,
"()Ljava/io/File;"
);
//使用CHECK_EXCEPTION处理异常
CHECK_EXCEPTION
()
qDebug
()
<<
"savedDir
-
"
<<
savedDir
.
toString
();
QAndroidJniObject
savedImageFile
(
"java/io/File"
,
"(Ljava/io/File;Ljava/lang/String;)V"
,
savedDir
.
object
<
jobject
>(),
fileName
.
object
<
jstring
>());
CHECK_EXCEPTION
()
qDebug
()
<<
"savedImageFile
-
"
<<
savedImageFile
.
toString
();
QAndroidJniObject
savedImageUri
=
QAndroidJniObject
::
callStaticObjectMethod
(
"android/net/Uri"
,
"fromFile"
,
"(Ljava/io/File;)Landroid/net/Uri;"
,
savedImageFile
.
object
<
jobject
>());
CHECK_EXCEPTION
()
//将输出路径传递过来
QAndroidJniObject
mediaStoreExtraOutput
=
QAndroidJniObject
::
getStaticObjectField
(
"android/provider/MediaStore"
,
"EXTRA_OUTPUT"
,
"Ljava/lang/String;"
);
CHECK_EXCEPTION
()
qDebug
()
<<
"MediaStore.EXTRA_OUTPUT
-
"
<<
mediaStoreExtraOutput
.
toString
();
intent
.
callObjectMethod
(
"putExtra"
,
"(Ljava/lang/String;Landroid/os/Parcelable;)Landroid/content/Intent;"
,
mediaStoreExtraOutput
.
object
<
jstring
>(),
savedImageUri
.
object
<
jobject
>());
//获得采集图片的绝对路径,并且显示出来
ResultReceiver
*
resultReceiver
=
new
ResultReceiver
(
savedImageFile
.
toString
(),
ui
->
lbMain
);
startActivity
(
intent
,
1
,
resultReceiver
);
//获得返回的绝对地址(注意这句话一定要写在
CHECK_EXCEPTION
中）
strFetchImage
=
savedImageFile
.
toString
();
}
最终采集到的图片地址保存在
strFetchImage
中
e、编写处理代码。由于我这里主要进行的是图像处理操作，所以必须结合OpenCV相关函数进行
//图像处理操作
void
MainWindow
::
on_btn_process_pressed
()
{
b_canSave
=
false
;
if
(strFetchImage
!=
""
)
{
ui
->
lbMain
->
setScaledContents
(
false
);
Mat
src
=
imread
(strFetchImage.
toStdString
());
Mat
src2
;
Mat
rotated
;
////////////////////////////主要算法/////////////////////////////
cv
::
resize
(
src
,
src2
,
cv
::
Size
(
720
,
1000
));
//标准大小
Mat
src_gray
;
Mat
src_all
=
src2
.
clone
();
Mat
threshold_output
;
vector<vector<
Point
>
>
contours
,
contours2
;
vector<
Vec4i
>
hierarchy
;
//预处理
cvtColor
(
src2
,
src_gray
,
CV_BGR2GRAY
);
blur
(
src_gray
,
src_gray
,
Size
(
3
,
3
)
);
//模糊，去除毛刺
threshold
(
src_gray
,
threshold_output
,
100
,
255
,
THRESH_OTSU
);
//添加提示
ui
->
lb_info
->
setText
(
"开始寻找轮廓!"
);
//寻找轮廓
//第一个参数是输入图像
2值化的
//第二个参数是内存存储器，FindContours找到的轮廓放到内存里面。
//第三个参数是层级，**[Next,
Previous,
First_Child,
Parent]**
的vector
//第四个参数是类型，采用树结构
//第五个参数是节点拟合模式，这里是全部寻找
findContours
(
threshold_output
,
contours
,
hierarchy
,
CV_RETR_TREE
,
CHAIN_APPROX_NONE
,
Point
(
0
,
0
)
);
//添加提示
if
(
contours
.size()<=
10
)
{
ui
->
lb_info
->
setText
(
"轮廓筛选错误，循环退出!请重新采集数据。"
);
return
;
}
else
{
ui
->
lb_info
->
setText
(
"开始寻找轮廓!
开始筛选轮廓!"
);
}
//轮廓筛选
int
c
=
0
,
ic
=
0
,
area
=
0
;
int
parentIdx
=-
1
;
for
(
int
i
=
0
;
i
<
contours
.size();
i
++
)
{
//hierarchy[i][2]
!=
-1
表示不是最外面的轮廓
if
(
hierarchy
[
i
][
2
]
!=
-
1
&&
ic
==
0
)
{
parentIdx
=
i
;
ic
++;
}
else
if
(
hierarchy
[
i
][
2
]
!=
-
1
)
{
ic
++;
}
//最外面的清0
else
if
(
hierarchy
[
i
][
2
]
==
-
1
)
{
ic
=
0
;
parentIdx
=
-
1
;
}
//找到定位点信息
if
(
ic
>=
2
)
{
contours2
.push_back(
contours
[
parentIdx
]);
ic
=
0
;
parentIdx
=
-
1
;
}
}
//添加提示
if
(
contours2
.size()<
3
)
{
ui
->
lb_info
->
setText
(
"定位点选择错误，循环退出!请重新采集数据。"
);
return
;
}
else
{
ui
->
lb_info
->
setText
(
"开始寻找轮廓!
开始筛选轮廓!定位点选择正确!"
);
}
//填充定位点,我们约定，必须要能够同时识别出4个点来
for
(
int
i
=
0
;
i
<
contours2
.size();
i
++)
drawContours
(
src_all
,
contours2
,
i
,
CV_RGB
(
0
,
255
,
0
)
,
-
1
);
//识别出来了关键区域，但是数量不对，显示当前识别结果，退出循环
if
(
contours2
.size()
!=
4
)
{
QPixmap
qpixmap
=
Mat2QImage
(
src_all
);
ui
->
lbMain
->
setPixmap
(
qpixmap
);
ui
->
lb_info
->
setText
(
"定位点数量不为4!请重新采集数据。"
);
return
;
}
else
{
//否则，进一步分割
Point
point
[
4
];
for
(
int
i
=
0
;
i
<
contours2
.size();
i
++)
{
//筛选轮廓，
double
d
=
contourArea
(
contours2
[
i
]);
if
(
d
>
720
*
1000
/
4
)
{
ui
->
lb_info
->
setText
(
"采集中有错误轮廓，请重新采集数据"
);
QPixmap
qpixmap
=
Mat2QImage
(
src_all
);
ui
->
lbMain
->
setPixmap
(
qpixmap
);
return
;
}
//定位重点，并重新排序
Point
ptmp
=
Center_cal
(
contours2
,
i
);
if
(
ptmp
.
x
<
720
/
4
&&
ptmp
.
y
<
1000
/
4
)
{
point
[
0
]
=
ptmp
;
}
else
if
(
ptmp
.
x
<
720
/
4
&&
ptmp
.
y
>
1000
/
4
)
{
point
[
2
]
=
ptmp
;
}
else
if
(
ptmp
.
x
>
720
/
4
&&
ptmp
.
y
<
1000
/
4
)
{
point
[
1
]
=
ptmp
;
}
else
{
point
[
3
]
=
ptmp
;
}
}
//打印出来
for
(
int
i
=
0
;
i
<
3
;
i
++)
{
char
cbuf
[
100
];
sprintf
(
cbuf
,
"%d"
,
i
+
1
);
putText
(
src_all
,
cbuf
,
point
[
i
],
FONT_HERSHEY_PLAIN
,
5
,
Scalar
(
0
,
0
,
0
),
5
);
ui
->
lb_info
->
setText
(
"结果识别正确，可以保存"
);
}
//透视变换
cv
::
Point2f
src_vertices
[
4
];
src_vertices
[
0
]
=
point
[
0
];
src_vertices
[
1
]
=
point
[
1
];
src_vertices
[
2
]
=
point
[
2
];
src_vertices
[
3
]
=
point
[
3
];
Point2f
dst_vertices
[
4
];
dst_vertices
[
0
]
=
Point
(
0
,
0
);
dst_vertices
[
1
]
=
Point
(
720
,
0
);
dst_vertices
[
2
]
=
Point
(
0
,
1000
);
dst_vertices
[
3
]
=
Point
(
720
,
1000
);
Mat
warpMatrix
=
getPerspectiveTransform
(
src_vertices
,
dst_vertices
);
//执行透视变化
warpPerspective
(
src2
,
rotated
,
warpMatrix
,
rotated
.
size
(),
INTER_LINEAR
,
BORDER_CONSTANT
);
}
//////////////////////////END
主要算法
END
///////////////////////
//
将图片显示到label上
QPixmap
qpixmap
=
Mat2QImage
(
rotated
);
ui
->
lbMain
->
setPixmap
(
qpixmap
);
matResult
=
rotated
.
clone
();
b_canSave
=
true
;
}
}
三、初步结果和继续研究需要解决的问题
按照设计，目前得到这样的结果
下一步注重解决以下问题
1、提高程序稳定性；
2、提高界面流程性和运行速度；
3、重构代码，进一步进行封装；
4、添加数据保存的相关功能。
感谢阅读至此，希望有所帮助！
