您现在的位置是：首页 > 文章详情

(4opencv)CLR基本原理和如何运用于GOCW

日期：2018-09-02点击：479收藏

GOCW的重点和难点就在于Csharp调用OpenCV，其中的桥梁就是CLR，当然我们也有其他方法，但是CLR是一个比较新的、比较可靠的、关键是能用的桥梁。这里关于CLR的基本原理知识、如何用于GOCW项目的相关内容加以整理思考，以图深入：

一、什么是CLR;

1、什么是CLR

CLR（Common Language Runtime）是“公共语言运行时”的缩写，简单来说它是和Java虚拟机一样的一个运行时环境。它负责资源管理（内存分配和垃圾收集），并保证应用和底层操作系统之间必要的分离。

通用语言运行时是.NET 框架应用程序的执行引挚。它提供了许多服务，其中包括：代码管理(装入和执行)、类型安全性验证、元数据(高级类型信息)访问、为管理对象管理内存、管理代码，COM对象和预生成的DLLs(非管理代码和数据)的交互操作性、对开发人员服务的支持等等。

我们GOCW项目中为了能够使用Csharp调用OpenCV，采用了托管C++;

2、什么是托管C++？

托管是.NET的一个专门概念，它是融于通用语言运行时(CLR)中的一种新的编程理念，使用托管C++意味着，我们的代码可以被CLR所管理，并能开发出具有最新特性如垃圾自动收集、程序间相互访问等的.NET框架应用程序。

由托管概念所引发的C++应用程序包括托管代码、托管数据和托管类三个组成部分。

(1) 托管代码：. Net环境提供了许多核心的运行(RUNTIME)服务，比如异常处理和安全策略。为了能使用这些服务，必须要给运行环境提供一些信息代码(元数据)，这种代码就是托管代码。所有的C#、VB.NET、JScript.NET默认时都是托管的，但Visual C++默认时不是托管的，必须在编译器中使用命令行选项(/CLR)才能产生托管代码。

(2) 托管数据：与托管代码密切相关的是托管数据。托管数据是由公共语言运行的垃圾回收器进行分配和释放的数据。默认情况下，C#、Visual Basic 和 JScript.NET 数据是托管数据。不过，通过使用特殊的关键字，C# 数据可以被标记为非托管数据。Visual C++数据在默认情况下是非托管数据，即使在使用 /CLR 开关时也不是托管的。

(3) 托管类：尽管Visual C++数据在默认情况下是非托管数据，但是在使用C++的托管扩展时，可以使用"__gc"关键字将类标记为托管类。就像该名称所显示的那样，它表示类实例的内存由垃圾回收器管理。另外，一个托管类也完全可以成为 .NET 框架的成员，由此可以带来的好处是，它可以与其他语言编写的类正确地进行相互操作，如托管的C++类可以从Visual Basic类继承等。但同时也有一些限制，如托管类只能从一个基类继承等。需要说明的是，在托管C++应用程序中既可使用托管类也可以使用非托管类。这里的非托管类不是指标准C++类，而是使用托管C++语言中的__nogc关键字的类。

3、托管C++与标准C++的主要区别

尽管托管C++是从标准C++建立而来的，但它与标准C++有着本质上的区别，这主要体现在以下几个方面：
(1) 广泛采用"名称空间"(namespace)
名称空间是类型的一种逻辑命名方案，.NET使用该命名方案用于将类型按相关功能的逻辑类别进行分组，利用名称空间可以使开发人员更容易在代码中浏览和引用类型。当然，我们也可将名称空间理解成是一个"类库名"。

(2) 基本数据类型的变化

我们知道，标准C++语言的数据类型是非常丰富的。而托管C++的数据类型更加丰富，不仅包含了标准C++中的数据类型，而且新增了__int64 (64位整型)、Decimal(96位十进制数)、String*(字符串类型)和Object*(对象类型)等类型，表1-1列出它们各自数据类型。

(3) 新增三个托管C++类型：__gc class、__value class和__gc interface

一个__gc类或结构意味着该类或结构的生命周期是由.NET开发平台自动管理及垃圾自动收集，用户不必自已去调用delete来删除。定义一个__gc类或结构和标准C++基本相似，所不同的是在class或struct前加上__gc。

二、CLR为什么能用于Csharp和C++互相调用；

基本的思路是将C++代码封装成为托管代码，而CSharp代码本来就可以翻译成CLR语句。在这种情况下，C++实现的效果，能够直接被CSharp调用，从而达到联合的目的。

其中的难点，其实并不是引用，而是参数的传递：如何将“图像”这种本质上较为巨大的数据在两种系统里面传递，所以必然就需要有内存的操作；此外CLR语言的编码方法和普通CSharp差距较大，也是需要注意。

一般来说：

有C#及C++背景的人使用C++/CLI的必备知识:

1、C++/CLI里的new等于C++里的new, gcnew等于C#里的new

2、原生指针用*表示,托管引用使用^表示

如: Stream^ stream = gcnew Stream();

3、array<unsigned char>^ 等于 System.Byte[]

4、pin_ptr关键字能把托管引用转换为原生指针:

如: pin_ptr<BYTE> pBytes = & byteArray[0];

然后pBytes就可以当作原生的BYTE* 使用了.

等代码执行完pBytes的有效范围,byteArray就会恢复可被GC处理的状态

三、CLR如何具体用于GOCW项目：

这里应该算是核心代码的解析，完整代码可以自己看，主要讲接口

Csharp(BitMap)->Mat->Csharp(BitMap) ,几乎全部的内容都在CLR形式的C++代码中，其它地方只是实现接口。

////////////////////////////////将输入cli::array<unsigned char>转换为cv::Mat/////////////////////////

pin_ptr<System::Byte> p1 = &pCBuf1[0];

unsigned char* pby1 = p1;

cv::Mat img_data1(pCBuf1->Length,1,CV_8U,pby1);

cv::Mat img_object = cv::imdecode(img_data1,IMREAD_UNCHANGED);

if (!img_object.data)

return nullptr;

这里注意，内存操作其实是在imdecode中实现的，如果进一步研究，会发现imdecode还有磁盘I/O操作，这个地方应该报一个ISSUE\BUGREPORT(TODO)

System::Drawing::Bitmap^ MatToBitmap(const cv::Mat& img)

{

if (img.type() != CV_8UC3)

{

throw gcnew NotSupportedException("Only images of type CV_8UC3 are supported for conversion to Bitmap");

}

//create the bitmap and get the pointer to the data

PixelFormat fmt(PixelFormat::Format24bppRgb);

Bitmap ^bmpimg = gcnew Bitmap(img.cols, img.rows, fmt);

BitmapData ^data = bmpimg->LockBits(System::Drawing::Rectangle(0, 0, img.cols, img.rows), ImageLockMode::WriteOnly, fmt);

Byte *dstData = reinterpret_cast<Byte*>(data->Scan0.ToPointer());

unsigned char *srcData = img.data;

for (int row = 0; row < data->Height; ++row)

{

memcpy(reinterpret_cast<void*>(&dstData[row*data->Stride]), reinterpret_cast<void*>(&srcData[row*img.step]), img.cols*img.channels());

}

bmpimg->UnlockBits(data);

return bmpimg;

}

bmp是有LocKBits操作的，就是在这里将Bitmap处理的结果固定在内存中的。

Bitmap类使用LockBits和UnLockBits方法来将位图的数据矩阵保存在内存中、直接对它进行操作，最后用修改后的数据代替位图中的原始数据。 LockBits返回以各BitmapData的类用已描述数据在已锁定的矩阵中的位置和分布。

BitmapData类包括以下几个重要的属性：

Scan0：数据矩阵在内存中的地址。
Stride：数据矩阵中的行宽，以byte为单位。可能会扩展几个Byte，后面会介绍。
PixelFormat：像素格式，这对矩阵中字节的定位很重要。
Width：位图的宽度。
Height：位图的高度。

具体关系见下图：

如上图所示,stride属性表示位图数据矩阵的行宽，以byte为单位。出于效率考虑，矩阵的行宽并非刚好是每行像素数的整数倍，系统往往会将其封装成4的整数倍。举例来说，对于一幅24位深17像素宽的图像，其stride属性为52；每行的数据量为17*3=51，系统将其自动封装一个字节，所以它的stride为52byte（或13*4byte）。对于一幅17像素宽的4位索引图，其stride为12，其中9byte（准确地说是8.5个byte）用来记录数据信息，每行再自动添加3（3.5）个byte保证其为4的整数倍。

具体数据的分布因其pixelformat而异。24位深的图像每隔3个byte包含一组RGB信息；32位深的图像每隔4个byte包含一组RGBA信息。那些每个字节包含多个像素的pixelformat，比如4位索引图像或1位索引图像，必须经过仔细处理，从而保证同一字节中的相邻byte不会混淆。

指针的准确定位

32位RGB：假设X、Y为位图中像素的坐标，则其在内存中的地址为scan0+Y*stride+X*4。此时指针指向蓝色，其后分别是绿色、红色，alpha分量。
24位RGB：scan0+Y*stride+X*3。此时指针指向蓝色，其后分别是绿色和红色。
8位索引：scan0+Y*stride+X。当前指针指向图像的调色盘。
4位索引：scan0+Y*stride+（X/2）。当前指针所指的字节包括两个像素，通过高位和低位索引16色调色盘，其中高位表示左边的像素，低位表示右边的像素。
1位索引：scan0+Y*stride+X/8。当前指针所指的字节中的每一位都表示一个像素的索引颜色，调色盘为两色，最左边的像素为8，最右边的像素为0 。(TODO EMGUCV ISSUE)