做虚拟屏幕，为了把服务器上几个app映射到一个画面上，再把这个画面通过wifi显示到远程物理屏幕，特此研究了xvfb ffmpeg wmctrl 的配置。
1. Xvfb
做一个简单的测试，在ubuntu服务器上，新建两个虚拟屏幕：
sudo apt-get install xvfb firefox x11-apps imagemagick
这里 firefox x11-apps和 imagemagick只是用来方便测试。
Xvfb :1 -screen 0 600x840x16 -screen 1 1024x768x16 -fbdir /home/fu/ar/xvfb &
Display=:1.0 import -window root 0.png
（如图，因为暂时没有程序投影到这个桌面，所以是空桌面，600x800的全黑图）；
Display=:1.1 import -window root 1.png
（同理，得到一个1024x768的全黑图）
现在制定虚拟屏幕运行firefox，因为只有x服务，并没有windows manager，所以理论上，一个x程序（所谓x程序，就是有界面的程序）应该非常原始的出现在指定屏幕的左上角。
Display=:1.0 firefox http://www.google.com &
Display=:1.1 xcalc &
看来没有窗口管理器是不行的，之后还要涉及到窗口的focus什么的，还是得装一个窗口管理器。这里选择openbox，因为强大的可配置性，以及极少的空间占用。
sudo apt-get install openbox
Xvfb :1 -screen 0 600x840x24 -screen 1 1024x768x24 -fbdir /home/fu/ar/xvfb &
sleep 3;
DISPLAY=:1.0 openbox &
DISPLAY=:1.1 openbox &
#DISPLAY=:1.0 fluxbox &
#DISPLAY=:1.1 fluxbox &
这里屏幕用24位彩色，是为了RGB都是3字节，和通用的图形软件，opencv，matlab什么的都对应起来。
import 无法截openbox的屏，只有窗口框，里面是黑的。截fluxbox的屏幕没有任何问题。替代方法是用scrot来截屏，或者其他什么软件，就是不要用 import。
sudo apt-get install scrot
用ps kill 掉之前的程序，重新运行一遍：
DISPLAY=:1.0 xcalc &
DISPLAY=:1.1 xclock -digital -update 1 &
DISPLAY=:1.0 scrot 0.png
DISPLAY=:1.1 scrot 1.png
这下子可以顺利看到xvfb+openbox的实际情况了。可以看到，openbox默认是居中对齐。
也可以通过opencv，在程序里捕捉和显示各个桌面：
//testXwd.cpp
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "iostream"
#include <X11/Xlib.h>
#include <X11/Xutil.h>
#include <cstring>
#include <vector>
using namespace std;
using namespace cv;
IplImage *XImage2IplImageAdapter(XImage *ximage){
IplImage *iplImage;
assert(ximage->format == ZPixmap);
assert(ximage->depth == 24);
iplImage = cvCreateImageHeader(
cvSize(ximage->width, ximage->height),
IPL_DEPTH_8U,
ximage->bits_per_pixel/8);
iplImage->widthStep = ximage->bytes_per_line;
if(ximage->data != NULL)
iplImage->imageData = ximage->data;
return iplImage;
}
int main(int argc, char* argv[]){
int Width = 0;
int Height = 0;
int Bpp = 0;
std::vector<unsigned char> Pixels;
namedWindow("MyVideo",CV_WINDOW_AUTOSIZE);
Mat frame;
Display* display = XOpenDisplay(argv[1]);
Window root = DefaultRootWindow(display);
while(1){
XWindowAttributes attributes = {0};
XGetWindowAttributes(display, root, &attributes);
XImage* img = XGetImage(display, root, 0, 0 , attributes.width, attributes.height, AllPlanes, ZPixmap);
IplImage *cvImageSample = XImage2IplImageAdapter(img);
frame = Mat(cvImageSample);
imshow("MyVideo", frame);
if(waitKey(50) == 27) {
cout << "esc key is pressed by user" << endl;
break;
}
XDestroyImage(img);
}
XCloseDisplay(display);
return 0;
}
//makefile
testXwd: testXwd.cpp
g++ -g testXwd.cpp -I/usr/local/include/ -L/usr/local/lib -lopencv_highgui -lopencv_core -lopencv_imgproc -fopenmp -o testXwd
//example
testXwd :1.1
2. Ffmpeg
为了能够实时的观看某个程序，可以用ffmpeg x11grab来捕捉其所在的屏幕。因为我把每个程序放在单独的屏幕，所以捕捉屏幕等同于捕捉程序窗口。
ffmpeg -y -r 15 -f x11grab -s 1024x768 -i :1.1 out.avi
ffmpeg 会自动选择编码，打开录制的out.avi，窗口大小是对的，电子表也在走。
再测试通过网络发送到opencv：
ffmpeg -r 15 -f x11grab -s 1024x768 -i :0.0 -vcodec mpeg4 -qscale 12 -f mpegts udp://127.0.0.1:6666?pkt_size=188?buffer_size=65535
ffmpeg -r 20 -f x11grab -s 1024x768 -i :0.0 -vcodec mpeg4 -maxrate 900k -bufsize 900k -qscale 10 -f mpegts udp://127.0.0.1:6666
//testRtp.cpp
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "iostream"
using namespace std;
using namespace cv;
int main(int argc, char* argv[]){
VideoCapture cap("udp://127.0.0.1:6666");
if ( !cap.isOpened() ) {
cout << "Cannot open the video file" << endl;
return -1;
}
double fps = cap.get(CV_CAP_PROP_FPS);
cout << "Frame per seconds : " << fps << endl;
namedWindow("MyVideo",CV_WINDOW_AUTOSIZE);
Mat frame;
while(1){
bool bSuccess = cap.read(frame);
if (!bSuccess){
cout << "Cannot read the frame from video file" << endl;
break;
}
imshow("MyVideo", frame);
if(waitKey(30) == 27) {
cout << "esc key is pressed by user" << endl;
break;
}
}
return 0;
}
//makefile
testRtp: testRtp.cpp
g++ -g testRtp.cpp -I/usr/local/include/ -L/usr/local/lib -lopencv_highgui -lopencv_core -lopencv_imgproc -fopenmp -o testRtp
尽管只消耗500kbps的带宽，效果却非常不理想。
