EN

从2010年开始,本人参与研究和开发了很多项目,这些项目主要是关于图像视频处理和真实感渲染方面。同时,本人在机器学习,海量数据处理,点云处理和手机端开发方面也有相关的项目经验。下面分别介绍了这些项目。如果你对这些项目感兴趣的话,欢迎随时联系我进行技术探讨:-)

清华大学-腾讯互联网创新技术联合实验室项目

从2013年5月至今本人在清华大学-腾讯互联网创新技术联合实验室中担任技术支持。本人参与研究和开发了很多合作项目,其中包括与腾讯街景研究组的合作项目(隶属于国家863重点项目“城市街景的感知应用”),以及与腾讯微信研究组的合作项目。

2011.03 -- 2011.09 神笔小Q  

主要开发者,研究者 C++, JAVA, AS, jsp, 网络编程 图像检索,图像合成,海量数据处理  

神笔小Q是一个实时在线图像索引和合成系统。 该系统基于图像检索和合成算法,智能的把用户输入的草图转化为高真实度的图像。该系统于2011年9月在QQ实验室上线,在两个星期内PV超过了100,000。这里是宣传视频,一些系统介绍以及新闻。整个系统是 Nginx + Apache(linux服务器) + C++(win服务器) + Flash(客户端) 的架构,并且拥有一个超过300,000张图像的后台数据库。在该项目中本人负责前台Flash客户端和后台C++/JAVA服务器端的开发。该系统由这里可以访问。

2013.05 -- 2013.11 电商图像检索系统  

研究者 C++, OpenCV 图像检索,海量数据处理  

在该项目中我们开发了一个实时电商图像检索系统,该系统读取用户用手机拍摄的商品图像,把最相似的电商图像和商品链接返回给用户。该系统的设计实现包括图像层次索引设计图像特征的选取与设计,超过300,000张电商图像的预处理方法等核心技术。该系统拥有较高的准确率和召回率,之后会被嵌入到腾讯的相关产品中。

2013.05 -- 2014.05 交通标志的自动检测与识别系统  

开发者,研究者 C++, OpenCV 计算机视觉,机器学习  

在该项目中我们开发了一个街景图像交通标志的自动检测与识别系统。我们使用了机器学习的相关方法去进行检测。本人负责路牌检测这块的算法设计和具体实现。该系统将要被用作在腾讯街景图像的预处理中。

2013.09 -- 2014.03 实时图像前景扣取系统  

独立开发者, 研究者 C++, OpenGL, glsl, OpenCV 图像前景扣取,并行计算  

在该项目中我们开发了一个交互式的实时图像前景扣取系统。它包含了目前世界上最先进图像扣取算法的GPU并行实现,以及用户交互设计等核心技术。该系统是由本人独立开发完成的。这里有可执行的演示程序

2013.11 -- 2014.05 物体三维重建系统  

研究者 C++, PCL, OpenGL, OpenCV 三维重建, 深度恢复,渲染  

在该项目中我们开发了一个物体的三维重建系统,该系统读入同一个物体不同视角的图像,在计算机中建立出该物体的三维模型。该系统首先对该物体的点云信息进行提取,并把拍摄图像映射到点云中以得到模型的纹理,最终达到能对该模型在计算中进行实时的渲染与连续漫游的目的。在该项目中我负责主要算法的设计。

科研项目

2009.10 -- 2011.09 [TVCG13] PoseShop: Human Image Database Cons. and Pers. Content Syn.  

开发者 C++, OpenCV, OpenGL 图像检索,图像合成,海量数据处理  

在该项目中我们对超过300,000张图像建立了一个基于人体动作的拥有层次性结构的图像数据库(使用了聚类等方法),并从用户输入的特定人体动作合成出高真实度的图像。在该项目中我负责层次性结构图像数据库和用户交互界面的相关代码的开发和调试工作。
[更多]

2010.09 -- 2011.05 [SIGA11] Interactive Hair Rendering and App. Editing under Envi. Lighting  

主要开发者,研究者 C++, OpenGL, glsl, OpenCV 渲染  

在该项目中我们建立了全局光照交互式的毛发渲染框架。它包含渲染引擎的建立,复杂的着色器程序(shader),预计算用于快速积分的表和用户交互等核心渲染技术。它包含了deep opacity map(用于计算阴影和遮挡)和一些现有较好的毛发渲染方法的实现。在该项目中本人负责绝大部分的代码开发和调试工作。
[更多]

2011.03 -- 2011.06 [C&G12] Efficient Antialiased Edit Propagation for Images and Videos  

独立开发者,主要研究者 C++, OpenCV 图像视频编辑  

该项目的开发过程是对一个高真实度,实时的编辑传播方法的具体实现,它包含了整个编辑传播的算法和交互界面。本人负责所有代码的开发与调试工作。

2011.09 -- 2013.02 [TVCG13 封面文章] Change Blindness Images  

主要开发者,主要研究者 C++, OpenCV 数据分析,图像编辑  

在该项目中,我们进行了相关实验的设计,用来收集很多实验者对于视觉盲视现象感受程度的数据,对这些数据用回归方法进行了分析,提出了第一个定量描述视觉盲视现象的计算准则。该定量准则可以进而指导进行可控难度的找茬图像的自动合成。在该项目中我负责大部分的代码开发工作。
[更多]

2011.10 -- 2012.05 [TOG13] A Prac. Algo. for Rendering Interrefl. with All-frequency BRDFs  

开发者,研究者 C++, OpenGL, glsl, Cuda, OpenCV 渲染,并行计算  

在该项目中我们建立了一个支持动态光照和材质互反射效果渲染框架。它包含复杂的着色器(shader),层次性的场景表示,Cuda并行计算等核心技术。在该项目中我负责大部分的着色器代码的开发和调试工作。
[更多]

2012.09 -- 2013.05 [SIGA13] Inverse Image Editing  

主要开发者,研究者 C++, OpenCV 图像编辑  

在该项目中我们开发了一个系统,用来从编辑前后的图像对中恢复出编辑过程。它包含Patch-match, NRDC, alpha图像前景扣取, 图像补全和其他图像编辑方法的具体实现。我负责大部分的代码编写,调试和算法结果。
[更多]

2013.03 -- 2013.05 [C&G13] Effcient Manifold Pres. Edit Prop. with Adaptive Neighborhood Size  

独立开发者,主要研究者 C++, OpenCV 图像视频编辑  

该项目的开发过程是对一个高真实度,实时的编辑传播方法的具体实现,它包含了整个编辑传播的算法和交互界面。本人负责所有代码的开发与调试工作。

其他项目

除了上述项目之外,从2010年至今,我还参与了一些其他的合作项目,一些商业软件的开发,并编写了一些简单的游戏和实用的工具。

2010.01 -- 2013.12 JOYHUNTER的游戏合集  

独立开发者 JAVA/C++, 网络编程,多媒体编程,多线程编程  

本人在课余时间独立实现过一些流行的小游戏,包括AVG游戏对对碰俄罗斯方块炸弹人贪吃蛇。本人独立完成了这些程序的设计、开发和测试工作。这些项目中包含各种多媒体素材的使用,其中一些项目包含了网络编程,多线程编程和一些动画和渲染技术。

2012.01 -- 2012.07 手机平台渲染技术  

开发者,研究者 Android, OpenGLES, glsl 渲染  

在该项目中我们使用glsl在安卓平台上实现了一些今年来优秀的渲染技术,包括实时全局光照技术毛发渲染技术等。这是一个合作项目,随着手机平台上的GPU性能变得越来越好,手机游戏的渲染技术也必须得到增强。在该项目中我负责手机渲染框架和复杂着色器(shader)的开发与调试。

2013.03 -- 2014.03 图像颜色校正相关App  

独立开发者和研究者 IOS, Objective-C 图像处理,颜色校正  

本人参与了一些用来进行图像颜色校正的商业手机端App的开发和调试工作。做法是在场景中放置一个色盘,把它和整个场景一起拍到同一张照片中,利用色盘来校正整个场景的颜色。本人负责所有的核心算法和代码的开发工作。这些App在几个月后会出现在Apple Store中,并且对应的安卓版本也在开发中。

2013.04 -- 2014.05 立体图像渲染框架  

独立开发者和研究者 C++, OpenGL, glsl, OpenCV 渲染  

在该项目中本人实现了一个用来生成模型立体图像的渲染框架。它包含Phong着色模型,多层渲染通道(multiple render passes)和用来做立体图像合成的着色器等渲染技术。这里是可执行的 演示程序比较小的版本),必须佩戴红蓝眼镜才能看到立体效果。

2013.09 -- 2014.03 鱼眼视频校正  

研究者 C++, OpenCV 图像视频校正  

本项目的目的是实时的把鱼眼全景摄像头采集到的视频校正为拥有正常透视变换的视频。该项目使用了目前世界上最先进的校正算法。这是一个合作项目,该算法会被集成到嵌入式的摄像头系统中。