从2010年开始,本人参与研究和开发了很多项目,这些项目主要是关于图像视频处理和真实感渲染方面。同时,本人在机器学习,海量数据处理,点云处理和手机端开发方面也有相关的项目经验。下面分别介绍了这些项目。如果你对这些项目感兴趣的话,欢迎随时联系我进行技术探讨:-)
清华大学-腾讯互联网创新技术联合实验室项目
从2013年5月至今本人在清华大学-腾讯互联网创新技术联合实验室中担任技术支持。本人参与研究和开发了很多合作项目,其中包括与腾讯街景研究组的合作项目(隶属于国家863重点项目“城市街景的感知应用”),以及与腾讯微信研究组的合作项目。
![]() |
2011.03 -- 2011.09
神笔小Q
主要开发者,研究者 C++, JAVA, AS, jsp, 网络编程 图像检索,图像合成,海量数据处理 神笔小Q是一个实时在线图像索引和合成系统。 该系统基于图像检索和合成算法,智能的把用户输入的草图转化为高真实度的图像。该系统于2011年9月在QQ实验室上线,在两个星期内PV超过了100,000。这里是宣传视频,一些系统介绍以及新闻。整个系统是 Nginx + Apache(linux服务器) + C++(win服务器) + Flash(客户端) 的架构,并且拥有一个超过300,000张图像的后台数据库。在该项目中本人负责前台Flash客户端和后台C++/JAVA服务器端的开发。该系统由这里可以访问。 |
![]() |
2013.05 -- 2013.11 电商图像检索系统 研究者 C++, OpenCV 图像检索,海量数据处理 在该项目中我们开发了一个实时电商图像检索系统,该系统读取用户用手机拍摄的商品图像,把最相似的电商图像和商品链接返回给用户。该系统的设计实现包括图像层次索引设计,图像特征的选取与设计,超过300,000张电商图像的预处理方法等核心技术。该系统拥有较高的准确率和召回率,之后会被嵌入到腾讯的相关产品中。 |
![]() |
2013.05 -- 2014.05
交通标志的自动检测与识别系统
开发者,研究者 C++, OpenCV 计算机视觉,机器学习 在该项目中我们开发了一个街景图像交通标志的自动检测与识别系统。我们使用了机器学习的相关方法去进行检测。本人负责路牌检测这块的算法设计和具体实现。该系统将要被用作在腾讯街景图像的预处理中。 |
![]() |
2013.09 -- 2014.03
实时图像前景扣取系统
独立开发者, 研究者 C++, OpenGL, glsl, OpenCV 图像前景扣取,并行计算 在该项目中我们开发了一个交互式的实时图像前景扣取系统。它包含了目前世界上最先进图像扣取算法的GPU并行实现,以及用户交互设计等核心技术。该系统是由本人独立开发完成的。这里有可执行的演示程序。 |
![]() |
2013.11 -- 2014.05 物体三维重建系统 研究者 C++, PCL, OpenGL, OpenCV 三维重建, 深度恢复,渲染 在该项目中我们开发了一个物体的三维重建系统,该系统读入同一个物体不同视角的图像,在计算机中建立出该物体的三维模型。该系统首先对该物体的点云信息进行提取,并把拍摄图像映射到点云中以得到模型的纹理,最终达到能对该模型在计算中进行实时的渲染与连续漫游的目的。在该项目中我负责主要算法的设计。 |
科研项目
![]() |
2009.10 -- 2011.09 [TVCG13] PoseShop: Human Image Database Cons. and Pers. Content Syn. 开发者 C++, OpenCV, OpenGL 图像检索,图像合成,海量数据处理
在该项目中我们对超过300,000张图像建立了一个基于人体动作的拥有层次性结构的图像数据库(使用了聚类等方法),并从用户输入的特定人体动作合成出高真实度的图像。在该项目中我负责层次性结构图像数据库和用户交互界面的相关代码的开发和调试工作。 |
![]() |
2010.09 -- 2011.05
[SIGA11] Interactive Hair Rendering and App. Editing under Envi. Lighting
主要开发者,研究者 C++, OpenGL, glsl, OpenCV 渲染
在该项目中我们建立了全局光照下交互式的毛发渲染框架。它包含渲染引擎的建立,复杂的着色器程序(shader),预计算用于快速积分的表和用户交互等核心渲染技术。它包含了deep opacity map(用于计算阴影和遮挡)和一些现有较好的毛发渲染方法的实现。在该项目中本人负责绝大部分的代码开发和调试工作。 |
![]() |
2011.03 -- 2011.06 [C&G12] Efficient Antialiased Edit Propagation for Images and Videos 独立开发者,主要研究者 C++, OpenCV 图像视频编辑 该项目的开发过程是对一个高真实度,实时的编辑传播方法的具体实现,它包含了整个编辑传播的算法和交互界面。本人负责所有代码的开发与调试工作。 |
![]() |
2011.09 -- 2013.02
[TVCG13 封面文章] Change Blindness Images
主要开发者,主要研究者 C++, OpenCV 数据分析,图像编辑
在该项目中,我们进行了相关实验的设计,用来收集很多实验者对于视觉盲视现象感受程度的数据,对这些数据用回归方法进行了分析,提出了第一个定量描述视觉盲视现象的计算准则。该定量准则可以进而指导进行可控难度的找茬图像的自动合成。在该项目中我负责大部分的代码开发工作。 |
![]() |
2011.10 -- 2012.05 [TOG13] A Prac. Algo. for Rendering Interrefl. with All-frequency BRDFs 开发者,研究者 C++, OpenGL, glsl, Cuda, OpenCV 渲染,并行计算
在该项目中我们建立了一个支持动态光照和材质的互反射效果渲染框架。它包含复杂的着色器(shader),层次性的场景表示,Cuda并行计算等核心技术。在该项目中我负责大部分的着色器代码的开发和调试工作。 |
![]() |
2012.09 -- 2013.05 [SIGA13] Inverse Image Editing 主要开发者,研究者 C++, OpenCV 图像编辑
在该项目中我们开发了一个系统,用来从编辑前后的图像对中恢复出编辑过程。它包含Patch-match, NRDC, alpha图像前景扣取, 图像补全和其他图像编辑方法的具体实现。我负责大部分的代码编写,调试和算法结果。 |
![]() |
2013.03 -- 2013.05 [C&G13] Effcient Manifold Pres. Edit Prop. with Adaptive Neighborhood Size 独立开发者,主要研究者 C++, OpenCV 图像视频编辑 该项目的开发过程是对一个高真实度,实时的编辑传播方法的具体实现,它包含了整个编辑传播的算法和交互界面。本人负责所有代码的开发与调试工作。 |
其他项目
除了上述项目之外,从2010年至今,我还参与了一些其他的合作项目,一些商业软件的开发,并编写了一些简单的游戏和实用的工具。