高维缺失数据半监督支持向量机研究

With the rapid development of Internet, computer technology and other emerging technologies, people begin to go into the era of big data with larger scale and more complex structure. Therefore, how to reduce the dimension of variables, effectively deal with missing data, reduce the complexity of the problem and design fast and effective algorithm has become an important and urgent problem in data analysis and data mining. Traditional support vector machine algorithm has good performance in solving small sample, nonlinear, high-dimensional data and other problems, but it is difficult to complete efficient and fast solution in the face of high-dimensional missing data. Support tensor machine is an improved model of support vector machine, although it can maintain the spatial structure information of data and effectively alleviate the over fitting problem caused by small samples, the improved results of tensor quantization of support vector machine are relatively few, especially the semi-supervised learning algorithm based on tensor representation for high-dimensional missing data. Therefore, this project will apply the online algorithm under supervised learning to the research of high-dimensional missing data semi supervised support vector machine, and design a new effective fast algorithm and its tensor form based on the existing optimization algorithm research results. At the same time, we will carry out application research and expansion research on the related algorithms in tourism big data, health care big data and other aspects.

随着互联网、计算机技术和其他新兴技术的飞速发展，人们开始步入规模越来越大、结构越来越复杂的大数据时代。因此，在进行数据分析和数据挖掘时，如何降低变量的维数、有效处理缺失数据、降低问题的复杂程度和设计快速有效算法越来越成为一个重要且迫切解决的问题。传统的支持向量机算法在解决小样本、非线性、高维数据等问题时具有较好的性能，但是面对高维缺失数据时很难完成高效快速求解。而支持张量机是支持向量机的改进模型，虽然可以保持数据的空间结构信息、有效缓解小样本造成的过拟合问题，但是支持向量机的张量化改进成果相对较少，尤其是基于张量表示针对高维缺失数据的半监督学习算法研究更加缺乏。因此，本项目将对监督学习下的在线算法推广应用于高维缺失数据半监督支持向量机研究，并在已有优化算法研究成果基础上设计新的有效快速算法及其张量形式的推广，同时将相关算法在旅游大数据、健康医疗大数据等方面开展应用研究和拓展性研究。

面对高维数据分析时，如何降低变量的维数、有效处理缺失数据、降低问题的复杂程度和设计快速有效算法及其应用已成为统计学、机器学习领域的重要研究方向之一。本研究针对传统的支持向量机算法在解决小样本、非线性、高维数据等问题时具有较好的性能，但是面对高维缺失数据时很难完成高效快速求解的问题，项目负责人与研究团队利用机器学习方法开展了系列研究。主要工作包括：一是本项目将半监督支持向量机方法与已有粒子群算法、自回归模型等相结合提出了新的组合模型并应用于税收大数据预测问题；二是在基于张量理论，在响应变量服从指数族分布时构造了广义线性张量回归模型，并利用贝叶斯方法估计参数进行了系统研究；同时，在高斯分布时针对广义线性张量回归模型利用交替方向法进行了数值试验并应用于实际电商平台大数据；三是针对图像去噪、图像恢复等问题中的分裂可行问题，提出了新的迭代算法并在较弱的条件下证明了算法的强收敛性；四是针对经济高质量发展、碳排放等实际问题，通过构建空间面板数据模型等进行了实际应用研究；五是参加全国首届统计学、数据科学与大数据技术专业教师数据科学暑期研修班，系统学习了数据科学、机器学习等课程。项目执行期间，项目负责人在Filomat、IJERPH、Sustainability等期刊发表学术论文3篇，正在审稿2篇。