基于層間模型知識遷移的深度堆疊最小二乘分類器

摘要：經典的最小二乘分類器(least square classifier,LSC)由于其簡潔、有效性已早被廣泛應用于圖像識別、語音識別等領域.然而,利用原始數據特征構建的最小二乘分類器,其泛化性能往往較差.為解決上述問題,提出了基于深度堆疊泛化和遷移學習機制的深度遷移最小二乘分類器(deep transfer least square classifier,DTLSC).首先,基于堆疊泛化原理,利用LSC模型作為基本堆疊單元構建深度堆疊網絡,避免了傳統深度網絡中需要求解非凸優化的問題,提升模型分類性能的同時提高了網絡計算效率.其次,基于遷移學習機制,利用前層單元中的模型知識輔助當前層的模型構建,盡可能保持了層間模型的一致性,提升了模型泛化性能.在此基礎上,引入自適應遷移策略,有選擇地利用前層模型知識,緩解了利用前層不相關模型知識而導致的負遷移效應.在人造數據集及真實數據集上,實驗結果驗證了所提DTLSC算法的有效性.