非线性系统理论（汉语拼音：Fei xian xing xi tong li lun；英语：nonlinear systems theory），自动控制理论中，研究非线性系统的运动规律和分析方法的一个分支学科。非线性系统最重要的问题之一就是确定模型的结构，如果对系统的运动有足够的知识，则可以按照系统运动规律给出它的数据模型。一般来说，这样的模型是由非线性微分方程和非线性差分方程给出的，对这类模型的辨别可以采用线性化，展开成特殊函数等方法。非线性系统理论的研究对象是非线性现象，它反映出非线性系统运动本质的一类现象，不能采用线性系统的理论来解释，主要原因是非线性现象有频率对振幅的依赖性、多值响应和跳跃谐振、分谐波振荡、自激振荡、频率插足、异步抑制、分岔和混沌等。