语音是当前人机交互的重要途径。除了语义内容外，语音更是通过语调、声音强弱等传递了丰富的情感信息。识别语音的情感、做出合适的反应对实现自然的人机交互至关重要。近年来随着心理学、生理学、计算机科学的发展，语音情感识别已经取得了长足的进步，但是，仍面临着许多挑战，包括高质量大规模数据集的采集、不同研究工作的比较、具有情感区分力的特征提取、与其他信道信息融合等等。 本文在统一的数据集和说话者无关的实验设置上，搭建了语音情感识别系统。尤其深入探讨了其前端——语音情感特征提取，对不同的方法（统计函数、语音码本、高斯超向量、i-Vector）进行了对比分析。并利用深度学习框架（卷积神经网络、递归神经网络）直接从原始语音信号中直接提取出有区分性特征进行分类，打破了前端和后端的不相关性。最后，通过融合语音中的语义成分，对系统做出了进一步的改善。 本文提出的方法具有较好的实用效果和发展空间，为今后的语音情感研究奠定了良好的基础。