语音识别系统可以根据对输入语音的限制加以分类，如果从说话者与识别系统的相关性考虑，可以将识别系统分成三类：特定人语音识别系统，仅考虑对于专人的话音进行识别；非特定人语音系统：识别的语音与人无关，通常要用大量不同人的语音数据库对识别系统进行学习；多人的识别系统：通常能识别一组人的语音，或者成为特定组语音识别系统，该系统仅要求对要识别的那组人的语音进行训练。