因此，汉语音节结构可以简化为声母+韵母，汉语中共有个无调音节，大约个有调音节。 声学建模单元的选择可以采用多种方案，比如采用音节建模、音素建模或者声韵母建模等。汉语普通话比较合适采用声韵母进行声学建模，因为不存在冗余，所以不同音节之间可以共享声韵母信息，如和均有韵母。这种建模单元方案可以充分利用训练数据，使得训练出来的声学模型更加稳健。如果训练数据足够多，则建议采用带声调的声韵母作为声学模型的建模单元。对于英文来讲，因为没有声调，可以采用音素单元来建模。
为了表述方便，很多文献也常常把普通话的声韵母 尼日利亚电话号码 归为音素级别。 素的发音产生影响，使当前音素的声学信号发生协同变化，这与该音素的单独发音有所不同。单音素建模没有考虑这种协同发音效应，为了考虑该影响，实际操作中需要使用上下文相关的音素（也被称为三音子作为基本单元进行声学建模，即考虑当前音素的前个音素和后个音素，使得模型描述更加精准。 对三音子进行精细建模需要大量的训练数据，而实际上对于某些三音子而言数据很难获得，同时精细建模导致模型建模单元数量巨大，例如，音素表有个音素，则需要的三音子总数为:=，模型参数显然急剧增加。
因此，严格意义上的三音子精细建模不太现实，往往通过状态绑定策略来减小建模单元数目，典型的绑定方法有模型绑定、决策树聚下面将着重介绍三类声学模型，包括基于-的声学模型、基于-的声学模型以及端到端模型。 基于-的声学模型是种统计分析模型，它是在马尔可夫链的基础上发展起来的，用来描述双重随机过程。的理论基础在年前后由等人建立，随后由的和的等人应用到语音识别中，..和.等人进步推动了的应用和发展。有算法成熟、效率高、易于训练等优点，自世纪年代开始，被广泛应用于语音识别、手写字识别和天气预报等多个领域，目前仍然是语音识别中的主流技术。