1.概述

WSOLA 能够保持输入信号中最显著的周期性，即基频，见WSOLA原理及仿真.。提高 TSM 信号质量的下一步是保留所有信号分量的周期性。 这是频域 TSM 程序的主要思想，它将每个分析帧解释为具有已知频率和相位的正弦分量的加权和。 基于这些参数，这些组件中的每一个都被单独处理，以避免在重建信号中的所有频率上出现相位跳跃。
输入信号频率分析的基本工具是短时傅立叶变换。然而，根据所选的离散化参数，结果频率估计可能不准确。 为此，相位声码器（虽然术语“相位声码器”指的是一种用于估计瞬时频率的特定技术，但它在文献中也经常用作 TSM 程序本身的名称）技术用于通过导出正弦分量的瞬时频率来改进短时傅立叶变换的粗略频率估计。 在基于相位声码器 (PV-TSM) 的 TSM 程序中，这些改进的估计用于在相位传播的过程中更新输入信号的正弦分量的相位。

2.短时傅里叶变换STFT

PV-TSM 最重要的工具是短时傅里叶变换 (STFT)，它将傅里叶变换应用于给定输入信号的每个分析帧。 信号 x 的 STFT X 由下式给出

X(m,k) = ${\sum }_{-N/2}^{N/2}{x}_m(x)w(r)exp(-2\pi ikr/N)$ （1）

其中 m ∈ Z 是帧索引，k ∈ [0 : N − 1] 是频率索引，N 是帧长度，xm 是等式 (1) 中定义的 x 的第 m 个分析帧，w 是一个窗口函数。 给定输入信号的采样率 Fs，X(m, k) 的帧索引 m 与物理时间相关联

$T_{coef}(m)=\frac{m{H}_a}{F_s}$ （2）

上式以秒为单位，频率索引 k 对应于物理频率

$F_{coef}(k)=\frac{k{F}_s}{N}$ （3）

上式以 Hz 为单位。 复数 X(m, k)，也称为时频仓，表示第 m 个分析帧的第 k 个傅立叶系数。它可以用幅度 |X(m, k)| ∈ R+ 和相位 ϕ(m, k) ∈ [0, 1) 表示为

$X(m,k)=丨X(m,k)丨exp(2\pi i\phi (m,k))$ （4）

STFT X 的幅度也称为频谱图，用 Y 表示 ：

$Y=丨X丨$ （5）

在 PV-TSM 的背景下，有必要从修改后的 STFT $X^{Mod}$重建输出信号 y。 请注意，修改后的 STFT 通常是不可逆的。 换句话说，可能不存在信号 y 将 $X^{Mod}$ 作为其 STFT。 然而，存在旨在从 $X^{Mod}$ 重建信号 y 的方法，其 STFT 就某些距离度量而言接近 $X^{Mod}$。 我们首先使用傅立叶变换逆变换计算时域帧 $X_m^{Mod}$

$X_m^{Mod}(r)=\frac{1}{N}{\sum }_{k=0}^{N-1}{X}^{Mod}(m,k)exp(2\pi ikr/N)$ （6）

从这些帧中，我们得出合成帧

$y_m(r)=\frac{w(r)x_m^{Mod}(r)}{{\sum }_{n\in Z}w(r-n{H}_s{)}^2}$ （7）

并通过等式 (8) 重构输出信号 y。 可以看出，当通过等式（7）计算合成帧时，y 的 STFT（选择 $H_a$ = $H_s$ 时）可以将平方误差距离最小化。

$y(r)={\sum }_{m\in Z}{y}_m(r-m{H}_s)$ （8）

3.相位声码器

STFT 的每个时频区间 X(m, k) 可以解释为对于输入信号 x 的第 m 个分析帧，幅度为 |X(m, k)| ，相位为 ϕ(m, k) 的正弦分量。 然而，傅立叶变换只是在频率轴上线性采样产生一组离散频率系数，参见等式 (3)。 因此，STFT 的频率分辨率不足以为该正弦分量分配精确的频率值。 相位声码器是一种通过利用给定的相位信息来细化 STFT 的粗略频率估计的技术。（会发生相位跳跃）

为了理解相位声码器，让我们看一下图 8 中所示的场景。假设我们当时给出了两个相位估计 ϕ1 = ϕ(m, k) 和 ϕ2 = ϕ(m + 1, k)，是由时间实例 t1 = Tcoef(m) 和 t2 = Tcoef(m + 1) 的正弦分量中给出的，这个正弦分量中我们只有粗略的频率估计 ω = Fcoef(k)。我们的目标是估计正弦曲线的“真实”瞬时频率 IF(ω)。图 8 显示了这个正弦分量（灰色）以及两个频率为 ω（红色和绿色）的正弦曲线。此外，我们还看到时间实例 t1 和 t2 的相位表示。红色正弦曲线在 t1 处的相位为 ϕ1，绿色正弦曲线在 t2 处的相位为 ϕ2。可以看到，红色和绿色正弦波的频率 ω 略低于灰色正弦波的频率。直观地说，虽然灰色和红色正弦曲线的相位在 t1 处匹配，但它们随着时间的推移而发散，我们可以在 ∆t = t2 − t1 秒（蓝色椭圆）后观察到相当大的差异。由于我们知道红色正弦曲线的频率，我们可以计算其展开的相位超前，即在 ∆t 秒的过程中发生的振荡次数：

$w\Delta t$ （9）

知道它在 t1 的相位是 ϕ1，我们可以预测它在 ∆t 秒后的相位：

${\phi }^{Pred}={\phi }_i+w\Delta t$ （10）

在 t2 处，我们再次获得了灰色正弦曲线的精确相位估计 ϕ2。 因此，当假设频率为 ω 时，我们可以计算在 t2 处实际测量的相位与预测相位之间的相位误差 ϕ Err（也称为外差相位增量）：

${\phi }^{Err}=\Phi ({\phi }_2-{\phi }^{Pred})$ （11）

其中 Ψ 是将给定相位映射到 [−0.5, 0.5] 范围内的主要参数函数。 请注意，通过将 ϕ Err 映射到该范围，我们假设灰色和红色正弦曲线的振荡次数最多相差半个周期。 在瞬时频率估计的情况下，这意味着粗略的频率估计 ω 需要接近正弦波的实际频率，并且间隔 Δt 应该很小。 然后，可以通过频率为 ω（红色螺旋箭头）的红色正弦曲线的展开相位超前与相位误差（蓝色弯曲箭头）之和来计算灰色正弦曲线的展开相位超前：

$w\Delta t+{\phi }^{Err}$ （12）

这给了我们在 ∆t 秒过程中灰色正弦曲线的振荡次数。 由此我们可以推导出灰色正弦曲线的瞬时频率为

$IF(w)=\frac{w\Delta t+{\phi }^{Err}}{\Delta t}=w+\frac{{\phi }^{Err}}{\Delta t}$ （13）

频率 ϕ Err / ∆t 可以解释为灰色正弦实际频率与粗略频率估计 ω 的小偏移。
我们可以使用这种方法，通过计算对于所有时频箱 X(m, k) 的瞬时频率估计 $F_{coef}^{IF}(m,k)$ 来细化 STFT 的粗略频率分辨率：

$F_{coef}^{IF}(m,k)=IF(w)=w+\frac{\Phi ({\phi }_2-(w\Delta t))}{\Delta t}$ （14）

其中 ω = $F_{coef}$(k)，∆t = Ha / Fs（以秒为单位给出的分析跳跃大小），ϕ1 = ϕ(m, k)，ϕ2 = ϕ(m + 1, k)。

4.PV-TSM

PV-TSM 的原理如下图所示。给定输入音频信号 x，PV-TSM 的第一步是计算 STFT X。下图 a 描绘了第 m 个和第 (m + 1) 个两个分析帧的连续频谱，分别用 X(m) 和 X(m + 1) 表示（这里，一个帧的傅立叶频谱被可视化为一组正弦曲线，代表在时间-频率仓中捕获的正弦分量）。我们的目标是用调整相位 ${\varphi }^{Mod}$ 计算修改后的 STFT $X^{Mod}$，我们可以从中重建时域修正信号而没有相位跳跃：

${\phi }^{Mod}(m+1,k)={\phi }^{Mod}(m,k)+F_{coef}^{IF}(m,k)\frac{H_s}{F_s}$ （15）

对于 k ∈ [0 : N − 1]。 假设瞬时频率 $F_{coef}^{IF}$ 的估计是正确的，当以 Hs 间隔重叠修改后的频谱时，不再有相位跳跃（图c）。 在实践中，我们以帧索引 m = 0 开始迭代相位传播并设置

${\phi }^{Mod}(0,k)=\phi (0,k)$ （16）

对于所有 k ∈ [0 : N − 1]。 最后，可以使用第 2 节中描述的信号重建程序计算输出信号 y（图d）

基于相位声码器 (PV-TSM) 的 TSM 原理
(a) STFT X（时频箱由正弦曲线可视化）；
(b) 在合成间隔 Hs（蓝色椭圆）处重叠帧时，使用 X(m + 1, k) 的原始相位会导致相位跳跃；
$(c)$ 通过相位传播更新正弦波的相位。 相位跳跃从而减少（蓝色椭圆形）；
(d) 来自修改后的 STFT $X^{Mod}$ 的信号重建，转换为时域

参考文献

5.matlab仿真

matlab仿真