训练两种语言

### Describe the bug

我用VoxLingua107这个数据集训练的，训练了两种语言，然后我推理的时候为啥他总是只输出一种语言，另一种语言压根不输出呢


### Expected behaviour

我用VoxLingua107这个数据集训练的，训练了两种语言，然后我推理的时候为啥他总是只输出一种语言，另一种语言压根不输出呢

### To Reproduce

_No response_

### Environment Details

_No response_

### Relevant Log Output

```shell

```

### Additional Context

我用VoxLingua107这个数据集训练的，训练了两种语言，然后我推理的时候为啥他总是只输出一种语言，另一种语言压根不输出呢