锂电池充电，耳机有杂音，接地

自己做的一个板子，锂电池供电，给音频放大器使用，最后输出到耳机。当用手机充电器5V给锂电池边充电边使用时，在耳机中能听到“嘟嘟嘟嘟嘟嘟”，用手摸板子地就没问题了，这应该是接地问题，我的PCB板，电源部分的地和音频放大器的地完好的隔离开的（4层板），最后通过一个磁珠隔离。
请问谁知道怎么回事，怎么解决啊。

示波器测一下充电时锂电池两端的波形，应该是充电时纹波变大了

我的锂电池输出经过LDO稳压到1.8v，就算前端充电纹波大，后端输出应该也是可以的吧?