電池は純粋な直流(DC電源)を供給するため、コンセント(AC電源)からの変換ノイズやグランドループによるハムなどが発生しにくい特徴があると思います。
あと電池は新品状態で測定すると9.6Vくらい出てる事が多いです。最近のパワーサプライは9.6Vくらい出るようにしてますが、昔のパワーサプライは9Vちょうどくらいを安定して出るようにしてあったりするので、この電圧差が音の良さだったりするかもしれません。
あとは電池ごとに音が違うみたいなマニアックな声も聞きますが、これは電池特有の特徴で抵抗成分による内部インピーダンスの違いがあるかもしれません。
結論としては違いはあって、電池のほうがノイズも少なく良い気もするが、最新のパワーサプライを使ってればそこまで違いは感じないという感じです。