Designing Sound

The Audiovisual Contract
Seeing and hearing at the same time produces a different, holistic effect, than
either sense alone. Taking this simplification of correspondence further, Breg-
man’s (1990) findings on constructive narrative are rephrased by Chion (1994)
as a deliberate suspension of separation. The audio-spectator “agrees to for-
get that sound is coming from loudspeakers and picture from the screen.”
This fusion of senses, called multi-modal integration, is central to sound design
because it allows us great flexibility with both sonic and visual objects so long
as a plausible synchronisation and object-sound mechanism exists. This can be
stretched so far as to work perfectly well when one of the elements is merely a
metaphor, thus opening immense possibilities to creative sound design.
Absence
In the case notes of famous psychiatrist Oliver Sacks there’s a story about a man
who lived close to a railway line. He complained of waking every night with a
jump at exactly the same time, as if hearing a loud sound. Microphones placed
in the bedroom recorded no sounds and psychoanalysis yielded no explanation.
Eventually, further investigation revealed that for twenty years a late freight

---

98
Psychoacoustics
train had passed the house at exactly the same time each night while he slept,
but had recently stopped. The patient, subconsciously familiar and attuned
to the passing train, was responding to the train
not
passing the house. Look
at a line of fence posts or the teeth in a person’s smile where one is missing.
The absent thing stands out. This reversal of ground and form is common in
psychology; we notice difference, even when that difference is absence. With
sound, a missing pulse in a regular stream or a missing harmonic in an other-
wise regular series can stand out. We actually hear the thing that’s not there.
The
Duifhuis effect
happens when you slow down a periodic waveform with a
missing harmonic to a low frequency. The missing harmonic is heard explic-
itly (and often mistaken for aliasing). This effect can be explained in terms of
Fourier construction and physioacoustic stimulation of the basilar membrane
(Hartmann and Lin 1977). I will not attempt to explain it here, but it’s worth
remembering that some features or annoying artifacts in a sound cannot be
traced by looking for what is there so much as what
should be
there.