Designing Sound

Cross-modal Perception
Recent discoveries are challenging the established idea of well-separated facul-
ties (in the sense of Fodor 1983). Researchers (Wang and Barone 2008) have
noticed that the visual cortex may be involved in sound processing, partic-
ularly in multi-sensory input. Moving objects in the peripheral visual field
corresponding to sounds may affect enhanced auditory perception; and like-
wise, accompanying sounds may enhance or produce visual sensations. This is
not the same as the often debilitating phenomenon of synesthesia, but may be
related. In other experiments (Jousmaki and Hari 2006) connections between
sound and touch have been established such that feeling can be influenced by
sounds played at the same time. In other work (Schurmann et al. 2004) it has
been shown that vibrations received through the hands or feet can influence
the perception of loudness. These discoveries have interesting implications for
film sound designers and game developers using force feedback devices.
SECTION 6.7
Sound, Language, and Knowledge
Captain Jack stood on the deck of the Black Crow, a slight summer
breeze wafted bubbles of drunken laughter from the saloon of the
Eyepatch and Stump, and echos of shrieking seagulls haunted the
cobbles of the old dockside . . . Yaaar!
Imagining Sound
Imagine yourself in a pirate film set in days of yore. On the quayside, watch-
ing Captain Jack’s ship roll in to the harbour, you can hear the mumble and
chatter of voices, the breeze in the rigging of ships, dogs barking in the streets.
These are the same sounds our ancestors have been hearing for thousands of
years; they have a firm basis in the physics and biology of our lives. When we
use “sound words” to evoke a scene we deal with a powerful emotional device.
Hearing is one of earliest developmental senses, as we listen even in the womb,
and like smells (the olfactory senses), they invoke activity in deep and primal