Джеймс Спенсер родился в Стокпорте, и мальчишкой пришел тренироваться именно в местный клуб - Стокпорт Каунти. Он прошел все уровни молодежных команд Стокпорта и в 2002 году в 16 лет дебютировал за основную команду в матче против Уотфорда (2-1 в пользу Стокпорта).

С того момента Спенсер регулярно защищал рамку ворот родного клуба, и слухи пророчили ему переход в Сандерленд и Вест Бромвич Альбион.

Но в сезоне 2006/07 Джеймс потерял место в основе и летом 2007 года подписал двухлетний контракт с Рочдейлом. Карьеру Спенсера в этом клубе (20 игр) прервала ужасная травма, а 9 апреля 2009 года Джеймс был отдан в срочную аренду в Честер Сити (основной вратарь Сити травмировался). Спенсер отыграл во всех пяти последних играх сезона, но так и не смог помочь Честеру сохранить прописку в Футбольной Лиге.

В Рочдейле же не захотели продлевать контракт с вратарем, и следующим клубом Джеймса стал Нортвич, где он провел два успешных сезона (66 игр). Впрочем, клубу пришлось отпустить Спенсера в 2011 году, чтобы разгрузить платежную ведомость. А летом того же года Джеймс перешел в Юнайтед оф Манчестер, где ему предстоит непростая задача – заменить многолетнего стража ворот ЮМ Сэма Аштона.