caneton,
Вы бы свой уровнь обозначили, а то так сложно посоветовать. Если Вы инженер - это одно дело, а если какой-нибудь экономист или политолог - другое
По себе скажу, что лучшей парой учебников по случайным процессам (в том числе и их отрогональным разложениям) выбираю Булинского-Ширяева "Теория случайных процессов" и Венцель "Теория случайных процессов и ее инженерные приложения". И то и другое можно найти на poiskknig.ru (хотя рекомендую купить эти учебники). Первый учебник математически строгий, но, вместе с тем, практически-направленный. Теорема - задача, использующая теорему. Там же есть выжимка из других необходимых разделов математики. Вообще, стиль напоминает классический учебник Ширяева "Вероятность", таже строгость и математический стиль изложения, но более ярко выраженная практическая направленность. Книга Венцель - классический труд для инженеров. Если Булинский покажется сложным, то можно начать с нее.
По поводу остальных учебников. По линейной алгебре мне нравится учебник Ильина. По матанализу больше предпочитаю книги серии "Математика в техническом университете" издательства МГТУ им. Баумана. Да, для адекватного усвоения (на уровне ФРТК МФТИ) ортогональных разложений случайных процессов помимо матанализа подребуется еще и функциональный анализ. Тут я бы посоветовал пару Пугачев - Колмогоров. Пугачев немного перегружен, по-моему, зато для инженеров самое то. Колмогоров же наоборот, через чур лаконичен, додумывать инженеру придется слишком много.
Еще следует понимать для чего Вы хотите это все "поднять". Если Вам нужно решить практическую инженерную задачу, и Вы хотите для этого "въехать" в фундаментальные ее основы, то, наврное, эта инициатива не принесет удовлетворения, ведь нельзя "по дороге в баню отвлекаться на поездку в Сочи". Начав все это изучать, Вы прочно засядете на несколько, в лучшем случае, месяцев. Ежели Вы просто хотите получше разобраться в предмете и готовы потратить на это значительное время, тогда, конечно, как говорится "флаг в руки" и это себя слихвой окупит.
Но в любом случае, заслуживающая уважения инициатива!