Алгоритм построения прогнозирующей модели (predictive model)

[Hogfather]

Некоторый поток сознания, чтобы разобраться.

Имеется некоторый набор количественных данных, от которых зависит качественный показатель (Хорошо, Плохо, Очень плохо и т.д.). Стоит задача построить прогнозирующую модель и проверить её на тестовых данных.
Алгоритм вырисовывается следующий.
1. Из набора данных выделяем непересекающиеся данные для тренировки модели (train set), валидации (validation set) и тестирующие данные (test set). Самый большой блок из этого - train set. Validation set и test set примерно равны.
2. Строим пару-тройку приличных моделей, например, случайный решающий лес (Random Forest) и модель на базе опорных векторов (SVM) на тренировочных данных. На них же настраиваем модели.
3) Модели натравливаем на данные для валидации и выбираем одну модель, дающую меньше всего ошибок.
4) Проверяем выжившую аки Горец модель на тестовых данных. Строим матрицу неточностей (confusion matrix), графики, диаграммы и прочую ерунду.
....
N) PROFIT!

Замечания, предложения?

[sum]

а после обучения обязательно делать ещё 2 выборки (валидация и тестирование)?

[Uzanka]

Hogfather,
мне тоже эта тема интересна. Но я полный ноль. Разбираюсь.

Из набора данных выделяем непересекающиеся данные для тренировки модели (train set), валидации (validation set) и тестирующие данные (test set). Самый большой блок из этого - train set. Validation set и test set примерно равны.
Вот здесь вопрос. Я обычно в статьях (финансовые модели) читаю разделение на 2 множества: calibration sample and validation sample (часть данных, на которых оцениваем параметры и часть данных, на которых потом проверяем модель).

Добавлено через 2 минуты
А можно я еще спрошу.. в МатЛабе, например, оцениваем GARCH модели. Там такая табличка с полученными оценками и последний столбец - t Statistic. Вот здесь, например
http://www.mathworks.com/help/econ/fit-conditional-variance-model-to-foreign-exchange-returns.html

Подскажите, пожалуйста, что это значит (столбец t Statistic). Или где можно почитать.

[Вляпалась...]

Hogfather,
мне тоже эта тема интересна. Но я полный ноль. Разбираюсь.


Вот здесь вопрос. Я обычно в статьях (финансовые модели) читаю разделение на 2 множества: calibration sample and validation sample (часть данных, на которых оцениваем параметры и часть данных, на которых потом проверяем модель).

(маленькая девочка попробует написать несколько слов)

Тренировка модели подразумевает идентификацию ее параметров (например, при использовании аппарата НС) на отобранном обучающем (тестовом) множестве. Это то, что Вы назвали calibration sample, думается мне.

Валидация модели подразумевает проверку того, насколько (не)хорошо модель аппроксимирует validation sample.

Добавлено через 8 минут

1. Из набора данных выделяем непересекающиеся данные для тренировки модели (train set), валидации (validation set) и тестирующие данные (test set). Самый большой блок из этого - train set. Validation set и test set примерно равны.

Корректное разбиение всего множества данных на непересекающиеся подмножества есть на самом деле наибольшая проблема во всем этом деле. В случае временных рядов всегда есть риск "разрубить" данные с потерей (еще неизвестной) зависимости.

Поэтому перед тем, как разбивать данные, я бы сначала построила грубую модель на всем множестве, и уже глядя на нее соображала бы, как разбить данные таким образом, чтобы ее не испортить.

[Hogfather]

Подскажите, пожалуйста, что это значит (столбец t Statistic). Или где можно почитать.
Я начинал было писать тут http://www.aspirantura.spb.ru/forum/showpost.php?p=295518&postcount=12 но на что-то отвлекся. Постараюсь членораздельно изложить в воскресенье.

В случае временных рядов всегда есть риск "разрубить" данные с потерей (еще неизвестной) зависимости.
С временными рядами отдельная история. Не о них сейчас речь.

а после обучения обязательно делать ещё 2 выборки (валидация и тестирование)?
http://research.cs.tamu.edu/prism/lectures/iss/iss_l13.pdf

[Uzanka]

Hogfather,
спасибо. Нашла по вашей ссылке объяснение.