Алгоритм построения прогнозирующей модели (predictive model)
Некоторый поток сознания, чтобы разобраться.
Имеется некоторый набор количественных данных, от которых зависит качественный показатель (Хорошо, Плохо, Очень плохо и т.д.). Стоит задача построить прогнозирующую модель и проверить её на тестовых данных. Алгоритм вырисовывается следующий. 1. Из набора данных выделяем непересекающиеся данные для тренировки модели (train set), валидации (validation set) и тестирующие данные (test set). Самый большой блок из этого - train set. Validation set и test set примерно равны. 2. Строим пару-тройку приличных моделей, например, случайный решающий лес (Random Forest) и модель на базе опорных векторов (SVM) на тренировочных данных. На них же настраиваем модели. 3) Модели натравливаем на данные для валидации и выбираем одну модель, дающую меньше всего ошибок. 4) Проверяем выжившую аки Горец модель на тестовых данных. Строим матрицу неточностей (confusion matrix), графики, диаграммы и прочую ерунду. .... N) PROFIT! Замечания, предложения? |
а после обучения обязательно делать ещё 2 выборки (валидация и тестирование)?
|
Hogfather,
мне тоже эта тема интересна. Но я полный ноль. Разбираюсь. Цитата:
Добавлено через 2 минуты А можно я еще спрошу.. в МатЛабе, например, оцениваем GARCH модели. Там такая табличка с полученными оценками и последний столбец - t Statistic. Вот здесь, например http://www.mathworks.com/help/econ/f...e-returns.html Подскажите, пожалуйста, что это значит (столбец t Statistic). Или где можно почитать. |
Цитата:
Тренировка модели подразумевает идентификацию ее параметров (например, при использовании аппарата НС) на отобранном обучающем (тестовом) множестве. Это то, что Вы назвали calibration sample, думается мне. Валидация модели подразумевает проверку того, насколько (не)хорошо модель аппроксимирует validation sample. Добавлено через 8 минут Цитата:
Поэтому перед тем, как разбивать данные, я бы сначала построила грубую модель на всем множестве, и уже глядя на нее соображала бы, как разбить данные таким образом, чтобы ее не испортить. |
Цитата:
Цитата:
Цитата:
|
Hogfather,
спасибо. Нашла по вашей ссылке объяснение. |
Текущее время: 12:36. Часовой пояс GMT +3. |
Powered by vBulletin® Version 3.8.8
Copyright ©2000 - 2024, vBulletin Solutions, Inc. Перевод: zCarot
© 2001—2024, «Аспирантура. Портал аспирантов»