Помогите подобрать прогу для анализа
Добрый день!
Нужно мнение компетентных людей - какой софт лучше подходит для анализа данных. Данные представлены в виде сотни текстовых файлов, в каждом из которых десяток тысяч строк вида: 1.2.2013 12:12 1234 1234 234 23423 (т.е. дата, время, четыре числа). Спасибо. |
Diesel, Как вариант, SQLite + GNU R
Вопрос в том, что Вы не поставили задачу. Первым этапом, до анализа, является, насколько я понимаю, агрегация сотни текстовых файлов с десятком тысяч строк в каждом в одну таблицу, в которой добавится колонка "Источник". Это делается элементарно с помощью любого скрипта, язык не важен: perl, python, vbscript, etc. Такой объем лучше загнать в какую нибудь базу данных, например, SQLite. Это делается в том же скрипте. Последующая обработка возможна в R. Если используете специализированный пакет, то можно сформировать сперва один файл CSV также скриптом, а потом закачать в пакет. Где-то так. |
Спасибо за совет! :)
Да, Вы правы, видимо первым делом нужно загнать все данные в БД. |
Цитата:
Какого рода анализ нужен? |
Добрый день!
Опишу в кратце иеющиеся данные. В моём распоряжении есть пара тысяч текстовых файлов, в каждом из которых десяток тысяч строк вида: 1.2.2013 12:12 1234 1234 234 23423 (т.е. дата, время, четыре числа). В файлах содержится статистическая информация о работе некого сложного технического устройства. Один файл - это статистика работы одного устройства за период в несколько лет с интервалом в несколько минут. Сейчас я провёл анализ данных десятка файлов. Определил несколько интересных закономерностей, для описания которых создал мат.модель. Однако в ручную обработать более 2 000 файлов - процесс долгий, т.е. нужна автоматизация. Плюс есть множество идей по выявлению других закономерностей :) Анализ нужно проводить как по каждому отдельному файлу, т.к. и по группе файлов. P.S. Если использовать БД, то придется обращаться к помощи знакомых программистов. Я с БД почти не работал, хотя навыки программирования есть, правда, в Паскале, да и давно это было... |
Diesel, если Вас устраивает R, то готов помочь со скриптом в соответствующей теме. В чем Вы делали матмодель?
|
Diesel,
Вам уже посоветовали хороший статистический продукт - R. Научитесь им пользоваться. На курсейре полно курсов по нему. Вот в этом курсе - Computing for Data Analysis - как раз вас научат как вытащить нужную информацию из текстовых файлов вашего вида. Там покажут, расскажут и напишут небольшой код для такого вида задач. Только курс стартует с сентября. зы. всё бесплатно.. курсы, сам статистический пакет R . Только учитесь работать с ним. Очень полезная вещь для обработки статистики. Добавлено через 2 минуты в общем, слушайте Hogfather. Он плохого не посоветует :drink: Добавлено через 14 минут Кстати, сейчас вспомнила, что по курсу Computing for Data Analysis преподаватель выкладывал часть видео-лекций в YouTube. Поищите. Про скрипт как вытаскивать информацию из файлов он говорил где-то в 3-ей или 4-ой неделе. Преподаватель китайской наружности. |
Собственно, пример на R. Если устраивает, пользуйтесь.
|
Цитата:
Цитата:
Цитата:
|
Текущее время: 18:48. Часовой пояс GMT +3. |
Powered by vBulletin® Version 3.8.8
Copyright ©2000 - 2024, vBulletin Solutions, Inc. Перевод: zCarot
© 2001—2024, «Аспирантура. Портал аспирантов»