Интернет в последнее время наполнен подобного рода новостями. Медицинские системы, на основе искусственного интеллекта диагностируют рак и заболевания сердца. Могут предсказать, заболеете ли какой-либо хворью, когда и симптомов-то нет. Банки пересматривают свои политики и выдают кредиты на основе собранных о вас данных в автоматизированном режиме. Производство экономит миллионы на перераспределении ресурсов и оптимизации кадровой политики предприятий, вводя роботизированные системы, взамен живых людей.

Что это? Новая веха в истории развития общества, очередная техническая революция? Называйте, как хотите, но факт остается фактом: данных стало очень много и будет еще больше, и нужны новые механизмы для их обработки. Об этом и будет данная статья.

Давай те разберемся, что значит много? Много значит то, что имеющиеся технические системы не успевают в режиме онлайн их все обрабатывать, хранить, перераспределять и классифицировать. Кроме всего идет неукоснительный рост этихсамих данных. Что же делать, как справиться со всей этой надвигающейся лавиной?

Оказывается, выход есть и заключается он в принципиально-новом подходе работе с данными: параллельная обработка данных. Данная технология получила бурное развитие благодаря успехам в области вычислительных систем. Была предложено производить все вычисления на GPU (Graphical Processing Unit) - видеокартах. Это позволило распараллелить имеющиеся алгоритмы, на множество отдельных задач, тем самым сократив время обработки данных. Более того, позволило производить высокоточную выборку из имеющихся данных, а не обрабатывать их все, как это было до появления GPU.

Конечно, развитие архитектуры GPU потребовало усовершенствования алгоритмов управления такими устройствами. Были созданы и расширены новые методики программирования: параллельное, многопоточное и вероятностное программирование, теория случайных графов и методы машинного обучения. Системы для хранения и обработки больших массивов данных: реляционные базы данных, Hadoop и OLAP системы.