PROBLEMS IN PROGRAMMING
Not a member yet
761 research outputs found
Sort by
Що таке Big Data
The article attempts to uncover the essence of the concept of Big Data based on the analysis of materials from various sources. Defining characteristics of Big Data are given, their classification is given, a brief description of the origin and development is presented, the basic principles of operation are presented, methods and technologies for analysis and visualization are outlined, the life cycle of data management using Big Data technology is described.Problems in programming 2019; 3: 86-100 В статье делается попытка раскрытия сути понятия Big Data на основе анализа материалов из различных источников. Даются определяющие характеристики Big Data, приводится их классификация, кратко описывается история возникновения и развития, представлены основополагающие принципы работы, кратко излагаются методы и технологии анализа и визуализации, описывается жизненный цикл управления данными с использованием технологии Big Data.Problems in programming 2019; 3: 86-100У статті робиться спроба розкриття суті поняття Big Data на основі аналізу матеріалів з різних джерел. Даються визначальні характеристики Big Data, наводиться їх класифікація, коротко описується історія виникнення та розвитку, представлені основоположні принципи роботи, коротко викладаються методи і технології аналізу та візуалізації, описується життєвий цикл управління даними з використанням технології Big Data. Problems in programming 2019; 3: 86-10
Розробка сервісно-орієнтованих засобів для запуску паралельних програм на мультипроцесорному кластері
Запропоновано підхід до проектування та генерації Grid-сервісів для платформи Globus Toolkit на ос-нові використання алгеброалгоритмічного інструментарію. Розроблено архітектуру та виконано про-грамну реалізацію Grid-сервісу, що виконує запуск паралельних програм на мультипроцесорному клас-тері. Розроблений Grid-сервіс застосовано для автоматизації запуску паралельної програми з області метеорологічного прогнозування.Problems in programming 2019; 1: 03-1
Аналітика великих даних: принципи, напрямки і задачі (огляд)
We review directions (avenues) of Big Data analysis and their practical meaning as well as problems and tasks in this field. Big Data Analytics appears a dominant trend in development of modern information technologies for management and planning in business. A few examples of real applications of Big Data are briefly outlined. Analysis of Big Data is aimed to extract useful sense from raw data collection. Big Data and Big Analytics have evolved as computer society’s response to the challenges raised by rapid grows in data volumes, variety, heterogeneity, velocity and veracity. Big Data Analytics may be seen as today’s phase of researches and developments known under names ‘Data Mining’, ‘Knowledge Discovery in Data’, ‘intelligent data analysis’ etc. We suggest that there exist three modes of large-scale usage of Big Data: 1) ‘intelligent information retrieval; 2) massive “intermediate” data processing (concentration, mining), which may be performed during one or two scanning; 3) model inference from data; 4) knowledge discovery in data. Stages in data analysis cycle are outlined. Because of Big Data are raw, distributed, unstructured, heterogeneous and disaggregated (vertically splitted), this data should be prepared for deep analysis. Data preparation may comprise such jobs as data retrieval, access, filtering, cleaning, aggregation, integration, dimensionality reduction, reformatting etc. There are several classes of typical data analysis problems (tasks), including: cases grouping (clustering), predictive model inference (regression, classification, recognition etc.), generative model inference, extracting structures and regularities from data. Distinction between model inference and knowledge discovery is elucidated. We give some suggestion why ‘deep learning’ (one of the most attractive topic by now) is so successive and popular. One of drawbacks of traditional models is they disability to make prediction under incomplete list of predictors (when some predictors are missed) or under augmented list of predictors. One may overcome this drawback using causal model. Causal networks are illuminated in the survey as attractive in that they appear to be expressive generative models and (simultaneously) predictive models in strict sense. This means they pretend to explain how the object at hand is acting (provided they are adequate). Being adequate, causal network facilitates predicting causal effect of local intervention on the object.Methods used in Big Data Analytics will be reviewed in the next paper. Освещены основные направления, задачи и типы результатов анализа больших (компьютеризованных) данных. Показано практическое значение больших данных и большой аналитики как фундамента создания новых компьютерных технологий планирования и управления в бизнесе. Выделены специфичные для больших данных режимы использования данных (или роды заданий анализа): «интеллектуальный» поиск нужной информации; массированная переработка («отработка») данных; индукция модели объекта (среды); экстракция знаний из данных (открытие структур и закономерностей). Очерчено этапы и организацию цикла работ по анализу данных. К типовым классам задач большой аналитики относятся: группирование случаев (кластеризация); вывод целе-определенных моделей (классификация, регрессия, распознавание); вывод генеративных моделей; выявление структур і закономерностей. Охарактеризовано особенности «глубокого обучения» и факторы его популярности. Выделены каузальные сети как класс моделей, которые объединяют в себе преимущества генеративных, целе-определенных и многоцелевых моделей и отличаются тем, что пригодны для прогноза эффектов управления (вмешательства). Указано шесть «опор», на которых стоит методологическое ядро большой аналитики. Висвітлено основні напрямки, задачі та типи результатів глибокого аналізу великих (комп'ютеризованих) даних. Показано практичне значення великих даних та великої аналітики як фундаменту створення нових комп'ютерних технологій планування і керування у бізнесі. Виділено специфічні для великих даних режими використання даних (або роди завдань аналізу): «інтелектуальний» пошук потрібної інформації; масована переробка («відпрацювання») даних; індукція моделі об'єкту (середовища); екстракція знань з даних (відкриття структур і закономірностей). Окреслено етапи і організацію циклу робіт з аналізу даних. До типових класів задач великої аналітики належать: групування випадків (кластеризація); виведення цілевизначених моделей (класифікація, регресія, розпізнавання); виведення генеративних моделей; відкриття структур і закономірностей. Охарактеризовано особливості «глибокого навчання» та фактори його популярності. Виділено каузальні мережі як клас моделей, які поєднують у собі переваги генеративних, цілевизначених та багатоцільових моделей і відрізняються тим, що придатнідля прогнозу ефектів керування (втручання). Вказано шість «опор», на яких будується методологічне ядро великої аналітики.
Інноваційна педагогічна комп'ютерна технологія оптимізації шкільного колективу в аспекті знань про біосоціальну структуру особистості його членів
The article discusses modern computer technologies to support the functioning of the school collective on the basis of an individual-typological approach to improve the efficiency of training and preserve the biosocial health of its members. From the standpoint of the principles of integrity, consistency, dynamism, rhythmology and interdisciplinary, the sociopsychophysiological dynamic portrait of the collective, its individual adaptation information space (IAIS) – a rational environment for life (design), was considered. The technological scheme offers for consideration fundamentally new service components: the biosocial culture of the student (knowledge of his adaptation capabilities), monitoring for the constant harmonization of the collective, a personologist – interdisciplinary, more responsible for the psychological climate of the environment. Individually typological approach to understanding the mechanisms of individual (rather than average) human adaptation, the tandem "professional competence – biosocial culture" together with active computerization can become a "breakthrough moment" in modern human knowledge and humanity, thereby significantly increasing the level of economic potential and culture of the country.Problems in programming 2019; 4: 121-131В работе обсуждаются современные компьютерные технологии поддержки функционирования школьного коллектива на базе индивидуально-типологического подхода для повышения эффективности обучения и сохранения биосоциального здоровья его членов. С позиций принципов целостности, системности, динамичности, ритмологичности и междисциплинарности рассмотрен социопсихофизиологический динамический портрет коллектива, его индивидуальное адаптационное информационное пространство (ИАИП) – рациональная для жизнедеятельности среда (дизайн). Технологическая схема предлагает для рассмотрения принципиально новые сервисные компоненты: биосоциальная культура школьника (знание своих адаптационных возможностей), мониторинг для постоянной гармонизации коллектива, персонолог-междисциплинарник, в большей степени ответственный за психологический климат среды. Индивидуально-типологический подход для понимания механизмов индивидуальной (а не средне-статистической) адаптации человека, тандем «профессиональная компетенция – биосоциальная культура» вместе с активной компьютеризацией могут стать «прорывным моментом» в современном человекознании и человековедении, тем самым существенно повышая уровень экономического потенциала и культуры страны.Problems in programming 2019; 4: 121-131У роботі обговорюються сучасні комп'ютерні технології підтримки функціонування шкільного колективу на базі індивідуально-типологічного підходу для підвищення ефективності навчання і збереження біосоціального здоров'я його членів. З позицій принципів цілісності, системності, динамічності, ритмологічності і міждисциплінарності розглянуто соціопсихофізіологічний динамічний портрет колективу, його індивідуальний адаптаційний інформаційний простір (ІАІП) – раціональне для життєдіяльності середовище (дизайн). Технологічна схема пропонує для розгляду принципово нові сервісні компоненти: біосоціальна культура школяра (знання своїх адаптаційних можливостей), моніторинг для постійної гармонізації колективу, персонолог-міждисциплінарник, більшою мірою відповідальний за психологічний клімат середовища. Індивідуально-типологічний підхід для розуміння механізмів індивідуальної (а не середньостатистичної) адаптації людини, тандем «професійна компетенція – біосоціальна культура» разом з активною комп'ютеризацією можуть стати «проривним моментом» в сучасному людинознавстві і людиноведенні, тим самим істотно підвищуючи рівень економічного потенціалу і культури країни.Problems in programming 2019; 4: 121-13
Пропозиційні логіки часткових предикатів з композицією предикатного доповнення
The paper studies new software-oriented logical formalisms – the logics of partial predicates with predicate complement. Such logics are denoted LC. A characteristic feature of these logics is the presence of a special non-monotonic operation (composition) of the predicate complement. Such operations are used in various versions of the Floyd-Hoare logic with partial pre- and post-conditions. Properties of LC propositional compositions are similar to the properties of the traditional logical connectives. Properties of the new composition of the predicate complement are investigated. The class of P-predicates (partial single-valued) is closed under the composition of the predicate complement, but the class of T-predicates (total) is not closed. Therefore, it is possible to consider the general class LC – the logic of R-predicates (relational predicates) with the composition of the predicate complement, and its subclass LPC – the logic of P-predicates with such a composition. The focus of the work is the study of PLC – propositional LC. Propositional composition algebras and PLC languages are described. For LC of partial single-valued predicates, an irrefutability logical consequence relation |=IR^ is proposed and investigated under the conditions of undefinedness. The conditions for the validity of the |=IR^ and the properties of the decomposition of formulas are given. Based on the properties of the |=IR^, for PLC of P-predicates a calculus of sequential type is constructed. The basic sequential forms of this calculus and closure conditions of the sequents are given. For the constructed calculus, correctness and completeness theorems are hold. Proofs of these theorems will be given in the forthcoming articles.Problems in programming 2019; 1: 03-13В работе исследованы новые программно-ориентированные логические формализмы – логики частичных предикатов с предикатным дополнением, названные LC. Характерная особенность таких логик – наличие специальной немонотонной операции (композиции) предикатного дополнения. Подобные операции используются в различных вариантах логик Флойда – Хоара с частичными пред- и после-условиями. Свойства пропозициональных композиций LC аналогичны свойствам традиционных логических связок. Исследованы свойства новой композиции предикатного дополнения. Класс P-предикатов (однозначных) замкнут относительно композиции предикатного дополнения, а класс T-предикатов (тотальных) незамкнут. Поэтому можно рассматривать общий класс LC – логики R-предикатов (реляционного типа) с композицией предикатного дополнения, и их подкласс LPC – это логики P-предикатов с такой композицией. В центре внимания работы – изучение пропозициональных LC, или PLC. Описаны пропозициональные композиционные алгебры и языки PLC. Для LC однозначных предикатов предложено и исследовано отношение |=IR^ неопровержимого логического следствия при условиях неопределенности. Приведены условия наличия отношения |=IR^ и свойства декомпозиции формул. На этой основе для PLC P-предикатов построено исчисление секвенциального типа. Приведены базовые секвенциальные формы этого исчисления и условия замкнутости секвенций. Для построенного исчисления верны теоремы корректности и полноты. Доказательства этих теорем будут приведены в последующих статьях.Problems in programming 2019; 1: 03-13Досліджено нові програмно-орієнтовані логічні формалізми – логіки часткових предикатів з операцією (композицією) предикатного доповненням, названі LC. Подібні операції використовуються в різних варіантах логік Флойда – Хоара з частковими перед- та після-умовами. В даній роботі вивчаються LC пропозиційного рівня – PLC. Описано пропозиційні композиційні алгебри та мови PLC, запропоновано та досліджено відношення неспростовнісного логічного наслідку за умов невизначеності. На цій основі для PLC однозначних предикатів побудовано числення секвенційного типу.Problems in programming 2019; 1: 03-1
Класифікація метаданих великих даних
Now there are a lot of data of different structure (or not structured at all) and origin, their volumes are growing exponentially. The problem is the existing software and hardware are not able to cope with so many different types of data appearing with great speed. Big Data has become too complex and dynamic to process, store, analyze and manage with traditional tools. It caused the appearance of new platforms and approaches for working with data, and at the same time, an understanding of the fact that to solve big data problems, these raw data must be supplemented with metadata. Metadata in this case is a means of classifying, organizing, and characterizing data and its content. Their main advantage is an ordered structure. Due to it, metadata is readable not only by a person, but also by a computer. Thus, they can be processed automatically and used for indexing, searching, combining, automated processing, classification of big data, etc. The creation of effective metadata management systems, first of all, requires their coordinated general classification that take into account the types of data sources (methods of their obtaining) that form the content, tasks solved at different stages of the life cycle, existing formats of data presentation, principles of reasonable efficiency, since often metadata size significantly exceeds the amount of described data (even big). Therefore, the aim of this work is to analyze existing sources of big data, methods for creating and processing the corresponding metadata, as well as software products that allow them to be processed in a certain way, and building the classification of metadata on the basis of the analysis.Problems in programming 2019; 4: 53-74На сегодняшний день накоплено много данных разной структуры (или вообще не структурированные) и происхождения, их объемы растут экспоненциально. Проблема заключается в том, что существующее программное и аппаратное обеспечение не в состоянии справиться с таким количеством, появляющихся с огромной скоростью разнообразных типов данных. Большие данные стали слишком сложными и динамичными для обработки, хранения, анализа и управления с помощью традиционных средств. Это обусловило возникновение новых платформ и подходов для работы с данными, и, вместе с тем, четкое понимание того, что для решения задач больших данных эти необработанные данные должны быть дополнены метаданными. Метаданные в данном случае являются средством классификации, упорядочивания и характеристики данных и их содержания. Их главная особенность – это упорядоченная структура. Благодаря структурированному виду, метаданные доступны для чтения не только человеку, но и компьютеру. Таким образом, они могут обрабатываться автоматически и использоваться для индексирования, поиска, объединения, автоматизированной обработки, классификации больших данных и т. д. Построение эффективных систем управления метаданными, прежде всего, требует их согласованной общей классификации с учетом типов источников (способов получения) данных, формирующих контент, задач, решаемых на разных этапах жизненного цикла, существующих форматов представления данных, принципов разумной эффективности, так как часто размер метаданных существенно превышает объем описываемых данных (даже больших). Поэтому, цель данной работы состоит в анализе существующих источников больших данных, способов создания и обработки соответствующих метаданных, а также программных продуктов, позволяющих их обрабатывать определенным образом, и построении на основе выполненного анализа классификации метаданных.Problems in programming 2019; 4: 53-74Насьогодні накопичені величезні обсяги даних різної структури (або в загалі не структуровані) та походження, їх обсяги зростають експоненційно. Проблема полягає у тому, що існуюче програмне та апаратне забезпечення, яке не може обробити таку кількість різноманітних типів даних, що створюються з великою швидкістю. Великі дані стали надто складними та динамічними, щоб їх можна було обробляти, зберігати, аналізувати та управляти ними за допомогою традиційних засобів. Це обумовило виникнення нових платформ та підходів для роботи з даними, а разом з цим чітке розуміння того, що для вирішення задач великих даних ці необроблені дані повинні бути доповнені метаданими. Насьогодні метадані є засобом класифікації, впорядкування та характеристики даних, та їх вмісту. Їх найважливішою особливістю є впорядкована структура. Завдяки структурованому вигляду, метадані доступні для читання не лише для людини, але й для комп’ютера. Таким чином, вони можуть оброблятися автоматизовано та використовуватися для різних цілей: для індексації, пошуку, об’єднання, автоматичної обробки, класифікації великих даних тощо. Побудова ефективних систем керування метаданими, перш за все, вимагає їх узгодженої загальної класифікації з урахуванням типів джерел (способів отримання) даних, що формують контент задач, що мають вирішуватися на різних етапах життєвого циклу, існуючих форматів представлення відповідних даних, принципів розумної ефективності, так як часто розміри метаданих значно перевищують обсяг самих даних (навіть великих), які вони описують. Тому, мета даної роботи полягає в аналізі існуючих джерел великих даних, способів створення та обробки відповідних метаданих, а також програмних засобів, що дозволяють опрацьовувати метадані певним чином, та побудові класифікації метаданих на основі проведеного аналізу.Problems in programming 2019; 4: 53-7
Автоматизоване проектування OpenCL програм на основі алгебро-алгоритмічного підходу
Further progress in improving the quality of parallel software development is linked to the use of heterogeneous architectures of parallel computing systems. Heterogeneous parallel systems, in particular, include hybrid computing platforms combining the use of central and graphics processing units. One of the facilities for programming such systems is OpenCL. The paper proposes the further development of previously developed algebra-algorithmic tools in the direction of automated design and synthesis of OpenCL programs. The particular feature of the proposed approach consists in using a high-level language based on Glushkov’s system of algorithmic algebra. The approach is illustrated on the development of a parallel interpolation algorithm, which is the part of the numerical weather forecasting program. The results of the experiment consisting in executing of the generated OpenCL program on a graphics processing unit are given. The program is compared with the implementation for CUDA platform. Problems in programming 2019; 1: 27-36Дальнейший прогресс в улучшении показателей качества создания параллельных программ связан с использованием гетерогенных архитектур вычислительных систем. Неоднородные параллельные системы включают у себя, в частности, гибридные вычислительные платформы, сочетающие использование центральных процессоров и графических ускорителей. Одним из инструментальных средств программирования таких систем является OpenCL. В статье выполнена настройка ранее созданного алгебро-алгоритмического инструментария проектирования и синтеза на автоматизированную разработку OpenCL программ. Особенностью предложенного подхода к проектированию является использование высокоуровневого языка, основывающегося на системах алгоритмических алгебр Глушкова. Подход продемонстрирован на разработке программы интерполяции для задачи метеорологического прогнозирования. Проведен эксперимент по выполнению сгенерированной с помощью разработанного инструментария параллельной программы на графическом ускорителе. Выполнено сравнение с реализацией программы на платформе CUDA. Problems in programming 2019; 1: 27-36Подальший прогрес у покращенні показників якості створення паралельних програм пов'язаний з використанням гетерогенних архітектур обчислювальних систем. Неоднорідні паралельні системи включають у себе, зокрема, гібридні обчислювальні платформи, що поєднують використання центральних процесорів і графічних прискорювачів. Одним з інструментальних засобів програмування таких систем є OpenCL. У статті виконане налаштування раніше створеного алгебро-алгоритмічного інструментарію проектування і синтезу на автоматизовану разробку OpenCL-програм. Особливістю запропонованого підходу до проектування є використання мови, що ґрунтується на системах алгоритмічних алгебр Глушкова. Підхід продемонстровано на проектуванні програми інтерполяції для задачі метеорологічного прогнозування. Проведено експеримент з виконання згенерованої за допомогою розробленого інструментарію паралельної програми на графічному прискорювачі. Виконане порівняння з реалізацією програми на CUDA.Problems in programming 2019; 1: 27-3
Симулятор механізмів термінового регулювання гемодинаміки людини
A software simulator (SS) of the physiological mechanisms that provide the acute control of human hemodynamics is created. SS is based on a mathematical model (MM) describing reflexes, the source of information in which are mechanoreceptors located in the right ventricle of the heart, in the aortic arch and in the carotid sinuses. A previously developed model of an uncontrollable cardiovascular system with a pulsating heart is used as an object of control (OC). In MM, the duration of the cardiac cycle, the rigidity and the unstressed volume of the vascular areas of the body are the target of regulatory actions. MM and OC are realized in C++. Oriented to the physiologist, the interface provides him / her with the ability to turn on / off any of the reflexes, to conduct test studies (including imitation of dosed blood loss or blood transfusion). SS is still functions autonomously. Subsequently, after modeling also endocrine physiological mechanisms of long-term effects on hemodynamics, SS will become a virtual tool for research of complex mechanisms that optimize human hemodynamics.Problems in programming 2019; 1: 90-98Создан программный симулятор (ПС) физиологических механизмов срочной регуляции гемодинамики человека. ПС основан на математической модели (ММ), описывающей рефлексы, источником информации, расположенных в правом желудочке сердца, в дуге аорты и в каротидных синусах механорецепторы. В качестве объекта управления (ОУ) используется ранее разработанная модель неуправляемой сердечно-сосудистой системы с пульсирующим сердцем. В ММ мишень регуляторных воздействий – длительность сердечного цикла, жесткость и ненапряженный объем сосудистых участков тела. Комплекс ММ и ОУ реализован на С++. Ориентированный на физиолога интерфейс предоставляет ему возможность включения/выключения любого из рефлексов, проведения тестовых исследований (в том числе имитацию дозированной кровопотери или переливания крови). ПС пока функционирует автономно. В дальнейшем, после моделирования также эндокринных физиологических механизмов долговременного влияния на гемодинамику, ПС станет виртуальным средством для исследований комплексных механизмов оптимизации гемодинамики человека.Problems in programming 2019; 1: 90-98Створено програмний симулятор (ПС) фізіологічних механізмів термінової регуляції гемодинаміки людини. ПС заснований на математичній моделі (ММ), яка описує рефлекси, джерелом інформації в яких є розташовані в правому шлуночку серця, в дузі аорти і в каротидних синусах механорецептори. Як об'єкт управління (ОУ) використовується раніше розроблена модель некерованою серцево-судинної системи з пульсуючим серцем. В ММ мішенню регуляторних впливів є тривалість серцевого циклу, жорсткість і ненаголошений обсяг судинних ділянок тіла. Комплекс ММ і ОУ реалізований на С++. Орієнтований на фізіолога інтерфейс надає йому можливість включення / вимикання будь-якого з рефлексів, проведення тестових досліджень (в тому числі імітацію дозованої крововтрати або переливання крові). ПС поки функціонує автономно. Надалі, після моделювання також ендокринних фізіологічних механізмів довгострокового впливу на гемодинаміку, ПС стане віртуальним засобом для досліджень комплексних механізмів оптимізації гемодинаміки людини.Problems in programming 2019; 1: 90-9
Інформаційна система моделювання воєнних дій механізованих військ з використанням онтологічного підходу
Problems in programming 2014; 4: 59-66Розглядається побудова інформаційної системи моделювання воєнних дій механізованих військ з використанням онтологічного підходу. Описано процес побудови бази знань та математичні моделі окремих задач для розв’язування яких призначена система. Здійснено імітаційне моделювання функціонування системи, наведено відповідні приклади.Problems in programming 2014; 4: 59-6
Проблема створення інформаційної системи логістики в збройних силах України, що відповідає стандартам НАТО
The problem of implementation of Logistics information system (IS) for Ukrainian Armed Forces (UAF), which meets NATO standards, is considered. Analysis of existing NATO logistics information systems and their applicability in Ukraine is performed. Science-intensive issues of logistics IS implementation are identified. The necessity of development of national mathematical support (models, methods, algorithms) of decision-making support in UAF logistics is defined. The application reasonability and feasibility of automation technology approaches of discrete technological and information processes control for decision-making support in logistics is substantiated.Problems in programming 2018; 4: 101-110Рассмотрена проблема создания информационной системы (ИС) логистики в ВСУ соответствующей стандартам НАТО. Проведен анализ существующих ИС логистики НАТО и их применимости в Украине. Идентифицированы наукоемкие аспекты создания ИС логистики. Определена необходимость разработки национального математического обеспечения (моделей, методов, алгоритмов) поддержки принятия решений (ППР) в логистике ВСУ. Обоснована целесообразность и возможность применения подходов технологии автоматизации дискретными технологическими и информационными процессами для ППР в логистике.Problems in programming 2018; 4: 101-110Розглянуто проблему створення інформаційної системи логістики в ЗСУ, яка відповідає стандартам НАТО. Проведено аналіз існуючих ІС логістики НАТО та їх застосовності в Україні. Визначено наукомісткі аспекти створення ІС логістики. Визначено необхідність розробки вітчизняного математичного забезпечення (моделей, методів, алгоритмів) підтримки прийняття рішень (ППР) в логістиці ЗСУ. Обґрунтовано доцільність та можливість застосування підходів технології автоматизації управління дискретними технологічними та інформаційними процесами для ППР в логістиці.Problems in programming 2018; 4: 101-11