Нечеткий подход к оцениванию личностных качеств обучающихся вуза

19 мая 11:56

Fuzzy assessment techniques of student’s personality

УДК 378.14 : 004.891.2

15.11.2016
 

Выходные сведения:
Полетайкин А.Н., Ильина Т.С. Нечеткий подход к оцениванию личностных качеств обучающихся вуза // ИТпортал, 2016. №4 (12). URL: http://itportal.ru/science/tech/nechetkiy-podkhod-k-otsenivaniyu-li/

Авторы:
Полетайкин А.Н.,к.т.н., доцент кафедры математического моделирования бизнес-процессов ФГБОУ ВО Сибирский государственный университет телекоммуникаций и информатики (630102, г. Новосибирск, ул. Кирова, д. 86), e-mail: polietaikin@sibsutis.ru

Ильина Т.С., заведующая кафедрой иностранных и русского языков ФГБОУ ВО Сибирский государственный университет телекоммуникаций и информатики (630102, г. Новосибирск, ул. Кирова, д. 86), e-mail: tosibguti@mail.ru

Authors:
Poletaykin А.N., Candidate of Technical Sciences, Ass. Professor, Mathematical Modeling of Business Processes Department, Siberian State University of Telecommunications and Information Science (630102, Novosibirsk, Kirov str. 86)

Il’inа Т.S., Head of Foreign and Russian Languages Department, Siberian State University of Telecommunications and Information Science (630102, Novosibirsk, Kirov str. 86)

Ключевые слова:
личностные качества, экспертное оценивание, многофакторный профиль личности, бинарное нечеткое отношение, проверка стандартными тестами.

Keyword:
personality traits, expert analysis, multifactorial factor test, binary fuzzy relation, standard test assessment

Аннотация: 
Рассматривается методика оценивания личностных качеств как структурных составляющих образовательных компетенций обучающихся в высших учебных заведениях. Для оценивания личностных качеств используется комплекс методик, которых включает сочетание многофакторных методик оценивания личности: методики Леонгарда-Шмишека и 16-факторного опросника Кеттела, а также методы нечеткого анализа данных для оценивания личностных качеств и методы экспертного оценивания для определения параметров нечеткой модели оценивания личностных качеств. Выбор многофакторных методик исследования личности обусловлен относительно малым временем (порядка 40 – 50 минут), которое затрачивает испытуемый на исследование, что в условиях необходимости оценивания нескольких десятков личностных качеств является очень актуальным.

Применение аппарата нечеткой логики обусловлено высокой степенью неоднозначности соответствия между факторами методик исследования личности и оцениваемыми качествами личности, а также неопределенностью, вносимой экспертами в данную нечеткую модель. Результатом применения методики являются оценки тридцати девяти личностных качеств, позволяющие осуществлять системное оценивание образовательных компетенций обучающихся, которое учитывает личностный аспект обучающегося и поэтому, в отличие от традиционных методик оценивания образовательных компетенций, является более объективным. Результаты оценивания личностных качеств, полученные при помощи разработанной комплексной методики проверены стандартными психологическими тестами. Результаты проверки показали допустимую погрешность полученных оценок, находящуюся в пределах статистически допустимой.

Annotation: 
In the paper assessment methods of student’s personality traits as structural components of educational competencies have been considered. The combination of multifactorial methods of personality assessment such as Leonhard-Schmieschek questionnaire, Cattell’s 16 personality factor test, as well as fuzzy techniques and assessment program have been used. The choice of multifactorial methods is justified by a limited testing time (about 40-50 minutes) under the conditions of assessing several dozens of personality traits.

Fuzzy logic has been applied due to high degree of uncertainty between the factors of personality tests and the personality traits assessed, also to ambiguity caused by expert analysis. As a result, 39 personality assessments have been made for the further systemic assessment of educational competencies taking into account the personality of the student. The approach described proved to be more objective in comparison with the traditional one. The final personality assessments were checked with standard psychological tests. The results showed a statistically acceptable margin of error.

Нечеткий подход к оцениванию личностных качеств обучающихся вуза

В последнее время в российской системе образования наметилась устойчивая тенденция применения компетентностного подхода к оцениванию качества освоения учебных программ. Основное требование к результатам освоения учебной программы, согласно последних редакций образовательных стандартов, предполагает формирование у выпускника вуза компетенций, отнесенные к тем видам профессиональной деятельности, на которые ориентирована данная программа. При этом под компетенциями мы традиционно будем понимать совокупность взаимосвязанных знаний, умений, установок, личностных характеристик и форм поведения, которая формирует способность студентов должным образом, на нужном уровне качества выполнять в будущей профессиональной деятельности свою работу, соответственно своей квалификации и занимаемой должности. Составляющими этой способности выступают сразу множество факторов – это образование и прочая профессиональная подготовка, природные способности, интеллект, и личностные качества и черты, ценностные ориентации и установки, а также обычные для обучающегося формы конкретного поведения.

Особого внимания здесь заслуживают личностные качества (ЛК) обучающихся, как системообразующие компоненты компетенций. Несмотря на многочисленные исследования, посвященные изучению связей личностных характеристик с качеством освоения программ высшего образования, четкого взаимодействия между ними как видами детерминант профессиональной пригодности не показано. В исследованиях, выполненных в рамках системного, субъектно-деятельностного, динамического и личностного подходов к оцениванию компетентности молодых специалистов, показано, что особенности личности могут выступать как профессионально важные качества в любом виде деятельности. Наряду с этим, целый ряд личностных характеристик является специфическим и значимым для конкретных видов профессиональной деятельности. Данное обстоятельство находит выражение в системном представлении образовательных компетенций, как взаимосвязанной совокупности компонентов, в роли которых выступают, как всем известные элементарные результаты обучения (ЗУН), так и вновь проектируемые компоненты, выражающие характеристики личности обучающегося субъекта, в том числе его мотивы, ценности и жизненную позицию. В свою очередь, объективная оценка системных характеристик такой компетенции определяет уровень развития способностей индивида: познавательных, коммуникационных, аналитических, проектных, исследовательских и др.

По мнению многих авторов (Шадриков В.Д., Платонов К.К., Бодров В.А., Лукьянова М.И., Пряжников Н.С., Толочек В.А., Ильин Е.П., Борисова Е.М., Кудрявцев В.Т., и др.) [1 – 7] определенный спектр личностных характеристик обучающихся оказывает значительное влияние на процесс обучения. Исследование [6] показало, что выявление профессионально-ориентированных структур личностных характеристик, связанных с интегративными профессионально важными качествами, вносит вклад в развитие представлений о профессиональной пригодности и ее прогнозировании. Другая группа ученых (Хуторской А.В., Громыко Ю.В., Иванников А.Д., Авдеенко Т.В., Бакаев М.А., Курчеева Г.И., Муртазина М.Ш., Белоус С.А.) [8 – 12] отмечает четкую связь между формированием русской культуры и личностным аспектом образования на все его ступенях. Так, в статье [8] исследована мировоззренческая составляющая российской системы образования в ее культурообразующем аспекте. Исследование [10] показывает преимущественное влияние свойств личности обучающегося на формирование его инновационного потенциала, что является достаточно весомым фактором при формировании многих компетенций. При этом отмечается, что результативные параметры деятельности обучения определяются совокупностью личностных качеств обучающихся. Таким образом, постановка в фокус внимания отдельных личностных характеристик как качеств личности и моделирование их взаимодействия с элементами ЗУН в структуре компетенций обучающихся позволит более глубоко проследить проявления ЛК в указанном взаимодействии и уточнить концепцию измерения компетенций, исходя из их системных свойств.

Соответствующее исследование было проведено авторами и отражено в работе [11], где рассмотрена задача применения системного подхода к моделированию и количественному измерению образовательных компетенций. В частности, рассмотрена их внутренняя структура, основными компонентами которой являются личностные качества, а также формальная процедура измерения ее сформированности на основе психологического тестирования. При этом ввиду значительного количества ЛК, определенных экспертами как существенных для структурирования компетенций, задача их оценивания традиционными методами психологического исследования личности (психологическими тестами) является очень трудоемкой. В связи с этим возникает необходимость в разработке методики, позволяющей осуществлять оценивание ЛК с приемлемой точностью за приемлемое время. Учитывая, что пороговое значение для определения доминантных ЛК в описанной выше методике [11] определены с точностью до 1 балла по 10-бальной шкале, а также разработанные и апробированные нормы к регламенту проведения испытаний для эффективного принятия решений в сфере образования [12], приемлемыми будем считать точность оценивания ЛК с максимальной допустимой относительной погрешностью 5% и максимальное время оценивания – один академический час.

Определение оценок 39 различных ЛК за такое время возможно только посредством применения многофакторных методик исследования личности, среди которых наибольшую популярность получил 16-факторный опросник Кеттела [13]. Отличительной чертой данного опросника является его ориентация на выявление относительно независимых 16 факторов (шкал, первичных черт) личности, многие из которых непосредственно выражают или входят в структуру многих ЛК. Однако применимость данного метода к поставленной задаче ограничена, так как не все выбранные экспертами ЛК могут быть выражены через факторы опросника Кеттела.

Еще одним методом многофакторного исследования личности, пригодным для решения данной задачи, является тест Леонгарда-Шмишека [14], предполагающий оценивание личности 24-бальными оценками по 10 акцентуированным типам. Целесообразность применения данной методики основана на том, что вариативность ЛК проявляется не только в их качественном многообразии и своеобразии, но и в количественной выраженности. Когда количественная выраженность той или иной ЛК достигает предельных величин и оказывается у крайней границы нормы, возникает так называемая акцентуация личности.

Вместе с тем исследованием [16] установлено, что оценки этих типов личности, находящиеся в области средних оценок (определяющейся такими параметрами распределения оценок, как середина интервала ранжирования и медиана) и выше, в том числе в области акцентуации (от 19 баллов), коррелируют с оценками некоторых ЛК, характеризующих соответствующие типы личности.

Для установления соответствия между 39-ю ЛК и 10-ю типами личности был применен метод экспертного оценивания и аппарат нечетких отношений. Экспертам было предложено оценить истинность высказывания «У личности с акцентуацией xi уровень ЛК yj находится на уровне zk», где xi, yj и zk – лингвистические значения, определенные на трех универсальных множествах X, Y и Z, содержащих соответственно 10 типов личности, 39 ЛК и 7 лингвистических термов уровня: Very Low, Low, Below to Average, Average, After to Average, High, Very High, и выражают соответствующие координаты трехмерного нечеткого отношения M.

Особенность построения нечеткой модели для описываемой ситуации заключается в том, что рассматриваемая причинная взаимосвязь ЛК и типов личности не является однозначной. Более того, исходя из субъективного опыта конкретно эксперта, качества личности, цели исследования и учета других факторов эта причинная взаимосвязь наиболее адекватно может быть представлена в виде бинарного нечёткого отношения.

Для получения оценок ЛК на основе нечеткого отношения M уместно применить операцию композиции бинарных нечетких отношений. Такая максиминная композиция для решения задачи оценивания j-го ЛК будет выглядеть следующим образом:

                                             (1)

Левое БНО A переменное, имеет размер N х 10 и выражает для N испытуемых фаззифицированные значения оценок десяти типов личности, полученных посредством теста Леонгарда-Шмишека, в соответствии с экспертно определенной функцией принадлежности.

Правое БНО  в формуле (1) условно-постоянное (содержит экспертные оценки), имеет размер 10 х 7 и представляет собой двумерное сечение нечеткого отношения M по координате ЛК, выражающего соответствие семи уровней проявленности j-го ЛК у 10 типов акцентуированной личности. Пример некоторых векторов сечения по ЛК «Активность» представлен на рис. 1.

              

         а) демонстративный тип                          б) педантичный тип

Рис. 1.  Графики ФП нечеткого отображения ЛК «Активность» на некоторые типы личности по Леонгарду (ось абсцисс – лингвистические термы уровня, ось ординат – функция принадлежности)

Результатом операции композиции, выполняемой поэтапно для определенного j-го ЛК, является БНО  размером N х 10, каждая i-я строка   которого выражает нечеткую характеристику семи уровней выраженности j-го ЛК у i-го испытуемого. Для того, чтобы получить оценки 39 ЛК у каждого из N испытуемых, необходимо выполнить 39 операций (1) для каждого ЛК.

Четкая оценка ЛК образуется посредством выполнения операции дефаззификации методом центра тяжести для одноточечных множеств. Центр тяжести, выражающий четкое значение j-го ЛК у i-го испытуемого   , рассчитывается по формуле:

                                                 (2)

где  – элемент БНО  (1) – нечеткая оценка, выражающая k-й уровень выраженности j-го ЛК у i-го испытуемого;  – четкое значение соответствующего элемента базисного множества Z, определяемое на основе ФП «Нечеткая оценка личности», график которой показан на рис. 2.

Результаты расчетов, однако, не показали достаточной адекватности. Сравнение оценок некоторых ЛК с нормированными оценками соответствующих ЛК, полученных при помощи стандартных тестов показало среднюю относительную погрешность 20%. Дополнительный анализ результатов теста Леонгарда-Шмишека посредством анализа парных сочетаний экстремальных значений оценок согласно исследованию Ю. Кортневой [17], показал завышенный уровень социальной значимости результатов. В связи с этим для уточнения результатов теста Леонгарда был применен метод Кеттела.

Рис. 2. График расширенной ФП «Нечеткая оценка личности»

Для того, чтобы установить соответствие между стенами и типами личности в условиях такой неопределенности, необходимо прибегнуть к уже апробированному выше аппарату нечеткой логики. Уточнение оценки i-го типа личности AL по аналогии с задачей нечеткого вычисления оценок ЛК (см. выражение (1)), осуществляется посредством операции нечеткой композиции:

,                                           (3)

где  и  – нечеткие БНО размером N х 3, выражающие соответствие трех уровней проявленности i-го типа акцентуированной личности () у j-го испытуемого () для уточненных  и фактических оценок  соответственно. Фаззификация и дефаззификация этих БНО выполняется по экспертно определенной функции принадлежности , график которой представлен на рис. 3.

Рис. 3.  График расширенной ФП «Нечеткая акцентуация личности» (для случая C < M)

Параметры этой функции определяются на основе центра C, медианы M и интервала ранжирования R вариационного ряда, который образуют оценки  либо . БНО – результат операции в скобках – представляет собой корректирующий компонент, образующийся на основе двух БНО: , размером 16 х 3, которое выражает экспертные оценки соответствия факторов личности по Кеттелу и Леонгарду; K – БНО, которое содержит оценки, фаззифицированные в соответствии с лингвистическим правилом, ориентированным на высокие значения стен факторов Кеттела.

Дефаззификация уточненной оценки i-го типа личности осуществляется на основе ФП (рис. 2) методом центра масс подмножества, образуемого линиями ФП и ограничивающими ее значениями вектор  – j-й строки БНО , выражающий уточненную оценку i-го типа личности у j-го испытуемого:

,                                                  (4)

где   – элемент БНО  (3) – нечеткая оценка, выражающая k-й уровень выраженности j-го типа личности у j-го испытуемого;  – четкое значение соответствующего элемента подмножества  (см. выше в описании экспертного БНО ), мощность которого .

На каждом этапе вычислений, исключая стандартный этап обработки результатов опроса, используются экспертные оценки, определяющие параметры нечетких множеств и отношений, задействованных в расчетах. Результатом методики является оценка устойчивости i-го качества личности группы испытуемых.

Исследования разработанной методики оценивания качеств личности проводились на студентах IV курса факультета Информатики и вычислительной техники СибГУТИ в рамках исследования [11] сформированности образовательных компетенций студентов и влияния на них оценок ЛК. Респондентами выступили 20 студентов вуза, обучающихся по специальности «Прикладная информатика» (1 академическая группа), в возрасте от 20 до 23 лет. Длительность тестирования составила 20 – 37 мин. при норме 30 мин.

Результаты расчетов представлены в табл. 4. для двух испытуемых. В таблице показаны оценки, полученные с применением разработанной нечеткой методики (колонка «Оценка НМ»), а также оценки соответствующих ЛК, полученные при помощи стандартных психологических тестов (колонка «Станд. тесты»), взятых из [18] и [19, 21] (напр., тест «Самооценка» Н.М. Пейсахова, тест «Уровень коммуникабельности» В.Ф. Ряховского, методика диагностики оценки самоконтроля в общении М. Снайдера, и др., всего 11 методов). Результаты оценивания ЛК на основе чистого профиля Леонгарда испытуемых показали относительную погрешность оценивания относительно стандартных тестов почти 20%, что в 4 раза меньше допустимой погрешности, заявленной в постановочной части. Результаты же оценивания на основе скорректированных исходных данных (табл. 3) позволили снизить фактическую погрешность до 8%, что значительно меньше, чем погрешность оценивания без коррекции.

Полученные результаты свидетельствуют о том, что в целом разработанная методика дает удовлетворительные результаты и с некоторыми оговорками может быть применена по назначению. Анализируя данные табл. 3 можно отметить значительные расхождения по качествам «Коммуникабельность» и «Самомотивация», что может быть следствием недостаточно адекватной экспертной оценки соответствующих элементов нечеткой модели. Также это может объясняться иной интерпретацией, вложенной экспертами при нечетком моделировании данных ЛК, либо возможными неточностями экспертного определения элементов БНО  (рис. 2) для соответствующих ЛК.

Таблица 3 – Результаты оценивания ЛК с коррекцией исходных данных (в колонке «Оценка НМ» приведены оценки ЛК, полученные при помощи нечеткой методики на основе данных чистого профиля Леонгарда)

Личностное качество

Испытуемый 1

Испытуемый 2

Оценка НМ

Станд. тесты

Отклонение

Оценка НМ

Станд. тесты

Отклонение

Самооценка

6,3

5,9

0,40

6,5

6,9

0,37

Амбициозность

4,5

4,0

0,45

4,2

4,0

0,18

Коммуникабельность

6,6

5,6

0,98

7,1

8,1

1,00

Самомотивация

6,4

5,0

1,40

7,4

6,4

0,97

Настойчивость

6,6

7,5

0,87

7,1

6,5

0,56

Решительность

6,8

7,4

0,60

5,3

4,3

0,96

Самоконтроль

7,3

7,0

0,34

7,4

8,0

0,59

Самостоятельность

6,4

5,8

0,60

5,1

4,4

0,70

Стрессоустойчивость

4,6

4,1

0,50

3,6

2,2

1,40

Уверенность в себе

6,3

6,2

0,06

4,8

4,7

0,10

Честность

6,2

7,1

0,88

8,9

8,6

0,30

 

 

 

 

 

 

 

Минимум

4,45

4,00

0,06

3,60

2,20

0,10

Максимум

7,34

7,50

1,40

8,90

8,60

1,40

Среднее отклонение

6,18

5,96

0,64

6,12

5,83

0,65

Разработанная методика является структурной частью комплексной методики оценивания качества освоения студентами учебных дисциплин и формирования параметризованных компонентных моделей компетенций, устанавливающих их соответствие с характеристиками образовательной программы. Данные разработки отражены в статье [20], перспективность которых определяется ожидаемым эффектом от их внедрения в инфраструктуру вуза, который выражается в повышение качества и направленности профессиональной подготовки специалистов при сокращении временных и материальных затрат на организацию образовательного процесса. Данные улучшения в совокупности с общим повышением компетентности вуза обеспечат устойчивое функционирование и перманентное развитие образовательной системы вуза.

 

Библиографический список

1.Бодров В.А. Психология профессиональной деятельности. Москва: Институт психологии СО РАН, 2006. – 623с.
2.Ильин Е.П. Психология индивидуальных различий. СПб.: Питер, 2011. – 512 с.
3.Кудрявцев В.Т. Теория и практика учебной деятельности: традиции и инновации // Психологическая наука и образование, Т. 20, № 3, 2015. – С. 197–218.
4.Пряжников Н.С. Профессиональное самоопределение. Теория и практика. Москва, 2008. – 320с.
5.Шадриков В.Д. Профессиональные способности. Москва: Университетская книга, 2010.- 320с.
6.Гуцакова С.В. Взаимосвязь интегративных профессионально важных качеств и личностных характеристик специалистов с разной эффективностью деятельности. – Рукопись. Текст. : автореф. дис. канд. псих. наук: 19.00.03 – психология труда, инженерная психология, эргономика (психологические науки). – Москва, 2012. – 30 с.
7.Борисова Е.М. Профессиональное самоопределение: личностный аспект, автореф. диссер. доктора психол. наук, 1995.
8.Муртазина М.Ш. Образование и виртуальная культура // Вестник Читинского государственного университета: Вестник ЧитГУ. 2009. № 3 (54). С. 213 – 217.
9.Белоус С.А. Роль университета в развитии человеческого потенциала // Интеграция образования и науки в современном университете: перспективы, проблемы, решения: сб. тезисов докладов 51-ой (L1) науч.-метод. конф. / Сиб. гос. ун-т телекоммуникаций и информатики. Новосибирск, 2010. С. 122.
10.Курчеева Г.И. Влияние свойств личности на формирование инновационного потенциала, / Г. И. Курчеева, А.А. Алетдинова, О.Н. Шаланова // Экономические науки, №66, М.: ММВБ, 2008, С. 234 – 238.
11.Полетайкин А.Н., Ильина Т.С., Белоус С.А. Системный подход к моделированию и количественному измерению образовательных компетенций // Материалы Российской научно-технической конференции «Обработка информации и математическое моделирование», Новосибирск, СибГУТИ, 2015. – С. 275-284.
12.Авдеенко Т.В., Бакаев М.А. Моделирование информационного пространства для принятия решений в области взаимодействия системы высшего образования с региональным рынком труда // Актуальные проблемы электронного приборостроения : тр. 12 междунар. конф. АПЭП-2014, Новосибирск, 2–4 окт. 2014 г. : в 7 т. – Новосибирск : Изд-во НГТУ, 2014. – Т. 6. – С. 225-231.
13.Руковишников А. А. Факторный личностный опросник Р. Кеттелла : методическое руководство / А. А. Руковишников, М. В. Соколова. – СПб. : ГП «Иматон», 2002. – 96 с.
14.Тест-опросник Г. Шмишека, К. Леонгарда. Методика Акцентуации характера и темперамента личности. [Электронный ресурс]. URL: http://psycabi.net/testy/395-test-oprosnik-g-shmisheka-k-leongarda-metodika-aktsentuatsii-kharaktera-i-temperamenta (Дата обращения 12.03.16).
15.Леонгард К. Акцентуированные личности. / под. ред. д-ра мед. наук В.М. Блейхера. 2-е изд. стер. – К., 1981. – 390 с.
16.Т.С. Ильина, А.Н. Полетайкин. Энтропийный подход к оцениванию сформированности образовательных компетенций // Математические методы в технике и технологиях – ММТТ-29 [текст]: сб. трудов XXIX Междунар. науч. конф.: в 12 т. Т.8. / под общ. ред. А.А. Большакова. – Саратов: Саратов. гос. техн. ун-т; Санкт-Петербург: СПбГТИ(ТУ), СПбПУ, СПИИРАН; Самара: Самарск. гос. техн. ун-т, 2016. – С. 137 – 141.
17.Кортнева Ю. Диагностика актуальной проблемы – М.: Институт Общегуманитарных Исследований, 2004 – 240 с.
18.Рогов Е.И. Настольная книга практического психолога в образовании : уч. пособие. – Москва : Владос, 1995. – 529 с.
19.Книга практического психолога: часть 2 / А.Н. Беседин, И.И. Липатов, А.В. Тимченко, В.Б. Шапарь. – Х.: РИП «Оригинал», фирма «Фортуна-пресс», 1996.
20.Полетайкин А.Н., Ильина Т.С., Информационная система управления образовательным процессом в высшей школе // Вестник СибГУТИ. – Новосибирск, 2016. — №2. — С. 38-50.
21. Полянская Н.А., Шамин А.Е. Актуальные проблемы подготовки кадров для it-сектора нижегородской области // Вестник НГИЭИ. 2014. № 9 (40). С. 107-118.

References

1.Bodrov V.A. Psihologija professional’noj dejatel’nosti. Moskva: Institut psihologii SO RAN, 2006. – 623s.
2.Il’in E.P. Psihologija individual’nyh razlichij. SPb.: Piter, 2011. – 512 s.
3.Kudrjavcev V.T. Teorija i praktika uchebnoj dejatel’nosti: tradicii i innovacii // Psihologicheskaja nauka i obrazovanie, T. 20, № 3, 2015. – S. 197–218.
4.Prjazhnikov N.S. Professional’noe samoopredelenie. Teorija i praktika. Moskva, 2008. – 320s.
5.Shadrikov V.D. Professional’nye sposobnosti. Moskva: Universitetskaja kniga, 2010.- 320s.
6.Gucakova S.V. Vzaimosvjaz’ integrativnyh professional’no vazhnyh kachestv i lichnostnyh harakteristik specialistov s raznoj jeffektivnost’ju dejatel’nosti. – Rukopis’. Tekst. : avtoref. dis. kand. psih. nauk: 19.00.03 – psihologija truda, inzhenernaja psihologija, jergonomika (psihologicheskie nauki). – Moskva, 2012. – 30 s.
7.Borisova E.M. Professional’noe samoopredelenie: lichnostnyj aspekt, avtoref. disser. doktora psihol. nauk, 1995.
8.Murtazina M.Sh. Obrazovanie i virtual’naja kul’tura // Vestnik Chitinskogo gosudarstvennogo universiteta: Vestnik ChitGU. 2009. № 3 (54). S. 213 – 217.
9.Belous S.A. Rol’ universiteta v razvitii chelovecheskogo potenciala // Integracija obrazovanija i nauki v sovremennom universitete: perspektivy, problemy, reshenija: sb. tezisov dokladov 51-oj (L1) nauch.-metod. konf. / Sib. gos. un-t telekommunikacij i informatiki. Novosibirsk, 2010. S. 122.
10.Kurcheeva G.I. Vlijanie svojstv lichnosti na formirovanie innovacionnogo potenciala, / G. I. Kurcheeva, A.A. Aletdinova, O.N. Shalanova // Jekonomicheskie nauki, №66, M.: MMVB, 2008, S.234 – 238.
11.Poletajkin A.N., Il’ina T.S., Belous S.A. Sistemnyj podhod k modelirovaniju i kolichestvennomu izmereniju obrazovatel’nyh kompetencij // Materialy Rossijskoj nauchno-tehnicheskoj konferencii «Obrabotka informacii i matematicheskoe modelirovanie», Novosibirsk, SibGUTI, 2015. – S. 275-284.
12.Avdeenko T.V., Bakaev M.A. Modelirovanie informacionnogo prostranstva dlja prinjatija reshenij v oblasti vzaimodejstvija sistemy vysshego obrazovanija s regional’nym rynkom truda // Aktual’nye problemy jelektronnogo priborostroenija : tr. 12 mezhdunar. konf. APJeP-2014, Novosibirsk, 2–4 okt. 2014 g. : v 7 t. – Novosibirsk : Izd-vo NGTU, 2014. – T. 6. – S. 225-231.
13.Rukovishnikov A. A. Faktornyj lichnostnyj oprosnik R. Kettella : metodicheskoe rukovodstvo / A. A. Rukovishnikov, M. V. Sokolova. – SPb. : GP «Imaton», 2002. – 96 s.
14.Test-oprosnik G. Shmisheka, K. Leongarda. Metodika Akcentuacii haraktera i temperamenta lichnosti. [Jelektronnyj resurs]. URL: http://psycabi.net/testy/395-test-oprosnik-g-shmisheka-k-leongarda-metodika-aktsentuatsii-kharaktera-i-temperamenta (Data obrashhenija 12.03.16).
15.Leongard K. Akcentuirovannye lichnosti. / pod. red. d-ra med. nauk V.M. Blejhera. 2-e izd. ster. – K., 1981. – 390 s.
16.Il’ina T.S., Poletajkin A.N. Jentropijnyj podhod k ocenivaniju sformirovannosti obrazovatel’nyh kompetencij // Matematicheskie metody v tehnike i tehnologijah – MMTT-29 [tekst]: sb. trudov XXIX Mezhdunar. nauch. konf.: v 12 t. T.8. / pod obshh. red. A.A. Bol’shakova. – Saratov: Saratov. gos. tehn. un-t; Sankt-Peterburg: SPbGTI(TU), SPbPU, SPIIRAN; Samara: Samarsk. gos. tehn. un-t, 2016. – S. 137 – 141.
17.Kortneva Ju. Diagnostika aktual’noj problemy – M.: Institut Obshhegumanitarnyh Issledovanij, 2004 – 240 s.
18.Rogov E.I. Nastol’naja kniga prakticheskogo psihologa v obrazovanii : uch. posobie. – Moskva : Vlados, 1995. – 529 s.
19.Kniga prakticheskogo psihologa: chast’ 2 / A.N. Besedin, I.I. Lipatov, A.V. Timchenko, V.B. Shapar’. – H.: RIP «Original», firma «Fortuna-press», 1996.
20.Poletajkin A.N., Il’ina T.S., Informacionnaja sistema upravlenija obrazovatel’nym processom v vysshej shkole // Vestnik SibGUTI. – Novosibirsk, 2016. — №2. — S. 38-50.
21. Poljanskaja N.A., Shamin A.E. Aktual’nye problemy podgotovki kadrov dlja it-sektora nizhegorodskoj oblasti // Vestnik NGIJeI. 2014. № 9 (40). S. 107-118.