Preview

Сравнение возможностей логистической регрессии и искусственных нейронных сетей в прогнозировании результатов исследования на малой выборке

https://doi.org/10.36107/hfb.2019.i3.s238

Полный текст:

Аннотация

В настоящее время все чаще предпринимаются попытки сравнивать различные количественные модели для решения конкретных задач классификации данных. При этом в литературе отсутствуют данные о сравнении математических моделей в условиях малых выборок и сложных клинических ситуаций. Цель работы. Сравнить производительность моделей искусственных нейронных сетей и логистической регрессии в прогнозировании результатов исследования в условиях малой выборки. Материалы и методы. В симуляцию включена группа больных из 50 человек, которым была выполнена пластическая операция на митральном клапане. Для симуляции выбраны пять независимых переменных: пол, возраст, индекс массы тела, методика аппроксимации папиллярных мышц. Зависимая переменная - регургитация на митральном клапане в отдаленном периоде. Результаты. По данным логистической регрессии возник феномен разделения данных и получена огромная среднеквадратичная ошибка. По результатам анализа ROC-кривой выявлена зависимость между предиктором возраст и регургитацией на митральном клапане, площадь под кривой говорит о среднем уровне взаимосвязи. Результаты анализа предикторов с помощью искусственных нейронных сетей указывают на то, что основной вклад в качестве предиктора отсутствия регургитации оказывает процедура аппроксимации папиллярных мышц. С помощью теста De-Long проведено сравнение ROC-кривых регрессии и нейронных сетей по фактору возраст: z = 10.71, p <0,0001, выявлены статистически значимые различия, что говорит о преимуществе ИСН в выявлении предикторов. Заключение. При малой выборке с небольшим количеством событий искусственные нейронные сети имеют преимущество над другими методиками при определении предикторов влияния на зависимую переменную.

Об авторах

В. В. Базылев
Федеральный центр сердечно-сосудистой хирургии Министерства здравоохранения России
Россия

Базылев Владлен Владленович

440071, город Пенза, ул. Стасова, дом 6 



В. А. Карнахин
Федеральный центр сердечно-сосудистой хирургии Министерства здравоохранения России
Россия

Карнахин Вадим Александрович

440071, город Пенза, ул. Стасова, дом 6 



Список литературы

1. Носовский, А. М., Пихлак, А. Э., Логачев, В. А., Чур-синова, И. И., & Мутьева Н.А. (2013). Статистика малых выборок в медицинских исследованиях. Российский медицинский журнал, 6.

2. Adavi, M., Salehi, M., & Roudbari, M. (2016). Artificial neural networks versus bivariate logistic regression in prediction diagnosis of patients with hypertension and diabetes. Medical Journal of The Islamic Republic of Iran, 30, 312.

3. Albert, A., & Anderson, J. A. (1984). On the existence of maximum likelihood estimates in logistic regression models. Biometrika, 71(1), 1-10.

4. Anjali, D. N.,& Bossaerts, P. (2014). Risk and Reward Preferences under Time Pressure. Review of Finance, 18, 999-1022.

5. Bamber, D. (1975). The Area above the Ordinal Dominance Graph and the Area belowthe Receiver Operating Characteristic Graph. Journal of Mathematical Psychology, 12,387-415.

6. Bazrafkan, S., Thavalengal, S., & Corcoran, P. (2018). An end to end Deep Neural Network for iris segmentation in unconstrained scenarios. Neural Networks, 106, 79-95. https://doi.org/10.1016Zj.neunet.2018.06.01

7. Bhatikar, S. R., DeGroff, C., & Mahajan, R. L. (2005). A classifier based on the artificial neural network approach for cardiologic auscultation in pediatrics. Artificial Intelligence in Medicine, 33(3), 251-260. https://doi.org/10.1016Zj.artmed.2004.07.008

8. Boutin, A., Pinsard, B., Bore, A., Carrier, J., Fogel, S. M., & Doyon, J. (2018). Transient synchronization of hippocampo-striato-thalamo-cortical networks during sleep spindle oscillations induces motor memory consolidation. NeuroImage, 169, 419-430. https://doi.org/10.1016/j.neuroimage.2017.12.066

9. Carole, C-F. and T.J. Putnins. (2014). Stock Price Manipulation: Prevalence and Determinants. Review of Finance, 18, 23-66.

10. Cire^an, D. (2012). Multi-column deep neural network for traffic sign classification. Neural Networks, 32, 333-338. https://doi.org/10.1016/j.neunet.2012.02.023

11. Coninck, E. De, Bohez, S., Leroux, S., Verbelen, T., Vankeirsbilck, B., Simoens, P., & Dhoedt, B. (2018). DIANNE: a modular framework for designing, training and deploying deep neural networks on heterogeneous distributed infrastructure. Journal of Systems and Software, 141, 52-65. https://doi.org/10.1016/j.jss.2018.03.032

12. DeLong, E. R., DeLong, D. M., & Clarke-Pearson, D.

13. L. (1988). Comparing areas un-der two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics, 44, 837-845

14. Demler, O. V., Pencina, M. J., & D’Agostino, R. B. Sr. (2011). Equivalance of im-provement in area under ROC curve and linear discriminant analysis coefficient underassumption of normality. Statistics in Medicine, 30, 1410-1418.

15. Dreiseitl, S., & Ohno-Machado, L. (1999). Logistic regression and artificial neural network classification models: a methodology review. Journal of Biomedical Informatics, 35, 352-359;

16. Eftekhar, B., Mohammad, K., Ardebili, H. E., Ghodsi,

17. M. , & Ketabchi, E. (2005). Comparison of artificial neural network and logistic regression models for prediction of mortality in head trauma based on initial clinical data. BMC Medical Informatics and Decision Making, 5, 3.

18. Esfandiari, K., Abdollahi, F.,& Talebi, H. A. (2017). Adaptive near-optimal neuro controller for continuous-time nonaffine nonlinear systems with constrained input. Neural Networks, 93,195-204.

19. Fan, Y., Huang, X., Wang, Z., & Li, Y. (2018). Global dissipativity and quasi-synchronization of asynchronous updating fractional-order memristor-based neural networks via interval matrix method. Journal of the Franklin Institute, 355(13), 5998-6025. https://doi.org/10.1016/j.jfranklin.2018.05.058

20. Garcia-Reiriz, A., Damiani, P. C., & Olivieri, A. C. (2007). Analysis of amoxicillin in human urine by photo-activated generation of fluorescence excitation-emission matrices and artificial neural networks combined with residual bilinearization. Analytica Chimica Acta, 588(2), 192-199. https://doi.org/10.1016/j.aca.2007.02.020

21. King, G., & Zeng, L. (2001). Logistic Regression in Rare Events Data. Political Analysis, 9, 137-163.

22. Graves, A., & Schmidhuber, J. (2005). Framewise phoneme classification with bidirectional LSTM and other neural network architectures. Neural Networks, 18(5-6), 602-610. https://doi.org/10.1016/j.neunet.2005.06.042

23. Hassanipour, S., Ghaem, H., Arab-Zozani, M., Seif, M., Fararouei, M., Abdzadeh, E., & Paydar, S. (2019). Comparison of artificial neural network and logistic regression models for prediction of outcomes in trauma patients: A systematic review and meta-analysis. Injury, 50(2), 244-250. http://doi.org/10.1016/j.injury.2019.01.007

24. Haykin, S. (1999). Neural networks: a comprehensive foundation. Upper Saddle Rivero

25. Heinze, G., & Scemper, M. A. (2002). Solution to the problem of separation in logistic regression. Statistics in Medicine, 21(16), 2409-19. https://doi.org/10.1002/sim.1047

26. Han, C., Niu, Y., Pang, T., & Xia, Z. (2018). Intelligent anti-jamming communication based on the modified Q-learning. Procedia Computer Science, 131, 1023-1031. https://doi.org/10.1016/).procs.2018.04.248

27. Hyvarinen, A., & Oja, E. (2000). Independent component analysis: algorithms and applications. Neural Networks, 13, 411-430. https://doi.org/10.1016/S0893-6080(00)00026-5

28. Kulkarni, S. R., & Rajendran, B. (2018). Spiking neural networks for handwritten digit recognition— Supervised learning and network optimization. Neural Networks, 103, 118-127. https://doi.org/10.1016/j.neunet.2018.03.019

29. Lang, E., Pitts, L., Damron, S., & Rutledge, R. (1997). Outcome after severe head injury: an analysis of prediction based upon comparison of neural network versus logistic regression analysis. List of issues. Neurological Research,19(3), 274-80.

30. Lobo, J. L., Lana, I., Del Ser, J., Bilbao, M. N., & Kasabov, N. (2018). Evolving Spiking Neural Networks for online learning over drifting data streams. Neural Networks, 108, 1-19. https://doi.org/10.1016/j.neunet.2018.07.014

31. Maddox, S. A., Watts, C. S., & Schafe, G. E. (2014). DNA methyltransferase activity is required for memory-related neural plasticity in the lateral amygdala. Neurobiology of Learning and Memory, 107, 93-100. https://doi.org/10.1016/j.nlm.2013.11.008

32. Matsui, Y., Suto, Y., Shimura, S., Fukada, Y., Naito, Y., Yasuda, K., & Sasaki, S. (2005). Impact of papillary muscles approximation on the adequacy of mitral coaptation in functional mitral regurgitation due to dilated cardiomyopathy. Annals of Thoracic and Cardiovascular Surgery, 9, 164-171

33. Ottenbacher, K. J., Linn, R. T., Smith, P. M., Illig, S. B., Mancuso, M., & Granger, C. V. (2004). Comparison of logistic regression and neural network analysis applied to predicting living setting after hip fracture. Annals Epidemiology, 14(8),551-9.

34. Parisi, G. I., Kemker, R., Part, L. J., Kanan, C., &Wermtera, S. (2019). Continual lifelong learning with neural networks: A review. Neural Networks, 113, 54-71. https://doi.org/10.1016/j.neunet.2019.01.012

35. Parsaeian, M., Mohammad, K., Mahmoudi, M, & Zeraati, H. (2012). Comparison of logistic regression and artificial neural network in low back pain prediction: second national health survey. Medical Journal of The Islamic Republic of Iran, 41(6), 86-92

36. Pasini, A., Lore, M., & Ameli, F. (2005). Neural network modelling for the analysis of forcings/temperatures relationships at different scales in the climate system. Ecological Modelling, 191,58-67.

37. Plis, S. M., Amin, M. F., Chekroud, A., Hjelm, D., Damaraju, E., Lee, H. J., Bustillo, J. R., Cho, K. H., Pearlson, G. D., & Calhoun, V. D. (2018). Reading the (functional) writing on the (structural) wall: Multimodal fusion of brain structure and function via a deep neural network based translation approach reveals novel impairments in schizophrenia. NeuroImage, 181, 734-747. https://doi.org/10.1016/j.neuroimage.2018.07.047

38. Sargent, D.J. (2001). Comparison of artificial neural networks with other statistical approaches: results from medical data sets. Cancer, 91(8), 1636-1642. 13.

39. Schaefer, R.L. (1983). Bias correction in maximum likelihood logistic regression. Statistics in Medicine, 2(1),71-78. https://doi.org/10.1002/sim.4780020108

40. Song, J. H., Venkatesh, S. S., Conant, E. A., Arger, P. H., & Sehgal, C. M. (2005). Comparative analysis of logistic regression and artificial neural network for computer-aided diagnosis of breast masses. Academic Radiology, 12(4), 487-495. http://doi.org/10.1016/j.acra.2004.12.016

41. Soltoggio, A., Stanley, K. O., & Risi, S. (2018). Born to learn: The inspiration, progress, and future of evolved plastic artificial neural networks. Neural Networks, 108, 48-67. https://doi.org/10.1016/j.neunet.2018.07.013

42. Tavanaei, A., Ghodrati, M., Kheradpisheh, S. R., Masquelier, T., & Maida, A. (2019). Deep learning in spiking neural networks. In Neural Networks, 111, 47-63. Elsevier Ltd. https://doi.org/10.1016/j.neunet.2018.12.002

43. Varikuti, D. P., Genon, S., Sotiras, A., Schwender, H., Hoffstaedter, F., Patil, K. R., Jockwitz, C., Caspers, S., Moebus, S., Amunts, K., Davatzikos, C., & Eickhoff, S. B. (2018). Evaluation of nonnegative matrix factorization of grey matter in age prediction. NeuroImage, 173, 394-410. https://doi.org/10.1016/j.neuroimage.2018.03.007

44. Vellappally, S., Al Kheraif, A. A., Anil, S., & Wahba, A. A. (2019). loT medical tooth mounted sensor for monitoring teeth and food level using bacterial optimization along with adaptive deep learning neural network. Measurement: Journal of the International Measurement Confederation, 135, 672-677. https://doi.org/10.1016/).measurement.2018.11.078

45. Wang, J., Ling, C., & Gao, J. (2017). CNNdel: Calling Structural Variations on Low Coverage Data Based on Convolutional Neural Networks. Journal of Biomedical Informatics, 6375059.

46. Waisman, A., La Greca, A., Mobbs, A. M., Scarafia, M. A., Santin Velazque, N. L., Neiman, G., Moro, L. N., Luzzani, C., Sevlever, G. E., Guberman, A. S., & Miriuka, S. G. (2019). Deep Learning Neural Networks Highly Predict Very Early Onset of Pluripotent Stem Cell Differentiation. Stem Cell Reports, 12(4), 845-859. https://doi.org/10.1016/j.stemcr.2019.02.004

47. Wideman, C. E., Jardine, K. H., & Winters, B. D. (2018). Involvement of classical neurotransmitter systems in memory reconsolidation: Focus on destabilization. Neurobiology of Learning and Memory, 156, 68-79. https://doi.org/10.1016/j.nlm.2018.11.001

48. Zhang, G., Eddy Patuwo, B., Y. Hu, M. (1998). Forecasting with artificial neural networks: The state of the art. International Journal of Forecasting, 14(1), 35-62. https://doi.org/10.1016/S0169-2070(97)00044-7

49. Zhang, Y., Ye, D., & Liu, Y. (2018). Robust locally linear embedding algorithm for machinery fault diagnosis. Neurocomputing, 273, 323 -332. https://doi.org/10.1016/j.neucom.2017.07.048

50. Zurada, J., Malinowski, A., Cloete, A. (1994). Sensitivity analysis for minimization of input dimension for feedforward neural networks. Proceedings of the 2003 IEEE International Symposium on Circuits and Systems, 6, 447-50. https://doi.org/10.1109/ISCAS.1994.409622


Просмотров: 7


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2712-7648 (Online)