La computer vision per l'analisi dei dipinti\ Computer vision for the analysis of paintings
Downloads
Pubblicato
Fascicolo
Sezione
Licenza
Tutti i materiali pubblicati sono coperti da copyright, mantenuto dall'Università di Macerata che ne supporta finanziariamente e tecnicamente la pubblicazione.
La licenza adottata è la Creative Commons - Attribuzione/Condividi allo stesso modo. Ovvero, gli autori che pubblicano su questa rivista accettano le seguenti condizioni:
- Gli autori mantengono i diritti sulla loro opera e cedono alla rivista il diritto di prima pubblicazione dell'opera, contemporaneamente licenziata sotto una Licenza Creative Commons - Attribuzione che permette ad altri di condividere l'opera indicando la paternità intellettuale e la prima pubblicazione su questa rivista.
- Gli autori possono aderire ad altri accordi di licenza non esclusiva per la distribuzione della versione dell'opera pubblicata (es. depositarla in un archivio istituzionale o pubblicarla in una monografia), a patto di indicare che la prima pubblicazione è avvenuta su questa rivista.
- Gli autori possono diffondere la loro opera online (es. in repository istituzionali o nel loro sito web) prima e durante il processo di submission, poiché può portare a scambi produttivi e aumentare le citazioni dell'opera pubblicata.
DOI:
https://doi.org/10.13138/2039-2362/2657Abstract
La crescita del mercato dell’arte, nonché l’enorme quantitativo di immagini digitalizzate di dipinti sul web, stanno ponendo nuove sfide agli studiosi del patrimonio culturale in un quadro di maggiore interazione interdisciplinare con ricercatori nel campo dell’analisi computerizzata delle immagini. Accanto all’affermarsi di metodologie di diagnostica sempre meno invasive e portabili, grande interesse è riposto nelle tecniche di intelligenza artificiale (IA) e nella computer vision (CV) a supporto di operazioni di classificazione e riconoscimento delle opere d’arte. Questo articolo presenta una selezione di alcuni tra i principali approcci dell’ultimo decennio impiegati nella classificazione computerizzata dei dipinti, mettendone in evidenza le caratteristiche, limiti ed opportunità.
Over the past years, the increasing art market demand and the number of fine-art collections that are digitized and shared over the web have led to cross-disciplinary interaction of art historians and image analysis researchers. Therefore, a wide range of techniques from computer vision are being applied to challenge style classification, attribution and artist identification. In recent years, with the successful performance of machine learning and deep learning techniques new research prospects have opened up at the intersection of artificial intelligence and art history methodologies. This paper presents a literature review of different classification approaches and outlines some general problems and opportunities in the field of art history.
Riferimenti bibliografici
Arora R.S., Elgammal A. (2012), Towards automated classification of fineart painting style: A comparative study, Atti della 21a International Conference on Pattern Recognition (ICPR2012) (Tsukuba, Giappone, Novembre 11-15 2012), Red Hook: Curran Associates, pp. 3541-3544.
Bergamo A., Torresani L., Fitzgibbon A.W. (2011), PiCoDes: Learning a Compact Code for Novel-Category Recognition, Atti del convegno Neural Information Processing Systems (Granada, Spagna, 12-15 dicembre 2011), Red Hook: Curran Associates, pp. 2088-2096.
Breuckmann B. (2011), 3-dimensional digital fingerprint of paintings, Atti della 19a European Signal Processing Conference (Barcellona, Spagna, 29 agosto – 2 settembre 2011), Piscataway: Institute of Electrical and Electronics Engineers, pp. 1249-1253.
Carneiro G., da Silva N.P., Del Bue A., Costeira J.P. (2012), Artistic Image Classification: An Analysis on the PRINTART Database, in Computer Vision, a cura di A. Fitzgibbon, S. Lazebnik, P. Perona, Y. Sato, C. Schmid, Berlino: Springer, pp. 143-157.
Condorovici R.G., Florea C., Vertan C. (2015), Automatically classifying paintings with perceptual inspired descriptors, in «Journal of Visual Communication and Image Representation», n. 26, pp. 222-230.
Dantzig M.M. van. (1973), Pictology: An analytical method for attribution and evaluation of pictures, Leiden: Brill.
Donahue J., Jia, Y., Vinyals O., Hoffman J., Zhang N., Tzeng E., Darrell T.
(2013), DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition. arXiv:1310.1531 [cs]. <http://arxiv.org/abs/1310.1531>, 30.08.2021.
Elgammal A., Kang Y., Den Leeuw M. (2017), Picasso, Matisse, or a Fake? Automated Analysis of Drawings at the Stroke Level for Attribution and Authentication, Atti della 32a AAAI Conference on Artificial Intelligence (New Orleans, Stati Uniti, 2-7 febbraio 2018), Palo Alto: AAAI Press, vol. 32, n. 1, pp. 42-50.
Elgammal A., Mazzone M., Liu B., Kim D., Elhoseiny M. (2018), The Shape of Art History in the Eyes of the Machine, Atti della 32a AAAI Conference on Artificial Intelligence (New Orleans, Stati Uniti, 2-7 febbraio 2018), Palo Alto: AAAI Press, vol. 32, n. 1, pp. 2183-2191.
Elkhuizen W., Zaman T., Verhofstad W., Jonker P., Dik J., Geraedts J. (2014), Topographical scanning and reproduction of near-planar surfaces of paintings, «Proceedings of SPIE - The International Society for Optical Engineering», n. 9018, pp. 1-12.
Fiorucci M., Khoroshiltseva M., Pontil M., Traviglia A., Del Bue A., & James S. (2020), Machine Learning for Cultural Heritage: A Survey, «Pattern Recognition Letters» n. 133, pp. 102-108.
Frank S.J., Frank A.M. (2020a), Salient Slices: Improved Neural Network Training and Performance with Image Entropy, «Neural Computation», n. 32(6), pp. 1222-1237.
Frank S.J., Frank A.M. (2020b), Analysis of Dutch Master Paintings with Convolutional Neural Networks. in arXiv:2002.05107 [cs]. , 30.08.2021.
Icoglu O., Gunsel B., Sariel S. (2004), Classification and indexing of paintings based on art movements, Atti della 12a European Signal Processing Conference (Vienna, Austria, 4-8 settembre 2004), Piscataway: Institute of Electrical and Electronics Engineers, pp. 749-752.
Gunsel B., Sariel S., Icoglu O. (2005), Content-based access to art paintings¸ Atti della IEEE International Conference on Image Processing, ICIP 2005, (Genova, Italia, 11-14 settembre 2005), Piscataway: Institute of Electrical and Electronics Engineers, Volume II, pp. 558-561.
Johnson C.R., Hendriks E., Berezhnoy I.J., Brevdo E., Hughes S.M., Daubechies I., Li J., Postma E., Wang J.Z. (2008), Image processing for artist identification, «IEEE Signal Processing Magazine», n. 25(4), pp. 37-48.
Krizhevsky A., Sutskever I., Hinton G.E. (2012), ImageNet classification with deep convolutional neural networks, Atti della 25a International
Conference on Neural Information Processing Systems (Lake Tahoe, USA, 3-8 dicembre 2012), Red Hook: Curran Associates, pp. 1106-1114.
Khan F.S., Beigpour S., van de Weijer J., Felsberg M. (2014), Painting-91: A large scale database for computational painting categorization, «Machine Vision and Applications», n. 25(6), pp. 1385-1397.
Kim J., Jun J.Y., Hong M., Shim H., Ahn J. (2019), Classification of oil painting using Machine Learning with visualized depth information, «ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences», n. 4215, pp. 617-623.
Lowe D. G. (2004), Distinctive Image Features from Scale-Invariant Keypoints, «International Journal of Computer Vision», n. 60(2), pp. 91-110.
Manovich L. (2015), Data Science and Digital Art History. International Journal for Digital Art History, 1, Article 1. <https://doi.org/10.11588/ dah.2015.1.21631>.
Mensink T., van Gemert J. (2014), The Rijksmuseum Challenge: Museum Centered Visual Recognition, Atti della 14a Conference on Multimedia Retrieval (Glasgow, Scozia, 1-8 aprile 2014), New York: Association for Computing Machinery, pp. 451-454.
Nanni L., Ghidoni S., Brahnam S. (2017), Handcrafted vs. Non-handcrafted features for computer vision classification, «Pattern Recognition», n. 71, pp. 158-172.
Narag M.J.G., Soriano M.N. (2019), Identifying the painter using texture features and machine learning algorithms, Atti del 3rd International Conference on Cryptography, Security and Privacy - ICCSP ’19 (Kuala Lumpur, Malesia, gennaio 2019), New York: Association for Computing Machinery, pp. 201-205.
Oliva A., Torralba A. (2006), Chapter 2 Building the gist of a scene: the role of global image features in recognition, in Visual Perception - Fundamentals of Awareness: Multi-Sensory Integration and High-Order Perception, a cura di S. Martinez-Conde, S.L. Macknik, L.M. Martinez, J.M. Alonso, P.U. Tse, Amsterdam: Elsevier, vol. 155, Parte 2, pp. 23-36.
Polak, A., Kelman, T., Murray, P., Marshall, S., Stothard, D., Eastaugh, N., & Eastaugh, F. (2016), Use of infrared hyperspectral imaging as an aid for paint identification, «Journal of Spectral Imaging», vol. 5, n. 1, pp. 1-10.
Polak A., Kelman T., Murray P., Marshall S., Stothard D.J.M., Eastaugh N.,
Eastaugh F. (2017), Hyperspectral imaging combined with data classification techniques as an aid for artwork authentication, «Journal of Cultural Heritage», 26, pp. 1-11.
Portilla J., Simoncelli E. (2000), A Parametric Texture Model Based on Joint Statistics of Complex Wavelet Coefficients, «International Journal of Computer Vision», n. 40.
Qi H., Hughes S. (2011), A new method for visual stylometry on impressionist paintings. 2011 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 2036-2039, <https://doi.org/10.1109/ ICASSP.2011.5946912>.
Qi H., Taeb A., Hughes S.M. (2013), Visual stylometry using background selection and wavelet-HMT-based Fisher information distances for attribution and dating of impressionist paintings, «Signal Processing», n. 93(3), pp. 541-553.
Resig J. (2014), Using Computer Vision to Increase the Research Potential of Photo Archives, «Journal of Digital Humanities», vol. 3 n. 2, pp. 5-36. Saleh B., Abe K., Arora R.S., Elgammal A. (2014), Toward automated discovery of artistic influence, «Multimedia Tools and Applications», n. 75(7), pp. 3565-3591.
Saleh B., Elgammal A. (2015), Large-scale Classification of Fine-Art Paintings: Learning The Right Metric on The Right Feature. ArXiv:1505.00855 [Cs].
<http://arxiv.org/abs/1505.00855>, 30.08.2021.
Shamir L. (2012), Computer Analysis Reveals Similarities between the Artistic Styles of Van Gogh and Pollock, «Leonardo», n. 45(2), pp. 149-154.
Shamir L., Macura T., Orlov N., Eckley D.M., Goldberg I.G. (2010), Impressionism, expressionism, surrealism: Automated recognition of painters and schools of art, «ACM Transactions on Applied Perception», n. 7(2), pp. 1-17.
Shamir L., Tarakhovsky J.A. (2012), Computer analysis of art. Journal, «Computing and Cultural Heritage», n. 5(2), 7:1-7:11.
Stork D.G. (2006), Computer Vision, Image Analysis, and Master Art: Part 1, «IEEE Multimedia», n. 13(3), pp. 16-20.
Stork D.G. (2009), Computer Vision and Computer Graphics Analysis of Paintings and Drawings: An Introduction to the Literature, in Computer Analysis of Images and Patterns X, a cura di N.P. Jiang, N. Petkov, Berlino: Springer, vol. 5702, pp. 9-24.
Torresani L., Szummer M., Fitzgibbon A. (2010), Efficient Object Category Recognition Using Classemes, in Computer Vision – ECCV 2010, a cura di K. Daniilidis, P. Maragos, N. Paragios, Berlino: Springer, pp. 776-789.
Vedaldi A., Lenc K. (2016), MatConvNet - Convolutional Neural Networks for MATLAB. arXiv:1412.4564 [cs], <http://arxiv.org/abs/1412.4564>, 30.08.2021.
Wölfflin H. (1964), Principi architettonici nell’età dell’Umanesimo, Torino: Einaudi.
Zhu Y., Ji Y., Zhang Y., Xu L., Zhou A. L., Chan E. (2019), Machine: The New Art Connoisseur. ArXiv:1911.10091 [Cs]. <http://arxiv.org/abs/1911.10091>, 20.08.2021.
Zou Q., Cao Y., Li Q., Huang C., Wang S. (2014), Chronological classification of ancient paintings using appearance and shape features, «Pattern Recognition Letters», n. 49, pp. 146-154.
Zujovic J., Gandy L., Friedman S., Pardo B., Pappas T.N. (2009), Classifying paintings by artistic genre: An analysis of features classifiers, Atti del IEEE International Workshop on Multimedia Signal Processing (Rio de Janeiro, Brasile, 5-7 ottobre 2009), Piscataway: Institute of Electrical and Electronics Engineers, pp. 1-5.
