Machine vision methods in application for Core Image segmentation

Machine Vision Methods in the Application for Core Image
Segmentation
E. Baraboshkin<1>*, L. Ismailova<1>, D. Orlov<1>, D. Koroteev<1>
<1> Skolkovo Institute of Science and Technology, Integrated Center for Hydrocarbon
Recovery, Digital Petroleum
Summary
The computational power of the reservoir modelling is growing nowadays enabling the use of more precise core
descriptions. The industry needs high accuracy models for precise reserves estimation. As a way to improve
that, different authors proposed semiautomatic image segmentation algorithms based on color spaces
approaches. The segmentation algorithms are common in machine vision as most images consist of semantically
different parts. This paper focuses on the review and application of different machine vision algorithms for
semi-supervised segmentation of full core images based on superpixel approach. Such an approach takes into
account pixel groups with their semantic (texture, intensities, etc.) meaning. The reviewed algorithms can
contribute to the precise description of rocks at different scales. The automatic way to segment lithotypes and
other characteristics of rock introduced. U-Net like convolutional neural network fine-tuned on a small dataset
may produce meaningful results.
«ProGRRess’19» — Sochi, Russia, 5-8 November 2019
Применение методов машинного зрения для литотипирования горных пород
Е.Е. Барабошкин* (Сколтех, Digital Petroleum), Л.И. Исмаилова (Сколтех, Digital Petroleum),
Д.М. Орлов (Сколтех, Digital Petroleum), Д.А. Коротеев (Сколтех, Digital Petroleum)
Введение
Информация о распределении по разрезу скважины пород типа коллектор\ не коллектор – одна
из востребованных характеристик пластов. Особую ценность эта характеристика имеет для
месторождений с трудно извлекаемыми запасами Ачимовской и Баженовской свит. Эта
информация требуется как для подсчета запасов, так и для дальнейшей разработки
месторождения, построения гидродинамической модели, анализа распределения пористости и
проницаемости и многих других задач.
Наиболее точным источником такого рода информации являются исследования на керне. Если
геофизические исследования требуют 20-30 минут для получения информации о 40-50 м керна
в масштабе 1:10, то геологам на это нужно несколько часов, что, в том числе, связано с ручным
вводом информации. Для оптимизации временных затрат предлагаются разные методы: связь
характеристик пород через пороговые значения каналов цветов (RGB, HIS и прочие) [Khasanov,
2014; Prince and Chitale, 2008; Wieling, 2013]. В других случаях используются методы
сегментирования изображений [Thomas et al., 2011].
В нашей работе произведён анализ различных алгоритмов для сегментации изображений горных
пород на литотипы как с помощью выделения суперпикселей (семантически схожих между
собой областей изображений) с помощью методов машинного зрения [Mori et al., 2004; Xiaofeng
and Malik, 2003], так и с помощью алгоритмов семантической сегментации изображений с
применением глубокой нейронной сети типа U-Net [Ronneberger et al., 2015].
Метод (и/или Теория)
Метод сегментации с помощью суперпикселей был выбран в качестве основы так как он
имитирует то, как геолог смотрит на породу, разделяя ту или иную часть керна на разные части.
Для сегментирования были использованы следующие алгоритмы машинного зрения:
Felzenszwalb-Huttenlocher (FH) основанный на построении графов [Felzenszwalb and
Huttenlocher, 2004], Quick Shift (QS) [Vedaldi and Soatto, 2008] сравнивающий пиксели в
свёрнутом пространстве, Simple Linear Iterative Clustering (SLIC) [Achanta et al., 2010]
основанный на кластеризации методом k-средних, Region Adjacency Graph (RAG) [Tremeau and
Colantoni, 2000] базирующийся на результатах двух предыдущих алгоритмов, объединяя
наиболее схожие по цвету регионы в графе, Selective Search (SSh) [Uijlings et al., 2013], который
производит сравнение схожее с RAG, но по большему количеству параметров (текстура, размер
и прочие). Кроме того был использован алгоритм основанный на свёрточных нейронных сетях
(СНС) архитектуры U-Net [Ronneberger et al., 2015].
Данные алгоритмы были имплементированы на языке Python [Van Rossum and Drake, 2011]
версии 3.6, использованные библиотеки: OpenCV [Bradski, 2000], Scikit-image [van der Walt et
al., 2014], NumPy [Travis, 2006] и MatplotLib [Hunter, 2007]. Для построения архитектуры и
обучения использовалась библиотека Keras [Chollet et al., 2015] базирующаяся на TensorFlow
[Martín Abadi, Ashish Agarwal, Paul Barham et al., 2015].
Для калибровки алгоритмов (настройки гиперпараметров) было отобрано 600 фотографий
полноразмерного керна размером 10x10 см с разрешением от 150 DPI из разных литотипов (по
100 изображений на литотип): песчаник (массивный и слоистый), алевролит, аргиллит, гранит и
PROGRESS’19. Exploration as a business
Sochi, Russia, 2019
известняк. Далее с зафиксированными гиперпараметрами был проведён дополнительный анализ
алгоритмов на 500 новых фотографий. Для обучения СНС была использована небольшая база
данных изображений (200 фотографий) размеченных вручную на три класса: песчаник,
аргиллит, трещины. В качестве слоёв инициализации использовалась предобученная ранее для
задачи классификации литотипов нейронная сеть VGG [Baraboshkin et al.].
Оценка алгоритмов машинного зрения происходила по следующим параметрам:
1. Насколько хорошо отделяются неоднородности (несогласия, трещины, границы литотипов);
2. Насколько хорошо определяются мелкомасштабные неоднородности (тонкую слоистость (12 мм), включения, конкреции);
Для оценки работоспособности СНС был использован коэффициент Жаккара (отношение
пересечения двух сегментированных областей к их объединению) [Long et al., 2014].
Результаты
В результате калибровки гиперпараметров алгоритмов для каждого были установлены значения,
при которых начинают появляться детальные и близкие к реальным границам суперпиксели. Для
FH и SSh – масштаб обзора равный 200 и коэффициент σ - 0.8. Для SLIC был установлено что
близкие к реальной слоистости суперпиксели появляются при количестве сегментов равном 150
и уровне плотности равном 10. Для QS – максимальная дистанция установлена равной 80,
коэффициент σ - 0.7.
Работа каждого алгоритма была оценена на новых 500 изображениях (пример оценки на рисунке
1). В результате было установлено , что алгоритм FH хорошо сегментирует даже тонкие слойки
(1-2мм), однако если контраст между породой и включениями небольшой, то такие
неоднородности им объединяются (C? на рисунке 1).
Рисунок 1.
Пример сегментации с помощью различных алгоритмов (расшифровки
аббревиатур см. выше) на изображении аргиллита с прослойками песчаника. Подписи: C –
трещины, L – прослойки песчаника, цвета на сегментированном изображении (CNN) – желтый
– песчаник, фиолетовый – трещины, оранжевый – аргиллит.
PROGRESS’19. Exploration as a business
Sochi, Russia, 2019
Алгоритм QS в отличие от FH устойчив к условиям освещения (как и все последующие), но не
справляется с обнаружением тонких слойков (L? на рисунке 1). SLIC сегментирует резкие
несогласия и трещины, но также как и QS не в состоянии сегментировать тонкие слойки. Так как
алгоритм RAG основан на QS и SLIC, то выводы аналогичны (см. рисунок 1), за исключением
значительного сокращения числа сегментов, что удобно для дальнейшей обработки
изображения. Метод SSh сегментирует включения, трещины, и средние слойки (2-3 мм) (см.
рисунок 1).
Результаты работы СНС представленные на рисунке интерпретированы с показателем
коэффициента Жаккара равным 0.7, основная часть изображения сегментирована правильно,
однако в верхней части изображения наблюдаются неправильные определения особо тёмных
участков аргиллита как трещин. Для улучшения результатов сегментации надо увеличить объем
тренировочной выборки, также следует применить методы аугментации и, кроме того следует
попробовать применить другие метрики и функции потерь.
Выводы
Были продемонстрированы результаты работы 6 алгоритмов. Результаты оценки пяти из них
могут быть сведены в таблицу (таблица 1). Каждый из представленных методов может быть
использован в той или иной области уточнения геологического описания. Так, например,
алгоритм FH может быть использован в качестве инструмента для уточнения наличия в разрезе
мм слойков, алгоритм SLIC и SSh для обнаружения трещин. Для сегментации средних слойков
следует применять алгоритмы QS и RAG. Для каждого алгоритма были подобраны и
представлены гиперпараметры. Описанные алгоритмы будут полезны для создания точного
описания в полуавтоматическом режиме. Для создания полностью автоматического алгоритма
попиксельного описания литотипов и других характеристик горных пород продемонстрированы
результаты сегментации с помощью предобученной СНС архитектуры U-Net.
Таблица 1. Сравнение алгоритмов.
Алгоритм Включения
QS
FH
SLIC
SSh
RAG
+
+/+
+
+
Слойки
тонкие
средние
(1-2 мм)
(2-3 мм)
+/+
+
+
+
+/-
Трещины
Несогласия
+/-/+
+
+
-
+
+
-/+
References
1. Achanta, R., Shaji, A., Smith, K., Lucchi, A., Fua, P., and Süsstrunk, S. [2010]. SLIC Superpixels.
EPFL Technical Report 149300. Retrieved from http://www.kevsmith.com/papers/SLIC_Superpixels.pdf
2. Baraboshkin, E. E., Ismailova, L. S., Orlov, D. M., Zhukovskaya, E. A., Kalmykov, G. A.,
Khotylev, O. V., Baraboshkin, E. Y., and Koroteev, D. A. Deep Convolutions for In-Depth
Automated Rock Typing. Computers & Geosciences, [submit].
3. Bradski, G. [2000]. The OpenCV Library. Dr. Dobb’s Journal of Software Tools.
4. Chollet, F., Google, Microsoft, and Others. [2015]. Keras.
5. Felzenszwalb, P. F., and Huttenlocher, D. P. [2004]. Efficient Graph-Based Image Segmentation.
International Journal of Computer Vision, 59(2), 167–181.
https://doi.org/10.1023/B:VISI.0000022288.19776.77
PROGRESS’19. Exploration as a business
Sochi, Russia, 2019
6. Hunter, J. D. [2007]. Matplotlib: A 2D Graphics Environment. Computing in Science &
Engineering, 9(3), 90–95. https://doi.org/10.1109/MCSE.2007.55
7. Khasanov, I. I. (Gubkin R. state university of oil and gas). [2014]. Rock color distribution analysis
of core images (in Russian). OIL AND GAS GEOLOGY, (5), 33–39.
8. Long, J., Shelhamer, E., and Darrell, T. [2014]. Fully Convolutional Networks for Semantic
Segmentation. Retrieved from http://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf
9. Martín Abadi, Ashish Agarwal, Paul Barham, E. B., Zhifeng Chen, Craig Citro, Greg S. Corrado,
A. D., Jeffrey Dean, Matthieu Devin, Sanjay Ghemawat, I. G., Andrew Harp, Geoffrey Irving,
Michael Isard, Rafal Jozefowicz, Y. J., Lukasz Kaiser, Manjunath Kudlur, Josh Levenberg, Dan
Mané, M. S., Rajat Monga, Sherry Moore, Derek Murray, Chris Olah, J. S., … Zheng, X.
[2015]. TensorFlow: Large-scale machine learning on heterogeneous systems.
10. Mori, G., Xiaofeng, R., Efros, A. A., and Malik, J. [2004]. Recovering human body
configurations: combining segmentation and recognition. Proceedings of the 2004 IEEE
Computer Society Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004.,
2, 326–333. https://doi.org/10.1109/CVPR.2004.1315182
11. Prince, C. M., and Chitale, J. [2008]. Core Image Analysis : Reliable Pay Estimation in ThinBedded Reservoir Units. Image Processing, 1–6.
12. Ronneberger, O., Fischer, P., and Brox, T. [2015]. U-Net: Convolutional Networks for Biomedical
Image Segmentation. Retrieved from http://arxiv.org/abs/1505.04597
13. Thomas, A., Rider, M., Curtis, A., and MacArthur, A. [2011]. Automated lithology extraction
from core photographs. First Break, 29(6), 103–109. Retrieved from
https://www.geos.ed.ac.uk/homes/acurtis/Thomas_etal_FirstBreak_2011.pdf
14. Travis, O. E. [2006]. A guide to NumPy. USA: Trelgol Publishing.
15. Tremeau, A., and Colantoni, P. [2000]. Regions adjacency graph applied to color image
segmentation. IEEE Transactions on Image Processing, 9(4), 735–744.
https://doi.org/10.1109/83.841950
16. Uijlings, J. R. R., van de Sande, K. E. A., Gevers, T., and Smeulders, A. W. M. [2013]. Selective
Search for Object Recognition. International Journal of Computer Vision, 104(2), 154–171.
https://doi.org/10.1007/s11263-013-0620-5
17. van der Walt, S., Schönberger, J. L., Nunez-Iglesias, J., Boulogne, F., Warner, J. D., Yager, N.,
Gouillart, E., and Yu, T. [2014]. scikit-image: image processing in Python. PeerJ, 2, e453.
https://doi.org/10.7717/peerj.453
18. Van Rossum, G., and Drake, F. L. [2011]. The Python language reference manual : for Python
version 3.2. Network Theory Ltd.
19. Vedaldi, A., and Soatto, S. [2008]. Quick Shift and Kernel Methods for Mode Seeking. In
Computer Vision – ECCV 2008 (pp. 705–718). https://doi.org/10.1007/978-3-540-88693-8_52
20. Wieling, I. S. [2013]. Facies and permeability prediction based on analysis of core images.
Retrieved from https://repository.tudelft.nl/islandora/object/uuid%3A9b6bd4b0-1001-4d9ba6eb-7761bc3b2309
21. Xiaofeng, R., and Malik, J. [2003]. Learning a classification model for segmentation. Proceedings
Ninth IEEE International Conference on Computer Vision, 10–17 vol.1.
https://doi.org/10.1109/ICCV.2003.1238308
PROGRESS’19. Exploration as a business
Sochi, Russia, 2019