Из-за многослойного строения Земли ученые часто сравнивают базовое устройство ее недр с луковицей. Знакомая тонкая корка континентов и океанского дна; толстая мантия из горячих полутвердых пород; внешнее ядро из расплавленного металла; и внутреннее ядро из твердого железа.
Но, в отличие от луковицы, отслоение слоев Земли для лучшего изучения планетарной динамики не является вариантом, вынуждая ученых делать обоснованные предположения о внутренней жизни нашей планеты на основе наблюдений на уровне поверхности. Однако умные методы визуализации, разработанные учеными-вычислителями, обещают пролить свет на подземные секреты Земли.
Используя передовое моделирование и симуляцию, сейсмические данные, полученные в результате землетрясений, и один из самых быстрых в мире суперкомпьютеров, команда под руководством Джероена Тромпа из Принстонского университета создает подробную трехмерную картину недр Земли. В настоящее время команда сосредоточена на съемке всего земного шара от поверхности до границы ядра и мантии на глубине 1800 миль.
Эти высокоточные симуляции добавляют контекст к текущим дебатам, связанным с геологической историей и динамикой Земли, показывая такие важные особенности, как тектонические плиты, шлейфы магмы и горячие точки. В 2016 году команда выпустила глобальную модель первого поколения. Модель, созданная с использованием данных о 253 землетрясениях, полученных с помощью сейсмограмм, разбросанных по всему миру, отличается глобальным масштабом и высокой масштабируемостью.
«Это первая глобальная сейсмическая модель, в которой не использовались никакие приближения - кроме выбранного численного метода - для моделирования того, как сейсмические волны распространяются по Земле и как они обнаруживают неоднородности», - сказал Эбру Боздаг, один из главных исследователей проект и доцент кафедры геофизики Университета Ниццы Софии Антиполис.«Это важная веха для сообщества сейсмологов. Впервые мы показали людям ценность и осуществимость использования таких инструментов для глобальной сейсмической визуализации».
Происхождение проекта можно проследить до теории построения сейсмических изображений, впервые предложенной в 1980-х годах. Чтобы заполнить пробелы в картах сейсмических данных, теория предложила метод, называемый сопряженной томографией, итеративный метод полной инверсии формы волны. Этот метод использует больше информации, чем конкурирующие методы, используя прямые волны, которые распространяются от источника землетрясения к сейсмическому приемнику, и сопряженные волны, которые представляют собой математически полученные волны, которые распространяются от приемника к землетрясению.
Проблема с проверкой этой теории? «Для этого нужны действительно большие компьютеры, - сказал Боздаг, - потому что моделирование как прямых, так и сопряженных волн выполняется в трехмерном численном виде».
В 2012 году именно такая машина появилась в виде суперкомпьютера Titan, Cray XK7 с производительностью 27 петафлоп, управляемого Oak Ridge Leadership Computing Facility (OLCF) Министерства энергетики США, Центр научных пользователей, расположенный в Национальной лаборатории Министерства энергетики Ок-Ридж. Опробовав свой метод на небольших машинах, команда Тромпа получила доступ к Титану в 2013 году с помощью программы Innovative and Novel Computational Impact on Theory and Experiment, или INCITE..
Работая с персоналом OLCF, команда продолжает расширять границы вычислительной сейсмологии на более глубокие глубины.
Сшивка сейсмических срезов
Когда происходит землетрясение, высвобождение энергии создает сейсмические волны, которые часто наносят ущерб жизни на поверхности. Однако те же самые волны дают ученым возможность заглянуть в недра, измеряя вибрации, проходящие через Землю.
По мере распространения сейсмических волн сейсмограммы могут обнаруживать изменения их скорости. Эти изменения дают представление о составе, плотности и температуре среды, через которую проходит волна. Например, волны движутся медленнее при прохождении через горячую магму, такую как мантийные плюмы и горячие точки, чем при прохождении через более холодные зоны субдукции, места, где одна тектоническая плита скользит под другую.
Каждая сейсмограмма представляет собой узкий срез недр планеты. Соединяя множество сейсмограмм вместе, исследователи могут создать трехмерное глобальное изображение, захватывающее все: от шлейфов магмы, питающих Огненное кольцо, до горячих точек Йеллоустона и субдуктивных плит под Новой Зеландией.
Этот процесс, называемый сейсмической томографией, работает аналогично методам визуализации, используемым в медицине, когда двухмерные рентгеновские изображения, полученные с разных точек зрения, объединяются для создания трехмерных изображений областей внутри тела.
В прошлом методы сейсмической томографии были ограничены в объеме сейсмических данных, которые они могли использовать. Традиционные методы заставляли исследователей делать приближения при моделировании волн и ограничивать данные наблюдений только основными сейсмическими фазами. Смежная томография, основанная на трехмерном численном моделировании, используемом командой Тромпа, не имеет таких ограничений. «Мы можем использовать все данные - что угодно и что угодно», - сказал Боздаг.
Запустив свою версию кода SPECFEM3D_GLOBE для графического процессора, команда Тромпа использовала Titan для применения полноволновой инверсии в глобальном масштабе. Затем команда сравнила эти «синтетические сейсмограммы» с наблюдаемыми сейсмическими данными, предоставленными Объединенными исследовательскими институтами сейсмологии (IRIS), вычислив разницу и вернув эту информацию обратно в модель для дальнейшей оптимизации. Каждое повторение этого процесса улучшает глобальные модели.
«Это то, что мы называем рабочим процессом сопряженной томографии, и в глобальном масштабе для его выполнения в разумные сроки требуется суперкомпьютер, такой как Titan», - сказал Боздаг. «Для нашей модели первого поколения мы выполнили 15 итераций, что на самом деле мало для таких задач. Несмотря на небольшое количество итераций, наша расширенная глобальная модель демонстрирует силу нашего подхода. Однако это только начало.."
Автоматизация для расширения
Для своей первоначальной глобальной модели команда Тромпа выбрала землетрясения, зарегистрированные между 5.8 и 7 баллов по шкале Рихтера - эталон измерения интенсивности землетрясений. Этот диапазон можно немного расширить, включив в базу данных IRIS более 6000 землетрясений, что примерно в 20 раз превышает объем данных, используемых в исходной модели.
Чтобы получить максимальную отдачу от всех доступных данных, требуется надежный автоматизированный рабочий процесс, способный ускорить итеративный процесс команды. Сотрудничая с персоналом OLCF, команда Тромпа добилась прогресса в достижении этой цели.
Для модели первого поколения команды Боздаг выполнял каждый шаг рабочего процесса вручную, и на одно обновление модели уходило около месяца. Члены команды Матьё Лефевр, Венджи Лей и Юи Руан из Принстонского университета, а также Джуди Хилл из OLCF разработали новые автоматизированные рабочие процессы, которые обещают сократить этот цикл до нескольких дней.
«Автоматизация действительно сделает его более эффективным, а также уменьшит человеческий фактор, который довольно легко внедрить», - сказал Боздаг.
Дополнительная поддержка со стороны сотрудников OLCF способствовала эффективному использованию и доступности проектных данных. В начале проекта команда Тромпа работала с Норбертом Подхорски из OLCF над улучшением перемещения и гибкости данных. Конечный результат, названный Adaptable Seismic Data Format (ASDF), использует параллельную библиотеку Adaptable I/O System (ADIOS) и дает команде Тромпа превосходный формат файлов для записи, воспроизведения и анализа данных на крупномасштабных параллельных вычислительных ресурсах.
Кроме того, Дэвид Пагмайр из OLCF помог команде внедрить инструменты визуализации на месте. Эти инструменты позволили членам команды более легко проверять свою работу с локальных рабочих станций, позволяя создавать визуализации в сочетании с моделированием на Титане, устраняя необходимость в дорогостоящей передаче файлов.
«Иногда дьявол кроется в деталях, поэтому вам действительно нужно быть осторожным и знать, на что вы смотрите», - сказал Боздаг. «Инструменты визуализации Дэвида помогают нам исследовать наши модели и видеть, что есть, а чего нет».
С визуализацией становится очевидным масштаб проекта команды. Миллиард-летний цикл подъема расплавленной породы от границы ядра и мантии и падения с земной коры - мало чем отличающийся от движения шариков в лавовой лампе - принимает форму, как и другие интересующие геологические особенности.
На данном этапе разрешение глобальной модели команды становится достаточно продвинутым, чтобы информировать континентальные исследования, особенно в регионах с плотным охватом данными. Чтобы сделать его полезным на региональном уровне или меньше, например, активность мантии под Южной Калифорнией или подверженную землетрясениям кору Стамбула, потребуется дополнительная работа.
«Большинство глобальных моделей в сейсмологии согласуются в больших масштабах, но значительно отличаются друг от друга в меньших масштабах», - сказал Боздаг. «Вот почему так важно иметь более точное изображение внутренней части Земли. Создание изображений мантии с высоким разрешением позволит нам внести свой вклад в эти обсуждения."
Копаем глубже
Для дальнейшего повышения точности и разрешения команда Тромпа экспериментирует с параметрами модели в соответствии с последним распределением INCITE. Например, модель второго поколения команды представит анизотропные инверсии, которые представляют собой расчеты, которые лучше отражают различные ориентации и движения горных пород в мантии. Эта новая информация должна дать ученым более четкое представление о движении мантии, ее составе и взаимодействиях между земной корой и мантией.
Кроме того, члены команды Дмитрий Коматич из Экс-Марсельского университета во Франции и Даниэль Питер из Университета короля Абдуллы в Саудовской Аравии возглавляют усилия по обновлению SPECFEM3D_GLOBE, чтобы включить такие возможности, как моделирование высокочастотных сейсмических волн. Частота сейсмической волны, измеряемая в герцах, эквивалентна количеству волн, проходящих через фиксированную точку за одну секунду. Например, текущая минимальная частота, используемая в моделировании команды, составляет около 0.05 герц (1 волна в 20 секунд), но Боздаг сказал, что команда также хотела бы включить сейсмические волны до 1 герца (1 волна в секунду). Это позволило бы команде моделировать более мелкие детали мантии Земли и даже начать картирование ядра Земли.
Чтобы совершить этот скачок, команда Тромпа готовится к Summit, суперкомпьютеру нового поколения OLCF. Планируется, что в 2018 году Summit будет обеспечивать как минимум в пять раз большую вычислительную мощность, чем Titan. В рамках Центра ускоренной подготовки приложений OLCF команда Тромпа работает с персоналом OLCF над тем, чтобы воспользоваться преимуществами вычислительной мощности Summit по прибытии.
«С помощью Summit мы сможем получить изображение всего земного шара от земной коры до центра Земли, включая ядро», - сказал Боздаг. «Наши методы дороги - для их реализации нужен суперкомпьютер, - но наши результаты показывают, что эти затраты оправданы, даже необходимы».