Не так давно состоялась международная конференция, на которой рассматривались вопросы повышения эффективности высокопроизводительных вычислений, сети, проблемы хранения и анализа, SC14. Одним из самых ярких событий стал экспериментальный показ передачи данных через WAN, пропускная способность которой составляет 100 Гб/с, в течение продолжительного времени.
Всего 100 минут понадобилось участникам эксперимента из DataDirect Networks (DDN) и Аргоннской лаборатории при поддержке Brocade, Ciena и ICAIR, чтобы переслать между Новым Орлеаном (Луизиана, США) и Оттавой (Канада) 65 ТБ данных. (Для сравнения: если бы использовалось соединение 10 Гб/с, то для данной операции понадобилось бы двое суток.) Производительность такой передачи превысила 85 Гб/с, а на пиковом отрезке составила более 90 Гб/с.
Беспрецедентное достижение стало возможным осуществить с помощью сочетания функций ВМ контроллера хранения DDN, встроенной файловой системы, скоростной передачи данных сервера Globus GridFTP и улучшенной сети широкого доступа 100G.
Главный разработчик программного обеспечения Аргоннской лаборатории Рай Кеттимуту так прокомментировал это достижение: «В виртуальные машины контроллера хранения DDN внедрены серверы GridFTP, благодаря чему были упразднены внешние узлы передачи данных и сетевые адаптеры. Несколько раз в продолжение конференции мы достигали скорости переноса данных в 85 Гб/с от 60 до 90 минут».
В прошлом подобная производительность переноса данных из памяти в память демонстрировалась с применением средств эталонного тестирования. Но получить такие же показатели быстродействия для того, чтобы осуществить передачу между дисками, оказывалось всякий раз трудноосуществимой задачей, так как для этого нужно выбрать размер блока, который подходил бы как для сетевых, так и для дисковых операций ввода-вывода (I/O), а также оптимальное сочетание параллельных потоков TCP с параллельными I/O-потоков хранения.
Целью демонстрации в рамках состоявшейся конференции, как заявил Кеттимуту, было максимально объединить все достижения, достигнутые мировыми экспертами во всех аспектах переноса данных между дисками в широкомасштабных сетях. Участники данного эксперимента с высокой степенью вероятности предполагают, что с помощью такого же подхода можно впоследствии получать пропускную способность, превышающую 100 Гб/с, если при этом задействовать несколько линий WAN и повышенные ресурсы хранения в конечных системах.