abptel-bigLogo

Разработка оптических межсоединений для кластеров графических процессоров и сетей искусственного интеллекта.

По мере роста масштабов и сложности кластеров графических процессоров и рабочих нагрузок ИИ, оптические межсоединения стали основой высокопроизводительных сетей центров обработки данных. Резкий рост числа моделей ИИ, особенно больших языковых моделей (LLM), предъявляет огромные требования к пропускной способности, задержке и масштабируемости межсоединений. От понимания технологий модулей до развертывания сетевых инфраструктур, специально разработанных для ИИ, и управления ограничениями по энергопотреблению, решения, принимаемые сегодня инженерами центров обработки данных, определяют производительность, эффективность и долгосрочную масштабируемость. В этой статье рассматривается сложная структура оптических межсоединений: технологии физического уровня, обеспечивающие работу этих систем, проектирование сетевой топологии для крупномасштабных рабочих нагрузок ИИ, компромиссы в отношении энергопотребления и теплоотдачи, отраслевые стандарты и развивающиеся планы развертывания. Каждая глава связывает эти важнейшие элементы, чтобы помочь лицам, принимающим решения, проектировать современные инфраструктуры ИИ с точностью и дальновидностью.

Выбор физического уровня: оптические модули, носители и радиус действия для масштабируемых кластеров графических процессоров и сетей искусственного интеллекта.

В кластерах с графическими процессорами обычно используются различные оптические трансиверы и варианты кабельной разводки.

Физический уровень определяет, будет ли архитектура ИИ просто быстрой на бумаге или эффективной в масштабе. Внутри сервера каналы связи между графическими процессорами и между центральными процессорами обычно остаются электрическими, поскольку они обеспечивают экстремальную пропускную способность, очень низкую задержку и жесткий контроль энергопотребления на коротких расстояниях. Оптический выбор начинается, когда трафик покидает узел и попадает в стойку, ряд или более широкую сеть. На этом этапе правильный выбор зависит не столько от типа модуля, сколько от соответствия дальности действия, скорости передачи данных, энергопотребления и модели обслуживания интенсивному коллективному трафику.

Для очень коротких соединений медь по-прежнему играет важную роль. Кабели прямого подключения обеспечивают наименьшую мощность и задержку, но их дальность действия ограничена. Активные электрические кабели немного увеличивают эту дальность, хотя и с большей мощностью и дополнительной синхронизацией. Активные оптические кабели становятся привлекательными, когда операторам требуется более аккуратная прокладка кабелей и более длинные внутристоечные или рядные маршруты. Тем не менее, структурированное одномодовое волокно становится основой по умолчанию для новых систем искусственного интеллекта, поскольку оно обеспечивает более удобный путь миграции с 400G на 800G, а затем на 1.6T.

Это делает оптику с прямой модуляцией интенсивности практичным и универсальным решением. На скорости 400G короткодиапазонные параллельные одномодовые модули хорошо подходят для оконечных и верхних стоечных соединений, в то время как дуплексные варианты на 2 км упрощают прокладку кабелей там, где важны патч-панели и агрегация рядов. На скорости 800G сохраняется та же закономерность: параллельная оптика эффективна для соединений между стойками, а дуплексные конструкции на 2 км лучше подходят, когда операторам требуется меньшее количество волокон и более простые операции. Полезный обзор этих компромиссов представлен в этом руководстве. Трансиверы 400G против 800GДля крупных кластеров ИИ 800G все чаще становится базовым стандартом, поскольку пропускная способность конечных точек быстро растет, а коммутация с высокой степенью защиты сокращает количество дорогостоящих переходов.

Более сложный выбор теперь заключается не только в охвате. Он также включает в себя... задержка на порт, ватт на бит и работоспособность при отказеТрадиционные подключаемые модули на основе DSP остаются наиболее безопасным вариантом с точки зрения совместимости и запаса по сигналу, особенно на больших расстояниях. Однако они увеличивают энергопотребление и измеримую задержку. Линейная оптика снижает оба параметра, что важно в синхронизированных коллективных сетях, где задержка хвоста сигнала от самого медленного потока определяет время итерации. Компромисс заключается в более точном управлении каналом и более узком рабочем диапазоне. Оптика, расположенная близко к корпусу или в одном корпусе, еще больше повышает эффективность за счет уменьшения электрических цепей, что будет иметь большее значение по мере того, как электрические линии 224G будут управлять портами 1.6T, но это усложняет техническое обслуживание и поиск запасных частей.

Таким образом, физический уровень для кластеров GPU становится все более понятным. Используйте медь там, где расстояние минимально и каждая наносекунда на счету. Используйте AOC там, где побеждает простота в эксплуатации. Используйте 400G в основном для переходных или небольших развертываний. Используйте одномодовую оптику 800G в качестве текущего стандарта для серьезных сетей ИИ. И проектируйте инфраструктуру, разъемы и плотность лицевых панелей сейчас таким образом, чтобы внедрение 1.6T стало модернизацией, а не перестройкой.

Проектирование сетевых архитектур для искусственного интеллекта: топологии и протоколы, определяющие потребности в оптических межсоединениях.

В кластерах с графическими процессорами обычно используются различные оптические трансиверы и варианты кабельной разводки.

После выбора оптических модулей возникает более сложный вопрос: как сеть будет вести себя при обработке трафика ИИ? Кластеры графических процессоров не генерируют плавные, случайные потоки. Они создают синхронизированные всплески в результате коллективных операций, когда тысячи конечных точек могут одновременно подключаться к одному и тому же обмену данными. Это меняет то, что сеть должна оптимизировать. Пропускная способность имеет значение, но предсказуемое время завершения Это имеет большее значение. В процессе обучения самый медленный поток часто задает темп на протяжении всего этапа.

Именно поэтому проектирование коммутационной матрицы и планирование оптических межсоединений неразделимы. Топология со слишком большим количеством переходов добавляет задержку на каждом коммутаторе и канале связи. Коммутационная матрица с переподпиской может выглядеть эффективной на бумаге, но показывать низкую производительность на этапах AllReduce или AllGather. Поэтому кластеры ИИ предпочитают конструкции, близкие к неблокирующим, часто с соотношением 1:1 до 1.2:1, чтобы коллективный трафик мог перемещаться без серьезной блокировки в начале очереди или большой задержки в конце цепочки. Folded-Clos остается вариантом по умолчанию, поскольку он хорошо масштабируется и соответствует архитектуре leaf-spine, но его потребность в оптических данных быстро возрастает. Каждый дополнительный этап увеличивает количество трансиверов, сложность оптоволоконной сети и энергопотребление.

В более крупных масштабах операторы могут рассматривать конструкции типа «стрекоза» для уменьшения количества глобальных каналов связи или сетчатые архитектуры, где ценятся детерминированные пути. Компромисс заключается в сложности эксплуатации. Эти подходы могут сэкономить порты, но требуют более строгого управления трафиком и маршрутизацией. Для большинства сред совместного использования ИИ более простые высокорадиксные архитектуры остаются проще в настройке и расширении. Это особенно актуально по мере того, как каналы 800G становятся стандартом и начинается переход к 1.6T, переход, который более подробно рассматривается в этом руководстве. Трансиверы 400G против 800G.

Выбор протокола также имеет важное значение. Передача данных без потерь или почти без потерь не является необязательным вариантом для ресурсоемких задач, связанных с коллективным трафиком. Сети на основе кредитов привлекательны, поскольку обеспечивают стабильную задержку и ограниченное поведение при перегрузке. Сети RDMA на основе Ethernet также могут показывать хорошие результаты, но только при дисциплинированном управлении перегрузкой, явной маркировке, тщательном проектировании очередей и достаточном буфере для поглощения синхронизированных всплесков. В противном случае повторные передачи и дрожание нивелируют преимущества быстрой оптики. Функции внутрисетевого сокращения еще больше меняют ситуацию, уменьшая объем трафика, который должен проходить через сеть, что может задержать дорогостоящее масштабирование оптических сетей.

В этом смысле сетевая инфраструктура — это не просто путь, который должна обслуживать оптика. Это системное ограничение, определяющее, нужны ли кластеру короткодиапазонные оптические каналы связи, более длинные дуплексные агрегационные каналы или быстрый переход к более высоким разрядам и более быстрым линиям. Требования к оптическим межсоединениям возникают из совместной работы топологии, поведения транспортного уровня и физики коллективной связи.

Выбор параметров питания, тепловыделения и корпуса, определяющих характеристики оптических межсоединений для графических процессоров, работающих с искусственным интеллектом.

В кластерах с графическими процессорами обычно используются различные оптические трансиверы и варианты кабельной разводки.

По мере того, как кластеры ИИ переходят от сотен графических процессоров к тысячам, выбор оптических межсоединений становится проблемой проектирования энергопотребления и теплоотвода в той же мере, что и пропускной способности. Хотя пропускная способность сети может измеряться в терабитах в секунду, в конечном итоге она развертывается в стойках, на лицевых панелях коммутаторов и в системах охлаждения. Это меняет ответ на вопрос о том, какие оптические межсоединения необходимы. Правильный выбор — это не просто самый быстрый модуль. Это тот, который обеспечивает необходимую дальность действия, задержку и плотность, не превышая при этом энергетический бюджет и не делая обслуживание сети невозможным.

Это давление наиболее сильно проявляется сейчас при 800G и усилится при 1.6T. Высокоскоростной коммутатор, заполненный оптикой 800G, может выделять более киловатта только на оптику. При 1.6T первые модули значительно увеличивают это число. В больших сетях искусственного интеллекта оптика может составлять значительную долю общей мощности сети, которая затем становится дополнительной нагрузкой на охлаждение. Это важно, потому что трафик, интенсивно используемый для обучения, чувствителен к дросселированию, перегреву и сбоям, вызванным тепловым напряжением. Сеть, разработанная для теоретической пропускной способности, но развернутая с недостаточным воздушным потоком, на практике не будет вести себя как сеть искусственного интеллекта с низким уровнем дрожания.

Таким образом, конструкция имеет такое же значение, как и модуляция. Традиционные подключаемые модули на основе DSP остаются привлекательными, поскольку они модульные, совместимые и их легче заменить в полевых условиях. Они также выдерживают большие расстояния и более разнообразные условия эксплуатации. Но они потребляют больше энергии и добавляют измеримую задержку. Линейные подключаемые оптические модули уменьшают оба параметра за счет удаления оптического DSP, что делает их привлекательными для жестко контролируемых одномодовых каналов связи на коротких расстояниях внутри линий AI. Однако они не являются универсальным решением. Их преимущества зависят от чистых каналов, проверенных хостов и дисциплинированной работы. Для многих разработчиков такой компромисс оправдан там, где важен каждый ватт и наносекунда.

Следующий шаг — приближение оптики к кристаллу коммутатора. Подходы, предполагающие близость к корпусу и совместную компоновку, снижают электрические потери, повышают плотность размещения и обеспечивают более удобный доступ к линиям 224G. Эти преимущества реальны, особенно в плотных ядрах ИИ, где мощность лицевой панели и целостность сигнала становятся ограничивающими факторами. Цена — удобство обслуживания. Замена вышедшего из строя подключаемого модуля проста в эксплуатации. Замена оптики, тесно связанной с корпусом коммутатора, — нет. Это делает стратегию компоновки неотделимой от политики резервирования, рабочих процессов обслуживания и целевых показателей среднего времени ремонта.

Для большинства современных сетей искусственного интеллекта практический путь является многоуровневым: использование модульной оптики 400G и 800G там, где важны гибкость и замена в полевых условиях, внедрение маломощных вариантов для коротких расстояний там, где условия окружающей среды контролируются, и сохранение более агрессивной компоновки для самых плотных коммутационных уровней. Эта миграция уже формирует... Оптические модули 400G и 800G для удовлетворения потребностей в области искусственного интеллекта.и это определит, как масштабировать кластеры, не превращая сетевую мощность в ограничивающий ресурс.

Почему стандарты, цепочки поставок и экономика портов влияют на выбор оптических межсоединений для кластеров графических процессоров?

В кластерах с графическими процессорами обычно используются различные оптические трансиверы и варианты кабельной разводки.

Выбор оптической сети в кластере ИИ обусловлен не только пропускной способностью, но и экономическими факторами и операционными рисками. Проект может выглядеть идеально на бумаге, но потерпеть неудачу при развертывании, если предложение модулей ограничено, стандарты недостаточно развиты или модель кабельной сети слишком быстро увеличивает стоимость портов. Именно поэтому практическое решение проблемы... Какие оптические межсоединения необходимы для кластеров графических процессоров и сетей искусственного интеллекта? Это зависит от баланса трех факторов: зрелости стандартов, производственных объемов и реальной стоимости каждого дополнительного звена, подключенного к графическому процессору.

Стандарты важны, потому что они определяют, насколько быстро кластер может масштабироваться, не привязывая оператора к уязвимым исключениям. В настоящее время центр тяжести развертывания сосредоточен вокруг оптики 400G и 800G PAM4, подкрепленной хорошо изученной прямой коррекцией ошибок, общими форм-факторами и устоявшейся одномодовой пропускной способностью. Такая зрелость снижает трудозатраты на квалификацию и улучшает поиск поставщиков из разных стран. Это также объясняет, почему 400G DR4 и FR4 остаются актуальными даже при расширении 800G. Это не просто более медленные варианты. Это стабильные строительные блоки для переходных уровней, расширения сети и поэтапного развертывания. Для команд, сравнивающих количество линий, пропускную способность и пути миграции, этот обзор Трансиверы 400G против 800G отражает решения, с которыми сегодня сталкиваются многие специалисты по планированию сетей с использованием ИИ.

Реалии цепочки поставок еще больше сужают выбор. Высокоскоростная оптика зависит от лазеров, цифровых сигнальных процессоров, передовых технологий упаковки и мощностей тестирования, которые не масштабируются в одночасье. Когда спрос резко возрастает, обычно побеждают стандарты с наибольшим объемом производства, поскольку их проще найти и заменить. Это дает стандартизированным классам DR и FR преимущество перед нишевыми вариантами. Это также благоприятствует подключаемым конструкциям во многих областях применения, поскольку замена в полевых условиях проще, а стратегии обеспечения запасными частями более понятны. Ранние образцы оптики 1.6 Тл имеют стратегическое значение, но они сначала появятся в кластерах, где давление плотности оправдывает премиальные цены и более длительные циклы квалификации.

Экономические аспекты портов связывают эти решения с производительностью ИИ. В сетях с высокой долей коллективного трафика требуется множество высокоскоростных портов, часто с очень низким уровнем перегрузки. Это делает стоимость оптики вопросом на уровне всей сети, а не отдельной статьей расходов. Немного более дорогой модуль может все же снизить общую стоимость системы, если он уменьшит количество волокон, снизит количество коммутационных каскадов или отложит модернизацию шасси. И наоборот, самый дешевый модуль может стать дорогим, если он увеличит сложность кабельной системы, займет дефицитное место на лицевой панели или фрагментирует резервный пул. Именно поэтому операторы часто стандартизируют использование небольшого комплекта оптики: варианты с малой дальностью действия для подключения серверов, оптика класса DR для каналов масштабирования строк, оптика класса FR для агрегации и четкий путь миграции к 1.6 Тл после стабилизации экосистем и объемов поставок 200 Гбит/с на линию.

От 400 Гбит/с до 1.6 Тл: Практические планы развертывания оптических межсоединений в кластерах графических процессоров и сетях искусственного интеллекта

В кластерах с графическими процессорами обычно используются различные оптические трансиверы и варианты кабельной разводки.

После того, как будут поняты стандарты, стоимость и реалии поставок, планирование развертывания становится вопросом к какому классу оптики относится каждый По мере роста кластеров GPU ответ редко сводится к выбору одного единственного носителя. Это поэтапный план, привязанный к охвату, разрядности, задержке и тому, насколько быстро сеть должна масштабироваться от одного ряда до множества рядов или даже нескольких зданий.

Для небольших сред с графическими процессорами первый шаг обычно прост и продуман. Внутри стойки медные или короткие активные кабели остаются наилучшим вариантом, если позволяет длина, поскольку они экономят энергию и снижают задержку. Выбор оптического кабеля начинается на границе стойки. Если структурированная одномодовая кабельная система уже используется, 400G DR4 предлагает удобную отправную точку для соединений сервер-коммутатор и коммутатор-магистраль в пределах одного ряда. Там, где операторам нужна большая гибкость с более простой дуплексной кабельной системой, FR4 становится привлекательным, хотя и с более высоким энергопотреблением и стоимостью. На этом этапе многие команды решают, строят ли они систему только для текущих задач обучения или для следующего удвоения пропускной способности конечных устройств. Этот выбор часто определяет, является ли 400G мостом или платформой. Полезным ориентиром для этого перехода является Трансиверы 400G против 800Gособенно при балансировании сроков миграции с повторным использованием кабелей.

По мере того, как кластеры увеличиваются до нескольких тысяч графических процессоров, дорожная карта решительно смещается в сторону оптики 800G. Совокупная пропускная способность узлов растет быстрее, чем операторы могут допустить увеличение количества сетевых уровней, поэтому коммутация с более высоким числом портов и более плотные оптические восходящие каналы имеют большее значение, чем постепенное сокращение количества портов. На практике 800G DR8 становится распространенным одномодовым строительным блоком для межстоечной и построчной связи, в то время как 800G 2xFR4 подходит для агрегированных путей, простирающихся на большие расстояния через залы. Такое сочетание поддерживает практически неблокирующие схемы Clos без чрезмерного усложнения волоконно-оптической сети. Оно также создает более чистые пути разветвления, например, разделение одного восходящего канала 800G на два канала 400G во время поэтапного расширения.

В более крупных масштабах план действий уже не сводится только к скорости. Он начинает касаться... плотность мощности и управление скачкамиВ архитектуре с синхронизированными коллективными модулями невозможно скрыть увеличение задержки, вызванное дополнительными каскадами, интенсивной обработкой DSP или тепловым дросселированием. Именно поэтому в условиях коротких расстояний все чаще оцениваются линейные подключаемые оптические модули для уменьшения как мощности, так и наносекунд, в то время как наиболее плотные уровни ядра готовятся к почти полностью упакованным или совместно упакованным решениям, как только электрические линии 224G выведут традиционные конструкции передней панели на слишком высокий уровень.

Таким образом, 1.6 Тл — это не столько роскошь, сколько следующий логический шаг для очень больших сетей искусственного интеллекта. Это снижает нагрузку на лицевую панель, уменьшает количество оптических конечных точек, необходимых для заданной пропускной способности сети, и помогает сохранить топологии начального уровня по мере приближения кластеров к масштабу кампуса. Таким образом, практическая дорожная карта — это не внезапный скачок. Это контролируемое развитие: 400 Гбит/с для переходных конфигураций, 800 Гбит/с в качестве нынешнего основного стандарта и 1.6 Тл в качестве масштабируемого уровня для следующего поколения кластеров GPU.

Заключение

Оптические межсоединения являются основой современных сетей кластеров ИИ и графических процессоров, обеспечивая их потребность в пропускной способности, масштабируемости и надежности. Поскольку операторы центров обработки данных планируют будущее, выбор и развертывание оптических решений 400G и 800G уже сегодня, а также подготовка к развитию 1.6T, гарантируют операционную эффективность. Тщательный анализ энергосбережения, тепловых компромиссов и различий между существующими и новыми стандартами позволит создать системы, эффективно справляющиеся с экспоненциальным ростом рабочих нагрузок ИИ. Независимо от того, управляете ли вы небольшим кластером графических процессоров или гипермасштабным развертыванием ИИ, понимание ландшафта оптических технологий и их интеграции позволит командам создавать надежные, готовые к будущему инфраструктуры.

Обратитесь в ABPTEL за консультацией по высокоскоростной оптике, кабелям MTP/MPO и решениям для межсоединений центров обработки данных, чтобы модернизировать вашу инфраструктуру искусственного интеллекта.

Подробнее: https://abptel.com/contact/

О нас

Компания ABPTEL предлагает высокоскоростные оптические трансиверы, кабельные системы MTP/MPO, кабели DAC и AOC, коммутаторы PoE, решения FTTA и волоконно-оптические инструменты. Идеально подходящие для центров обработки данных, проектов в области искусственного интеллекта, телекоммуникаций и сетей, наши решения оптимизируют производительность, масштабируемость и эффективность, обеспечивая предприятиям преимущество в сложных условиях.


Обратитесь в ABPTEL

Ищете подходящее оптическое оборудование для вашего центра обработки данных с поддержкой ИИ, кластера графических процессоров или проекта FTTA? Компания ABPTEL осуществляет доставку из Шэньчжэня, предлагает поддержку OEM/ODM-производителей, быстрые сроки поставки и консультации инженерного уровня перед продажей.

💬 Получите ценовое предложение в течение 12 часов: Связаться с Кэнди · WhatsApp +86 188 1445 5697 · candy@abptel.com

Фотореалистичное изображение центра обработки данных с использованием ИИ и графических процессоров, оснащенного оптическими кабелями и активными серверными стойками, соединенными высокопроизводительными оптическими модулями.

Свяжитесь с нами

Просто укажите свое имя, адрес электронной почты и краткое описание вашего запроса в этой форме. Мы свяжемся с вами в течение 24 часов.

× Как я могу вам помочь?