FortiGate HA ile Collapsed Core Mimarisinde Campus Network Tasarımı

Orta ölçekli bir ofis ağında yedeklilik çoğu zaman diyagram üzerinde var gibi görünür. Firewall’lar çift, Core Switch’ler Stack yapısında, her katın Uplink’i iki bağlantılı olarak planlanır. Ancak bu bağlantılar fiziksel olarak tek bir Switch üyesine bağlanmışsa o üyenin arızası, bağlı cihazların son kullanılabilir yolunu ortadan kaldırabilir. Gateway yerleşiminin belgelenmemesi ise arıza anında sorunun nerede olduğunu bulmayı güçleştirir. Bu çalışmada, birden fazla departmana hizmet veren orta ölçekli bir ofis için hazırladığım iki katmanlı Campus tasarımını kademe kademe ele alıyorum.

Tasarım, Access katmanı ile birleşik Distribution/Core katmanından oluşan bir Collapsed Core modeline dayanıyor. Bu yapının önünde Active/Passive çalışan bir FortiGate 121G HA çifti, en dışta ise iki ISP'yi sonlandıran bir Edge Switch Stack bulunuyor. Ayrı bir Distribution katmanı yerine Collapsed Core tercih edilmesinde projenin ölçeği, dört katlı fiziksel yerleşimi, kapasite ihtiyacı ve yönetim kolaylığı belirleyici oldu.

Tasarımın üç hedefi var. Her VLAN için Gateway'in nerede olduğunu netleştirmek, Firewall HA, Core üyesi ve Uplink seviyesinde tek arıza noktası bırakmamak ve segmentasyonun gerçekten Firewall Policy'leri ile Core ACL'leri üzerinden uygulanmasını sağlamak. Yedekliliğin kapsamı da en baştan tanımlandı. Her katta tek Access Switch bulunduğu ve File Server için ayrı bir yedeklilik mekanizması olmadığı için bu iki nokta kapsam dışında kalıyor.

Makale boyunca her kademe kendi başlığı altında, Port seviyesindeki bağlantılar, o kademede yürütülen operasyonel işlemler ve arıza durumunda beklenen davranışla birlikte anlatılıyor. Port numaraları, VLAN ID'leri ve Transit VLAN gibi değerler referans tasarım için seçilmiş örnek değerlerdir ve gerçek ortamda kullanılan cihaz modeline göre uyarlanmalıdır. 100 ile 300 kullanıcı bu tasarımın hedef ölçeğidir. Port yoğunluğu, trafik profili ve arıza sonrası kapasite bütçesi ise gerçek ortam verileriyle ayrıca doğrulanmalıdır. Aşağıdaki diyagram, tasarımın genel topolojisini gösteriyor.

Internet Edge Katmanında Dual ISP Yapısı

İki ISP bağlantısı, Edge SW 1 ve Edge SW 2'den oluşan Edge Switch Stack üzerinde sonlanıyor. ISP 1, Edge SW 1'e VLAN 901 ile, ISP 2 ise Edge SW 2'ye VLAN 902 ile bağlanıyor. Her ISP'nin ayrı bir Outside VLAN'da tutulması, IP bloklarının, Gateway'lerin ve NAT kurallarının birbirine karışmadan yönetilmesini sağlıyor.

Edge Stack ile her FortiGate arasında ayrı bir Cross-Stack LACP Trunk öneriliyor. Her Firewall'un iki Port'u, biri Edge SW 1'e, diğeri Edge SW 2'ye bağlanıyor. Bu Trunk'lar iki ISP VLAN'ını da taşıdığı için hangi Firewall aktif olursa olsun iki ISP'ye de erişebiliyor. Port eşleşmeleri aşağıdaki tabloda yer alıyor.

Bu kademedeki operasyonel işlemler Edge Stack ve FortiGate tarafında birlikte yürütülüyor. Edge Stack üzerinde VLAN 901 ve VLAN 902 oluşturuluyor, Port 1'ler ilgili VLAN'da Access Port olarak yapılandırılıyor, Port 11 ve Port 12 çiftleri ise her Firewall için ayrı Link Aggregation Group (LAG) olarak iki VLAN'ı taşıyan Trunk'lara dönüştürülüyor. FortiGate tarafında bu Aggregate arayüz üzerinde VLAN 901 ve VLAN 902 için ayrı VLAN arayüzleri tanımlanıyor.

Her iki ISP için Default Route tanımlanıyor, ancak Route tercihleri Distance veya Priority değerleriyle birincil ISP'yi seçecek şekilde belirleniyor. Yedek çıkışın çalışabilmesi için ikinci ISP yönünde geçerli bir Route, bu yönde trafiğe izin veren bir Firewall Policy ve uygun bir Source NAT da hazır bulunmalı.

ISP geçişi Link Health Monitor ile planlandı. FortiGate, birincil ISP üzerinden belirlenen hedeflere düzenli kontrol paketleri gönderir ve birincil yolu başarısız saydığında ilgili Static Route'u geri çeker. Trafik bu noktada yedek ISP'nin Route'u üzerinden devam eder. HA tarafında Remote Link Failover ayrıca etkinleştirilmediyse bu ISP geçişi FGCP rol değişimine yol açmaz ve aktif üye aynı kalır. ISP değiştiğinde NAT kuralı da değiştiği için public kaynak IP adresi değişir. Bu nedenle mevcut oturumların korunması beklenmemeli, açık bağlantılar istemci tarafında yeniden kurulur.

Arıza davranışı açısından, Edge SW 1 devre dışı kaldığında ona bağlı ISP 1 bağlantısı da devreden çıkar. Firewall'ların Edge SW 2'ye giden LAG üyeleri forwarding durumunda kalır ve LAG'ler tek üyeyle çalışabilecek şekilde yapılandırıldıysa Internet erişimi ISP 2 üzerinden sürer. Bu kademedeki yedekliliğin hedefi, tek bir ISP'nin ayakta kalması değil, Internet erişiminin devamlılığıdır.

FortiGate 121G ile Firewall HA Pair

Firewall katmanında iki FortiGate 121G, FGCP (FortiGate Clustering Protocol) ile Active/Passive modda çalışıyor. FW1 aktif üye olarak trafiği işlerken FW2 yapılandırmayı ve durum bilgisini senkronize tutarak bekliyor. 121G'yi 120G'den ayıran fark dahili SSD olduğu için Log'lar cihaz üzerinde tutulabiliyor ve geçmişe dönük trafik analizi ayrı bir Log sunucusu olmadan yapılabiliyor.

İki Firewall arasında iki bağımsız Heartbeat yolu bulunuyor. Birincisi ayrılmış ha Port'ları arasında, ikincisi port3'ler arasında kuruluyor. İki yol çalışırken birinin kaybında üyeler diğer yol üzerinden haberleşmeye devam eder. İki üye de çalışırken tüm Heartbeat iletişimi kaybolursa, iki üyenin de kendini aktif kabul ettiği Split-Brain durumu oluşabilir. İkinci bağımsız yol bu riski azaltır.

Firewall'ların Edge tarafındaki bağlantısı port1 ve port2 üzerinden, Core tarafındaki bağlantısı ise 10GE SFP+ Port'ları olan x1 ve x2 üzerinden yapılıyor. Her Firewall, Core'a iki Core üyesine dağıtılmış kendi LACP Bundle'ı ile bağlanıyor. Core üyelerinden biri devre dışı kaldığında, kalan Link forwarding durumunda olduğu ve minimum aktif Link koşulu tek üyeye izin verdiği sürece Firewall'un Core bağlantısı devam ediyor.

Operasyonel tarafta önce iki cihaz aynı model ve aynı FortiOS sürümüne getiriliyor. Ardından HA ayarlarında grup adı, parola, mod ve Heartbeat arayüzleri tanımlanıyor. Edge ve Core yönündeki Aggregate arayüzler, VLAN arayüzleri ve Transit VLAN 900 arayüzü aktif üye üzerinde yapılandırılıp Cluster'a senkronize ediliyor. HR, Finance, Servers ve Guest VLAN'larının Gateway'i bu Firewall üzerinde olduğu için bu VLAN'ların arayüzleri de Core yönündeki Aggregate üzerinde VLAN arayüzü olarak tanımlanıyor.

Aktif üye arızalandığında FW2 aktif rolü üstlenir. FGCP, Cluster arayüzlerinde sanal MAC adresleri kullandığı için komşu cihazlarda Gateway MAC adresi değişmez. Mevcut oturumların Failover sonrasında devam edebilmesi için Session Pickup ayarının etkinleştirilmiş olması gerekir.

Edge ve Core üzerinde her fiziksel FortiGate için ayrı LAG oluşturulur. Passive üye LACP Negotiation'a katılıyorsa, Switch'in aynı Cluster MAC adresi için ayrı LAG'leri desteklemesi gerekir. Bu destek yoksa secondary üyenin Negotiation'a katılımı kullanılan FortiOS sürümüne uygun şekilde kapatılır. Bu durumda Failover sırasında yeni aktif üyenin LACP kurması geçiş süresini uzatabilir.

Collapsed Core Katmanında Routing ve Transit VLAN

Core katmanı, iki üyeden oluşan Layer 3 bir Switch Stack. Core Member 1 ve Core Member 2 tek bir mantıksal Switch gibi yönetiliyor ve bu sayede bir cihaza iki üyeye dağıtılmış tek bir Port-channel ile bağlanmak mümkün oluyor. Core, Sales, Voice, Printers, Wireless Corporate ve Management VLAN'larının Gateway'i olarak bu VLAN'lar için SVI barındırıyor.

HR, Finance, Servers ve Guest VLAN'ları ise Core üzerinde yalnızca Layer 2 olarak taşınıyor ve Firewall'a giden Bundle'lar üzerinden FortiGate'e ulaşıyor. Core üzerinde IP Routing açıkken bu Subnet'lerde IP adresli aktif bir SVI oluşturulursa Core'da Connected Route oluşur ve Core'dan gelen trafik Firewall'u atlayabilir. Gateway olarak FortiGate'i kullanan istemcilerin çıkış yolu ise değişmediği için gidiş ve dönüş farklı yollardan geçebilir ve asimetrik Routing oluşabilir. Bu nedenle bu VLAN'lar için Core üzerinde SVI bulunmamalıdır.

Core ile Firewall arasındaki Layer 3 iletişim Transit VLAN 900 üzerinden kuruluyor. Bu VLAN, Firewall'lara giden mevcut LACP Bundle'ları üzerinde taşındığı için ayrı bir fiziksel bağlantı gerektirmiyor. Routing mantığı aşağıdaki tabloda özetleniyor.

Bu yapıda gidiş ve dönüş trafiği aynı yoldan geçtiği için FortiGate'in Stateful denetimi asimetrik Routing nedeniyle oturumları düşürmez. Core üzerindeki VLAN'lar arası trafik ise Firewall'a uğramadan Core'da Route edilir. Bu nedenle Management VLAN'ına diğer Core VLAN'larından erişim, Core üzerinde tanımlanan ACL'ler ile sınırlandırılmalıdır.

Bir Core üyesi devre dışı kaldığında Firewall'lar, Access Switch'ler ve Host'lar diğer üyeye giden bağlantıları üzerinden çalışmaya devam eder. Bunun için her Bundle'da kalan üyenin forwarding durumunda olması ve iki uçtaki minimum aktif Link koşulunun tek üyeye izin vermesi gerekir. Stack yapısı ise ortak yazılım, kontrol düzlemi ve Stack bağlantısı kaynaklı riskleri tamamen ortadan kaldırmaz. Stack yazılım güncellemelerinin planlı bir bakım penceresinde yapılması bu yüzden önemlidir.

Access Layer ve Cross-Stack Port-Channel

Her katta bir Access Switch bulunuyor ve bu Switch'ler Layer 2 çalışıyor. Access Switch'ler üzerinde kullanıcı VLAN'ları için Gateway yok, yalnızca yönetim amacıyla Management VLAN'ında bir IP adresi tanımlanıyor. Her Access Switch'in iki Uplink'i, biri Core Member 1'e, diğeri Core Member 2'ye gidecek şekilde Core Stack üzerinde tek bir Cross-Stack Port-channel oluşturuyor.

Uplink'lerden biri koptuğunda veya bir Core üyesi devre dışı kaldığında, kalan üye forwarding durumundaysa ve iki uçtaki minimum aktif Link koşulu tek üyeye izin veriyorsa katın bağlantısı sürer. İki Uplink tek bir mantıksal bağlantı gibi çalıştığı için Spanning Tree tarafından bloklanan bir Link de oluşmaz. Access Switch'in kendisi ise tek cihazdır ve arızalanması durumunda o kattaki tüm cihazlar etkilenir.

IP telefonlar için Voice VLAN, telefonun arkasındaki PC için ise Sales VLAN'ı aynı Port üzerinde tanımlanıyor. Telefonun Voice VLAN'ı otomatik olarak öğrenmesi için LLDP-MED veya CDP kullanılabiliyor. AP Port'u, Wireless Corporate ve Guest VLAN'larını taşıyan bir Trunk olarak yapılandırılıyor.

Departmanlar katlara yayıldığı için VLAN ataması kata bağlı tutulmuyor. Port bazında statik atama yapılabileceği gibi 802.1X ile kullanıcı veya cihaz kimliğine göre dinamik VLAN ataması da kullanılabiliyor. Dinamik atamada NPS gibi bir RADIUS sunucusu, Authentication sonucunda Switch'e Tunnel-Type, Tunnel-Medium-Type ve Tunnel-Pvt-Group-ID Attribute'larını döndürerek Port'un VLAN'ını belirliyor.

Diğer katlar da aynı yapıda kuruluyor. Access SW 2, 3 ve 4, Core üzerinde sırasıyla P2, P3 ve P4 Port'larına bağlanarak Po2, Po3 ve Po4 Port-channel'larını oluşturuyor.

Sistem Odasında Domain Controller, DNS ve DHCP Sürekliliği

Sistem odasında iki Hypervisor Host bulunuyor. Host 1 üzerinde DC01, DHCP01 ve File Server, Host 2 üzerinde ise DC02 ve DHCP02 çalışıyor. Her Host'un iki NIC'i, biri Core Member 1'e, diğeri Core Member 2'ye bağlanıyor. Böylece bir Host'un tek NIC'i ya da bir Core üyesi devre dışı kaldığında Host ağ bağlantısını kaybetmiyor.

Host bağlantılarında kullanılacak Teaming yöntemi Hypervisor platformuna bağlıdır. Hyper-V üzerinde önerilen yöntem olan Switch Embedded Teaming (SET), Switch-independent çalışır ve LACP'yi desteklemez. Bu durumda Core tarafında Host Port'ları için Port-channel oluşturulmaz. VMware ESXi'de ise LACP yalnızca vSphere Distributed Switch üzerinde desteklenir, Standard vSwitch ile kullanılamaz.

Domain Controller tarafında iki ayrı konu birbirinden ayrı değerlendirilmeli. İki DC'nin farklı Host'larda çalışması Active Directory hizmetinin sürekliliğini sağlar. DNS sürekliliği için ise istemcilerin her iki erişilebilir AD DNS sunucusunun adresini kullanması gerekir. Bu adresler DHCP ile dağıtılabilir veya statik olarak tanımlanabilir. İstemcide tek DNS sunucusu tanımlıysa ve bu sunucu yanıt vermezse, önbellekte bulunmayan yeni DNS sorguları başarısız olur.

DHCP Failover, Windows Server üzerinde Scope bazında yapılandırılır ve hizmet sürekliliği yalnızca Failover ilişkisine eklenen Scope'lar için geçerlidir. Merkezi DHCP hizmetini kullanan ve sunuculardan farklı Subnet'teki istemci VLAN'larında DHCP Relay, istekleri iki Failover ortağına da ulaştıracak şekilde tanımlanmalıdır. Gateway'i Core üzerinde olan VLAN'larda Relay Core'da, Gateway'i Firewall üzerinde olan VLAN'larda ise FortiGate arayüzünde yapılandırılır. Sunucularla aynı Subnet'teki Servers VLAN'ı için Relay gerekmez, Transit ve ISP Outside VLAN'larına da Relay eklenmez. Guest için ise seçilen DHCP hizmeti esas alınır.

Bu yapı, tek Host veya Core üyesi arızasına karşı hizmet sürekliliğini destekleyecek şekilde tasarlandı. Host 1 üzerindeki File hizmeti için ise ayrıca bir yedeklilik mekanizması tanımlı değil. Bu hizmetin sürekliliği isteniyorsa DFS Namespace ve DFS Replication gibi ayrı bir çözüm planlanmalıdır.

VLAN Planı ve Gateway Yerleşimi

VLAN planı, her VLAN'ın Gateway'inin nerede olduğunu ve trafiğin hangi noktada denetlendiğini belirliyor. Aşağıdaki tablo bu dağılımı özetliyor.

VLAN ayrımı tek başına erişim kontrolü sağlamaz. Aynı VLAN içindeki cihazlar Layer 2 üzerinden doğrudan haberleşir ve bu trafik Firewall'a uğramaz. Asıl kontrol, Firewall Gateway'li VLAN'lar için FortiGate üzerindeki Zone ve Security Policy tasarımında, Core Gateway'li VLAN'lar için ise Core ACL'lerinde yapılır.

FortiGate tarafında birden fazla VLAN aynı Zone'a alınırsa Zone içi trafiğin davranışı Intrazone ayarıyla belirlenir. FortiOS 7.4.7 CLI Reference'a göre bu ayarın varsayılan değeri deny'dir. Aynı Zone içindeki HR ve Finance arasında iletişim gerekiyorsa bu izin açık bir Policy ile tanımlanmalı, mevcut bir Zone kullanılıyorsa etkin Intrazone değeri ve Policy'ler ayrıca kontrol edilmelidir.

Guest VLAN'ı için iç ağlara erişim Firewall Policy'leri ile engelleniyor. Guest istemcilerine DHCP ve DNS hizmetinin nereden verileceği ayrıca planlanmalıdır. Guest istemcilerinin birbirinden izolasyonu ise Internet erişim kuralıyla sağlanmaz, bu izolasyon kablosuz ağ tarafında ayrıca yapılandırılmalıdır.



Bu tasarımdan çıkan en önemli ders, yedekliliğin kapsamının açıkça tanımlanması gerektiği. Bu yapıda Firewall HA, Core üyesi ve Uplink yedekliliği sağlanıyor. Access Switch'ler ve File hizmeti ise ayrı önlem gerektiren noktalar olarak kalıyor. Bunun tasarım dokümanında açıkça yer alması, arıza anında beklentilerin doğru yönetilmesini sağlıyor.

Bu makalede, orta ölçekli bir ofis için Collapsed Core modeline dayanan iki katmanlı Campus Network tasarımı, Internet Edge'den sistem odasına kadar kademe kademe ele alındı. Tasarım, Access katmanı ile birleşik Distribution/Core katmanını, önünde konumlanan FortiGate HA çiftini ve iki ISP'yi sonlandıran Edge Switch Stack'i tek bir bütün olarak kurguluyor.

Internet Edge tarafında iki ISP'nin ayrı Outside VLAN'larda tutulması ve her fiziksel Firewall için ayrı Cross-Stack LACP Trunk kullanılması, hangi Firewall aktif olursa olsun iki ISP'ye erişimi mümkün kılıyor. FortiGate FGCP ile kurulan Active/Passive yapı, iki bağımsız Heartbeat yolu ve iki Core üyesine dağıtılmış LACP Bundle'ları ile Firewall katmanında yedekliliği destekliyor.

Collapsed Core katmanında Gateway yerleşimi, Transit VLAN üzerinden kurulan simetrik Routing ve Core üzerinde SVI bulunmayan Firewall Gateway'li VLAN'lar, segmentasyonun hangi noktada uygulandığını belirliyor. Access Layer'da Cross-Stack Port-channel ile Uplink yedekliliği, sistem odasında ise iki Domain Controller, iki AD DNS sunucusu ve DHCP Failover ile hizmet sürekliliği destekleniyor.

VLAN planı, Gateway'in Core veya Firewall üzerinde olmasına göre erişim kontrolünün Core ACL'leri ile mi yoksa FortiGate Zone ve Security Policy'leri ile mi yapılacağını netleştiriyor. Tek Access Switch ve yedeksiz File hizmeti ise bu tasarımda yedeklilik kapsamı dışında kalan ve ayrıca planlanması gereken noktalar olarak öne çıkıyor.

Faydalı olması dileğiyle...