Mitme asukohaga ettevõtte arvutivõrk

Projekteerisin 150 töötajaga ettevõttele võrgu, mis ühendab kolme hoonet. Töö kattis kõik alates aadressiplaanist ja tulemüürireeglitest kuni riskianalüüsi ja eelarveni. Põhiosad seadistasin töötava näidislahendusena FortiGate'il.

Staatus
Valmis
Tüüp
Individuaalne kursuseprojekt
Aeg
2026
Minu roll
Kogu planeerimine, dokumentatsioon ja seadistus
Tehnoloogiad
FortiGate, FortiSwitch, FortiAP, MikroTik, IPsec, Zabbix

Lähteülesanne

Kursuse lähteülesande ettevõte (Eesti Toode OÜ) oli kasvanud 150 töötajani. Tal oli kolm hoonet: peakontor Tartus ja kaks hoonet Elvas (Käbi 1 ja Käbi 3). Vana võrk ei olnud piisavalt turvaline ega hästi hallatav ning kontorid ei pääsenud ühtemoodi samadele ressurssidele ligi.

Töö koosnes kahest osast:

  1. Võrguprojekti dokumentatsioon: topoloogia, VLAN-id ja aadressiplaan, seadmete valik, Käbi 3 kaabeldus, kaugtöö, tulemüürireeglid, IDS/IPS, konfiguratsioonihaldus, tõrkekindlus, seire, riskianalüüs ja eelarve.
  2. Näidislahendus: VLAN-id, tulemüürireeglid, VPN-id, port forward ja DoS-poliitika päris FortiGate'il koos testidega.

Seadmetele olid nõuded: IDS/IPS tugi, IPsec VPN-i läbilaskevõime vähemalt 500 Mbps, 802.1Q VLAN-id ning seire SNMP ja Syslogi kaudu.

Topoloogia ja aadressiplaan

Joonis 1. Loogiline topoloogia: kolm hoonet, VLAN-id, DMZ ja VPN-võrk.

Märkus aadresside kohta

Kõik siin olevad IP-aadressid, ka skeemil olevad WAN-aadressid, on õppeprojekti näidis- ehk placeholder-aadressid. Need ei kirjelda ühegi päris organisatsiooni võrku.

Võrk on jagatud kasutuse järgi. Töötajate põhivõrk, külaliste Wi-Fi ja muud seadmed (näiteks IoT ja kaamerad) on eri VLAN-ides. Avalik veebiserver on eraldi DMZ-is. Kui keegi peaks veebiserverisse sisse murdma, ei pääse ta sealt edasi domeenikontrolleri ega sisevõrgu juurde.

Tabel 1. Võrgusegmendid asukohtade kaupa.
AsukohtSegmentVõrkOtstarve
TartuVLAN110.10.0.0/23MAIN LAN: töötajad, võrguseadmed, printerid
TartuVLAN10192.168.1.0/24Külaliste Wi-Fi, ainult internet
TartuVLAN20192.168.10.0/24Muud seadmed
ElvaVLAN110.20.0.0/23MAIN LAN: mõlemad Elva hooned ühes L2-võrgus
ElvaVLAN10192.168.2.0/24Külaliste Wi-Fi
ElvaVLAN20192.168.20.0/24Muud seadmed
ElvaDMZ10.30.0.0/24Avalik veebiserver (10.30.0.50)
ElvaVPN10.240.240.0/21Kaugtöötajate aadressid

Aadresside jaotus Elva põhivõrgus

/23 mask annab kuni 510 kasutatavat aadressi. Võrguseadmed ja serverid saavad staatilise aadressi vahemiku algusest, sest nii on neid lihtsam hallata ja SNMP-ga jälgida. Tööjaamad saavad aadressi DHCP-st. Iga vahemiku lõppu jääb reserv laienemiseks.

Tabel 2. Elva 10.20.0.0/23 jaotus (Käbi 1 ja Käbi 3).
VahemikKasutus
10.20.0.1 kuni .20Võrguseadmed Käbi 1 hoones (FortiGate, FortiSwitchid, raadiolink, AP-d)
10.20.0.21 kuni .25Printerid
10.20.0.26 kuni .50Serverid: dc01 (.26), intranet (.27), Proxmox VE (.28), Git LXC (.29), Zabbix (.30)
10.20.0.51 kuni 10.20.1.100DHCP, Käbi 1 tööjaamad
10.20.1.101 kuni .110Käbi 3 võrguseadmed ja printer
10.20.1.111 kuni .150DHCP, Käbi 3
10.20.1.151 kuni .199Reserv

Disainiotsus: Elva kaks hoonet on ühes loogilises /23 võrgus ja MikroTiki raadiolink töötab läbipaistva L2-ühendusena. Nii saab kõik VLAN-id viia üle ühe lingi ja lisaruuterit pole vaja. Selle hind on see, et mõlemad hooned on samas broadcast-domeenis.

Seadmete valik

Tabel 3. Valitud seadmed, valiku põhjus ja alternatiiv (tootjate andmelehtede põhjal).
RollValikMiksAlternatiiv
Tulemüür ja ruuterFortiGate 70G (2 tk)IPS kuni 2,5 Gbps, IPsec VPN kuni 7,1 Gbps (nõue ≥ 500 Mbps), FortiLink kommutaatorite ja AP-de keskseks halduseksZyxel USG FLEX 700
KommutaatoridFortiSwitch 148F ja 148F-POE48 × 1 Gbps + 4 × 10 Gbps SFP+, 802.1Q, SNMP v1/v2c/v3, Syslog. PoE ainult seal, kus on AP-d ja kaameradZyxel XGS1930-52(HP)
Wi-FiFortiAP 231K (10 tk)Wi-Fi 7, 2,5 Gbps PoE+ port, haldus otse FortiGate'ist ilma eraldi kontrolleritapuudub
Link hoonete vahelMikroTik Wireless Wire Cube Pro60 GHz, kuni 1 Gbps full-duplex, automaatne 5 GHz varuühendus halva ilma korral, SNMPpuudub

Tulemüüri poliitika

Kogu VLAN-ide vaheline filtreerimine käib FortiGate'idel. Kommutaatorid ja raadiolink ainult edastavad liiklust L2 tasemel. Põhimõtted:

  • Default deny: kõik, mis pole eraldi lubatud, keelatakse ja blokeeritud katsed logitakse.
  • Stateful: vastuspaketid lubatakse automaatselt, tagasisuunale pole eraldi reegleid vaja.
  • NAT: väljuvale liiklusele PAT/SNAT. Veebiserverile DNAT 193.55.62.20:80,443 → 10.30.0.50. Kontorite vahelisele VPN-liiklusele no-NAT, et sise-IP-d jääksid alles.
  • Haldus: eraldi halduse VLAN-i pole. Seadmeid hallatakse ainult MAIN LAN-i administraatorite tööjaamadest HTTPS-i ja SSH-ga.
Tabel 4. Tulemüürireeglite koondtabel.
AllikasSihtkohtTeenusTegevusPõhjus
InternetDMZ 10.30.0.50TCP 80, 443LUBAAvalik veebileht
InternetElva WANUDP 500, 4500LUBAKaugtöö VPN
Tartu WANElva WANUDP 500, 4500, ESPLUBASite-to-site tunnel
MAIN LANInternetHTTP(S), DNS, NTPLUBATöötajate internet
GUESTInternetTCP 80, 443, UDP 53LUBAPiiratud internet külalistele
GUESTSisevõrk ja DMZANYKEELAKülalised on täiesti eraldi
MAIN LANDMZ 10.30.0.50TCP 80, 443LUBATöötajad saavad veebilehte vaadata ja kontrollida
Admin-tööjaamadDMZ 10.30.0.50TCP 22, 443LUBAVeebiserveri hooldus
DMZMAIN LANANYKEELADMZ-ist ei saa sisevõrku ühendusi algatada
DMZInternetTCP 80, 443, UDP 123LUBAUuendused ja kellaaeg
Admin-IP-dVõrguseadmedTCP 22, 443LUBATurvaline haldus
VPN-kliendiddc01, intranetTCP 80, 443; 53, 88LUBADomeen ja siseveeb
VPN-kliendidVõrguseadmed ja DMZANYKEELAKaugtöötajal pole haldusligipääsu
InternetSisevõrkANYKEELADefault deny

VPN ja kaugtöö

Site-to-site

Tartu ja Elva FortiGate'id on ühendatud IPsec tunneliga, mis ühendab mõlema kontori MAIN LAN-i (10.10.0.0/23 ↔ 10.20.0.0/23). Nii pääsevad Tartu töötajad Elva serveriruumi serveritele (dc01, intranet) ligi ilma eraldi VPN-kliendita.

Remote access

Kaugtöötajad ühenduvad FortiClientiga Elva FortiGate'i avalikule aadressile ja saavad aadressi vahemikust 10.240.240.0/21. Plaani järgi autenditakse kasutajad domeenikontrolleri vastu koos MFA-ga. Reeglid lubavad neil ligi ainult domeenikontrollerile ja siseveebile. Teistesse VLAN-idesse ja võrguseadmete haldusliidestele nad ei pääse.

IPS, seire ja konfiguratsioonihaldus

Kavandatud lahendus, näidislahenduses ei seadistatud

  • IPS (prevention mode) FortiGate'idel. Eelkõige liiklusele internetist DMZ-i, VPN-ist sisevõrku ja tööjaamadest internetti, et püüda kinni pahavara ja botnet'i ühendusi. Kriitiliste sündmuste kohta tuleb e-kiri.
  • Seire: Zabbix töötab virtuaalmasinana olemasoleval Proxmox VE serveril, nii et lisariistvara pole vaja. Seadmeid päritakse SNMPv3-ga (CPU, RAM, liideste koormus), seadmed saadavad Syslogi ja läve ületamisel tuleb häire.
  • Konfiguratsioonihaldus: Fortineti seadmetel on sisseehitatud Revision Control. MikroTiki .rsc ekspordid saadetakse SSH-ga Proxmoxis töötavasse LXC-konteinerisse ja versioonitakse Gitis. Igal administraatoril on oma konto, jagatud kontosid ei kasutata.
  • Taastamine: Zabbix annab häire. Siis tuleb selgeks teha, kas tegu on riistvara- või seadistusveaga. Seejärel taastatakse eelmine konfiguratsioon või pannakse asemele varuseade. Lõpuks kontrollitakse Zabbixist ja testpäringutega, et VLAN-id, VPN-tunnel ja DMZ veebiserver töötavad.

Riskid, kaabeldus ja eelarve

Tabel 5. Riskianalüüsi väljavõte (8 riskist 6).
RiskTõenäosusMõjuLeevendus
Raadiolink katkeb (ilm, mast nihkub)KeskmineKõrgeTormikindel paigaldus, 5 GHz varuühendus, signaali seire Zabbixis
FortiGate'i riistvararikeMadalKriitilineVaruseade ja viimane konfiguratsioon Revision Controlist
Vigane konfiguratsioonimuudatusKeskmineKõrgeMikroTik Safe Mode, versioonihaldus, taastamine ühe klõpsuga
Rünnakud DMZ veebiserverileKõrgeKõrgeIPS-profiil, DNAT ainult portidele 80/443, logimine
Proxmoxi serveri rikeMadalKriitilineRAID-peegeldus, regulaarsed VM-ide varukoopiad
ElektrikatkestusKeskmineKeskmineUPS-id tulemüüridele, kommutaatoritele ja serverile

Elva Käbi 3 hoonesse planeerisin Cat6 kaabelduse: 9U seinakapp, 48-pordine patch-paneel, Keystone-pesad, kaks pistikupesaposti ja 24 m kaablirenni. Kaabeldus koos 24 tunni paigaldustööga maksis 1740 €. Kogu projekti eelarve koos seadmete, NAS-i, UPS-ide ja töödega oli 30 620 €.

Näidislahendus FortiGate'il

Teises osas seadistasin päris FortiGate'i laborikeskkonnas. Näidislahenduse aadressid on projektiplaanist erinevad.

VLAN-id ühel trunk-liidesel

Tabel 6. VLAN-id liidesel internal1 (VLAN-TRUNK). Liidese IP on võrgu lüüs.
VLANNimiLüüs ja võrk
1ADM172.16.10.1/24
10WS10.10.10.1/22
20GST192.168.20.1/24
30DMZ10.11.12.1/24

Muud seadistused

  • Aeg: Europe/Tallinn, NTP-server ntp1.eenet.ee, sünkroniseerimine iga 60 minuti järel. FortiGate jagab aega ka FortiLinki liidesel.
  • Port forward: kaks Virtual IP-d liidesel wan1, TCP 80 ja TCP 443 suunatakse aadressile 10.11.12.10. Need on seotud tulemüüripoliitikaga, mis lubab internetist liiklust DMZ veebiserverile.
  • Remote access VPN: FortiClient, kasutaja autentimine ja eeljagatud võti (PSK). Klient sai aadressi 172.31.20.100 ja ühendus ADM-võrgu testserverini toimis.
  • Site-to-site VPN: tunnel „site2 to site1“ liidesel wan1, olek Up.
IPv4 DoS Policy, wan1 (GUI seadistuse kokkuvõte)
# Source: all  Destination: all  Service: ALL  Logging: on
anomaly          threshold   action
tcp_syn_flood     2000        block
tcp_port_scan     1000        block
udp_flood         2000        block
icmp_flood         250        block
ip_src_session    5000        block

Testid

Tabel 7. Reeglite kontroll kahe testmasinaga (ping) ja VPN-ide kontroll.
TestOodatudTulemus
WS → ADMlubatud✓ vastab
GST → ADM, GST → WSkeelatud✓ blokeeritud
ADM → DMZ, WS → DMZkeelatud✓ blokeeritud
Site-to-site: Kali (10.10.8.2) → 172.16.20.101ühendus teise asukohta✓ 0% paketikadu
Remote access VPN → ADM testserverühendus✓ ping toimis

Märkus: projektiplaan lubab MAIN LAN-ist DMZ veebiserverile HTTP(S) ja admin-tööjaamadest SSH-d. Näidislahenduses testisin rangemat varianti, kus ADM- ja WS-võrgust DMZ-i üldse ei pääse.

Mis jäi tegemata

Aus seis

  • Püsivara uuendus versioonilt 7.4.12 versioonile 7.4.13 ebaõnnestus, sest laboriseadmel polnud kehtivat litsentsi (invalid license status).
  • Sertifikaadiga VPN-autentimine jäi tegemata. CA-d ja serverisertifikaati kasutusele ei võetud, autentimiseks jäi PSK.
  • Monit on Linuxi teenuste seiretööriist. Ülesandes pidi sellega jälgima IPsec tunnelit, vea korral tunneli taaskäivitama ja saatma e-kirja. SMTP-seaded ja alert jäid seadistamata.
  • Remote access VPN-i pingitestist ja tulemüürireeglitest jäid ekraanipildid tegemata.
  • IPS, Zabbixi seire, raadiolink ja konfiguratsiooni versioonihaldus on kavandatud, aga näidislahenduses seadistamata.

Mida praegu teeksin teisiti

  • VLAN 1 põhivõrguna on halb praktika. Vaike-VLAN-i kasutatakse tihti native- või haldus-VLAN-ina ja liiklus võib sinna lekkida. Tootmises paneksin põhivõrgu eraldi VLAN-i, lisaksin halduse VLAN-i ja jätaksin native VLAN-i kasutamata.
  • VPN-klientide reegel domeenile lubab plaanis ainult DNS-i (53) ja Kerberose (88). Täielikuks AD-autentimiseks ja grupipoliitikateks on vaja ka LDAP-i (389), SMB-d (445), Kerberose paroolimuutust (464) ja RPC-d (135 + dünaamilised pordid). FortiGate'is kasutaksin selleks valmis teenusegruppi.
  • Tõrkekindlus: FortiGate'ide HA-paar, varuinternetiühendus ja sertifikaadiga VPN.

Mida õppisin

  • Plaan enne seadistust. Kui aadressiplaan ja reeglite tabel olid paberil valmis, läks FortiGate'i seadistamine kiiresti ja teste oli lihtne kokku panna.
  • Keelatud liiklust tuleb ka testida. Reegel „GST ei pääse ADM-i“ on tõestatud alles siis, kui ping päriselt läbi ei lähe.
  • Litsentsid ja sertifikaadid on osa taristust. Uuendus jäi litsentsi taha. Päris töös peab sellega arvestama juba eelarves ja hooldusplaanis.
  • Igal disainiotsusel on hind. Elva hoonete ühine L2-võrk teeb halduse lihtsamaks, aga broadcast-domeen läheb suuremaks. Eraldi halduse VLAN oleks turvalisem.