Δίκτυο & Συνδεσιμότητα

Δίκτυο & Συνδεσιμότητα

Network Fabric

Η καρδιά του δικτύου μας είναι Cisco & NVIDIA

Cisco switches και patch panel

Το δίκτυο μας δεν βασίζεται σε consumer-grade switches — βασίζεται σε Cisco Nexus 9000 series (η ίδια σειρά που τρέχει σε enterprise και carrier δίκτυα) και NVIDIA Spectrum switches για 100Gbit cluster interconnect.

  • Cisco Nexus 9000 series — wire-speed routing, η ίδια σειρά που τρέχει σε enterprise και carrier δίκτυα
  • NVIDIA Spectrum switches — 100Gbit μεταξύ nodes, χωρίς bottleneck. Αποκλειστικό δίκτυο για Ceph storage replication.
  • Virtual Port-Channel (vPC) — failover σε <1 δευτερόλεπτο
  • 400Gbit/s διασύνδεση μεταξύ racks
  • 32×100GbE full duplex ανά switch — σε ζεύγη ανά rack, 6.4 Tbit/s switching fabric ανά switch
  • VLAN segmentation — πλήρης απομόνωση traffic μεταξύ πελατών και εσωτερικών υπηρεσιών
  • Δυναμική δρομολόγηση — BGP, OSPFv2, OSPFv3
12.8 Tbit/s
switching fabric/rack
400 Gbit/s
rack interlink
<1″
failover time

In-house Network Operations

Δεν αναθέτουμε τη διαχείριση του δικτύου μας σε τρίτους. Η ίδια ομάδα που σχεδίασε την αρχιτεκτονική του δικτύου είναι αυτή που το διαχειρίζεται καθημερινά. Αυτό σημαίνει:

  • Ταχύτερη αντιμετώπιση — οι ίδιοι που σχεδίασαν το δίκτυο το διαχειρίζονται
  • Πλήρης έλεγχος — αλλαγές χωρίς tickets σε τρίτους
  • Traffic engineering — ελέγχουμε ενεργά ποια paths χρησιμοποιούνται
  • Ενοποίηση — δίκτυο, storage, compute = η ίδια ομάδα

Routing

Software-defined routing σε telecom-grade hardware

Οι routers μας δεν είναι off-the-shelf appliances — τρέχουν fd.io VPP (Vector Packet Processing) για το data plane και BIRD για το control plane (BGP, OSPF). Το VPP δεν είναι κάποιο hobby project — ξεκίνησε ως proprietary technology της Cisco, τρέχει μέσα στα μεγαλύτερα carrier routers στον κόσμο (Cisco ASR series). Η Cisco το έκανε open-source το 2016 μέσω του Linux Foundation, και σήμερα αποτελεί τον πυρήνα του fd.io project — με contributors από Cisco, Intel, Red Hat, και δεκάδες παρόχους τηλεπικοινωνιών παγκοσμίως.

Dual active border routers
AMD EPYC 8004 “Siena”
24 cores  |  96 GB DDR5 ECC  |  4×100GbE + 4×25GbE NVIDIA NICs

Τα Linux και FreeBSD-based software routers περνάνε τα πακέτα ένα-ένα μέσα από τον kernel. Το VPP δουλεύει τελείως διαφορετικά — επεξεργάζεται πακέτα σε batches (vectors) απευθείας σε user-space, αξιοποιώντας πλήρως τα CPU caches και τα SIMD instructions. Η ίδια τεχνολογία που δρομολογεί traffic σε carrier-scale δίκτυα, τρέχει στο δικό μας routing layer.

Γιατί VPP και όχι ένα hardware appliance; Γιατί ο VPP τρέχει σε standard server hardware που ελέγχουμε πλήρως — αναβαθμίζεται με ένα deployment, δεν εξαρτάται από vendor firmware cycles, και μπορεί να κάνει scale-up ή scale-out ανάλογα με τις ανάγκες.

Σε συνδυασμό με τους EPYC 8004 Siena (optimized για sustained packet processing, όχι bursty compute) και 400Gbit+ συνολικό NIC bandwidth ανά router, αυτό μας δίνει routing infrastructure που δεν μπορέσαμε να saturate ούτε σε stress testing. Και επειδή η πλατφόρμα είναι PCIe 5.0, μπορούμε να αναβαθμίσουμε σε ακόμα μεγαλύτερα NICs χωρίς αλλαγή hardware. Αυτό ακριβώς θέλουμε: headroom, προβλεψιμότητα, και μηδενικά bottlenecks.

Οι δύο κύριοι border routers τρέχουν πάντα ελαφρώς διαφορετικές εκδόσεις kernel και daemons. Αν εμφανιστεί bug σε μία έκδοση, ο δεύτερος router δεν επηρεάζεται.

→ fd.io  |  VPP Technology  |  GitHub

Network Monitoring

sFlow-based real-time traffic analysis σε κάθε switch port. Τα sFlow data feeds τροφοδοτούν τα monitoring systems μας για traffic engineering decisions. Δες τo stack μας →

RPKI Route Origin Validation

Κάθε router τρέχει τον δικό του αυτόνομο RPKI client — επαληθεύει ανεξάρτητα την εγκυρότητα των route origins σε real-time. Αν κάποιος ανακοινώσει prefixes που δεν του ανήκουν (route hijack), οι routers μας το απορρίπτουν αυτόματα. Χωρίς κεντρικό μοναδικό σημείο αποτυχίας — κάθε router αποφασίζει μόνος του. Τα δικά μας ROAs είναι δημοσιευμένα και cryptographically signed.

Connectivity & Peering

Κορυφαία συνδεσιμότητα με Ελλάδα, εξωτερικό και CDNs

Το traffic δεν ακολουθεί πάντα τη συντομότερη γεωγραφική διαδρομή — ακολουθεί τα BGP paths που έχουν negotiate-αριστεί μεταξύ δικτύων. Η δική μας στρατηγική βασίζεται σε direct peering (απευθείας ανταλλαγή traffic) όπου είναι δυνατόν, συμπληρωμένο από premium transit providers.

Internet Exchanges

  • GR-IX (Athens)
  • AMS-IX (Amsterdam)
  • Free-IX Greece
  • NET-IX Greece

Direct Peering

Ελληνικοί ISPs

  • OTE, Vodafone, Nova, Inalan, ΔΕΗ, κ.α.

Cloud & CDN

  • Cloudflare, Google Cloud, DigitalOcean
1 ms
latency Ελλάδα & Κύπρο
vs 50-60 ms Φρανκφούρτη
  • Χαμηλό παγκόσμιο average AS-path
  • Πολλαπλά routing paths — δεν εξαρτόμαστε από έναν upstream
  • Διπλά, ενεργά routers & firewalls

AS56457

Ιδιόκτητο AS & IP blocks

Δεν νοικιάζουμε IP addresses και δεν χρησιμοποιούμε AS number τρίτου — διαθέτουμε δικό μας Autonomous System (AS56457) και δικά μας IP blocks. Οι περισσότεροι πάροχοι hosting στην Ελλάδα δεν διαθέτουν δικό τους AS — εξαρτώνται πλήρως από τον upstream provider τους. Όσοι έχουν, συχνά είναι single-homed. Εμείς έχουμε πλήρη αυτονομία στο routing, ανεξαρτησία από τον εκάστοτε upstream, και multihoming. Αυτό μας δίνει πλήρη έλεγχο στη δρομολόγηση, τα peering agreements, και τη reputation των IP addresses μας.

Ως μέλος της RIPE NCC, διαχειριζόμαστε τα δικά μας Internet resources — IPv4, IPv6 και AS numbers. Η routing πολιτική μας είναι δημόσια (IRR objects), τα ROAs μας signed, και τα peering relationships μας ορατά σε κάθε looking glass.

AS51574 — Test Network

Εκτός από το production AS56457, διατηρούμε ένα ξεχωριστό test AS (AS51574) αποκλειστικά ως test network. Το test network συνδέεται σε Free-IX Greece, ώστε οι δοκιμές να γίνονται με πραγματικό traffic exchange — όχι σε εργαστηριακό κενό. Κάθε αλλαγή δοκιμάζεται πρώτα εδώ:

  • Infrastructure as Code — declarative, version control, automated deployment
  • Τελευταίες γενιές BIRD BGP daemon
  • VPP upgrades & configuration changes
  • Single source of truth validation
  • Peering policy changes

Μόνο αφού μια αλλαγή περάσει validation στο test network, εφαρμόζεται στο production.