ქსელის აუდიტი და არქიტექტურა
- Topology mapping
- SPOF analysis
- Roadmap
ISP და ტელეკომი
ISP ქსელის სრული საინჟინრო ციკლი
RIPE რესურსებიდან, BGP Edge-იდან და MPLS Core-იდან — ციფრულ ასლამდე, დაკვირვებადობამდე, უსაფრთხოებამდე, ბექაფამდე და ავარიული აღდგენის ჩათვლით.
პრობლემა
ქსელი გაიზარდა უფრო სწრაფად, ვიდრე მისი დოკუმენტაცია
ტიპური Tier-2/Tier-3 ოპერატორი: edge ერთ როუტერზეა, BGP პოლიტიკა წლების განმავლობაში იზრდებოდა, flow მონაცემები არ გროვდება, ბექაფი ხელით კეთდება და მიგრაცია ღამის ერთ ფანჯარაზეა დამოკიდებული.
- ერთი edge როუტერი — SPOF
- RPKI არ არის დანერგილი
- peering-ის გადაწყვეტილება მონაცემების გარეშე
- კონფიგურაცია ვერსიების კონტროლში არ არის
არქიტექტურა
არქიტექტურა
- 01Transit / IXPრამდენიმე upstream
- Full view
- IXP peering
- 02Edge როუტერებიორმაგი, BFD-ით
- ASR 9000
- MX
- CCR
- 03პოლიტიკაპრეფიქსების კონტროლი
- RPKI
- max-prefix
- communities
- 04Core / MPLS
- OSPF
- MP-BGP
- L3VPN
- 05Accessაბონენტის ტერმინაცია
- PPPoE/IPoE
- RADIUS
საოპერაციო ეკრანები
საოპერაციო ეკრანები
ეს კონკრეტული სისტემები ჯგუფის რეალურ ინფრასტრუქტურაზე მუშაობს — სქრინშოტები დამუშავებულია გამოქვეყნებამდე.
გამტარუნარიანობა და peering რეალურ დროში
თითოეული upstream და თითოეული peering ცალკე იზომება, გლობალური და ლოკალური მიმართულებების გაყოფით. capacity-ისა და peering-ის გადაწყვეტილება სწორედ ამ ხედვიდან მოდის — არა შეგრძნებიდან.
GrafanaZabbixper-peerIXP
ტრაფიკი წყაროების მიხედვით — flow ანალიტიკა
flow მონაცემები დაჯგუფებულია ASN-ების კატეგორიებად: CDN/OTT, ქართული ISP-ები, ჯგუფის საკუთარი ქსელები და საერთაშორისო ტრანზიტი. ეს არის ის სურათი, რომლითაც წყდება — რომელი cache უნდა შემოვიდეს ქსელში, სად ღირს peering და რა უნდა დარჩეს ფასიან ტრანზიტზე. ეს ერთადერთი ეკრანია, რომელიც განზრახ იკითხება: აქ მხოლოდ აგრეგირებული წილებია, არც ერთი კლიენტი და არც ერთი მისამართი.
NetFlow / IPFIXper-ASNCDN / OTTpeering economics
ვინ აგზავნის ტრაფიკს — ASN-ების დონეზე
იგივე flow მონაცემები, ოღონდ სახელებით: რომელი CDN და რომელი პლატფორმა აგზავნის ყველაზე მეტს, სად მიდის და რომელი როუტერი ატარებს. სწორედ ეს სია ხდება peering-ისა და cache-ის განთავსების არგუმენტი მოლაპარაკებაზე — Akamai, Fastly, Meta, Google. მოცულობები დაბუნდოვნებულია, სახელები და პროპორციები — არა.
NetFlow / IPFIXtop talkersCDNpeering
BGP ხილვადობა upstream-ების მიხედვით
თითოეული პრეფიქსი და მისი ხილვადობა ცალკეულ ტრანზიტზე — რომელი upstream ავრცელებს რომელ პრეფიქსს და რა წილით. სწორედ ასე ჩანს route leak, დაკარგული ანონსი ან არასწორად აწყობილი პოლიტიკა, სანამ ის ინციდენტად იქცევა. ხელსაწყო საჯაროდაა noc.com.ge-ზე.
BGPper-prefixRPKIpublic tool
Global BGP Report — ავტომატური, ყოველდღიური
ოთხი საერთაშორისო წერტილიდან (სოფია, აშშ, ამსტერდამი, ინდოეთი) იზომება ჩვენი ყოველი პრეფიქსის ხელმისაწვდომობა, დანაკარგი და latency. ანგარიშს ადამიანი არ ადგენს: სისტემა თვითონ აჯამებს 3-საათიან ფანჯარას 24-საათიან ბაზისთან, გამოყოფს პრობლემურ მიმართულებას და პრიორიტეტს თვითონ ანიჭებს — ამ კადრში P1 ინდოეთია, სადაც RTT 190 ms-ს აჭარბებს.
BGPpacket lossRTTautomated
ერთი რუკა — MikroTik, Ubiquiti და Cambium ერთად
მცირე და საშუალო ოპერატორის ქსელი იშვიათად ერთვენდორიანია: MikroTik ბირთვში, Ubiquiti უსადენო ხაზებზე, Cambium წვდომაზე. ეს რუკა თითოეულ ხაზზე იმას აჩვენებს, რაზეც ოპერირება დგას — რამდენი უსადენო კლიენტია სექტორზე, CCQ, ხმაურის ფონი, airMAX ხარისხი და ტევადობა, მანძილი, სიხშირე, Rx/Tx და uptime. ანძის კვების კვანძები იმავე რუკაზეა: აკუმულატორის ძაბვა ჩვენთვის ისეთივე მეტრიკაა, როგორც ტრაფიკი — ღამის ჩავარდნების ნახევარი სწორედ იქ იხსნება.
MikroTikUbiquitiCambiumairMAXSNMP
ქსელის ინვენტარი და მდგომარეობა
130-ზე მეტი მოწყობილობა და ათასობით პორტი ერთ სისტემაში: ხელმისაწვდომობის რუკა, alert-ების ისტორია და შეცდომების მქონე ინტერფეისების ტოპი — GPON/EPON წვდომის ქსელის ჩათვლით, სადაც პრობლემა ჯერ პორტზე ჩანს და მერე აბონენტთან.
LibreNMSSNMPGPON/EPONalerting
ერთი ჩართვა, ერთი გრაფიკი — QoS რეალურ დროში
ასე გამოიყურება კონკრეტული კორპორატიული ჩართვა Zabbix-ში: შემომავალი და გამავალი ტრაფიკი, პიკები, გამოყოფილი სიჩქარის რეალური გამოყენება და ისტორია. სწორედ ეს გრაფიკი პასუხობს კითხვას „არხი ნამდვილად გვიწევს თუ არა“ — და ეს პასუხი კლიენტსაც შეუძლია ნახოს, არა მხოლოდ ჩვენ.
ZabbixQoSSNMPper-circuit
OpenPath — ჩვენი საკუთარი NOC კონსოლი
ცოცხალი path-მონიტორინგი 15-წამიან განახლებაზე: latency და პაკეტების დანაკარგი თითოეულ სერვისამდე, მათ შორის ოპერატორებში განთავსებულ cache-სერვერებამდე. მარშრუტის ცვლილება ცალკე ინციდენტად აღირიცხება, ფილტრებით ASN-ის, ISP-ისა და კლიენტის მიხედვით. ეს ინსტრუმენტი ჩვენ დავწერეთ, რადგან მზა პროდუქტი ამ კითხვას არ პასუხობდა.
in-houselatency / losspath changeper-ASN
Firewall — პოლიტიკები, სესიები და დატვირთვა
პროდაქშენში მომუშავე FortiGate: ათასობით ერთდროული სესია, SPU-ს დატვირთვა, უსაფრთხოების ფაბრიკის მდგომარეობა და ინტერფეისების გამტარუნარიანობა ერთ ეკრანზე. firewall ჩვენთვის ცალკე ყუთი არაა — ის მარშრუტიზაციასთან, სეგმენტაციასთან და ლოგირებასთან ერთად იგეგმება და მუშავდება, სერტიფიცირებული ინჟინრების მიერ.
FortiGateHAsegmentationIPsec
ros-backup — კონფიგურაციების საცავი, თავად შეგროვებული
ქსელური მოწყობილობის კონფიგურაცია ის ერთადერთი ფაილია, რომლის დაკარგვის ფასიც გათიშული ქსელის საათებში იზომება. ros-backup მას ყოველდღიურად თავად აგროვებს SSH-ით — MikroTik RouterOS, Juniper JunOS, Cisco IOS და Arista EOS — და git-ის საცავში ინახავს, ვერსიებად, ხაზ-ხაზ შესადარებელი diff-ით. ინჟინერს აღარ სჭირდება თითოეულ მოწყობილობაზე ხელით შესვლა და კონფიგის კოპირება: ნებისმიერი როუტერის ნებისმიერი დღის კონფიგურაცია ორ კლიკშია — მაშინაც, როცა თავად მოწყობილობა უკვე აღარ ჩაირთვება. ეს ინსტრუმენტიც ჩვენ დავწერეთ.
in-houseRouterOS / JunOS / IOS / EOSgit-versioneddaily over SSH
ISP ბილინგი და აბონენტების მართვა
აბონენტის სასიცოცხლო ციკლი ერთ სისტემაში: ტარიფები, ბალანსები, სერვისები (ინტერნეტი, Wi-Fi, IPTV), სტატუსები, SMS შეტყობინებები, ლოგები და ფინანსური რეპორტები — provisioning-თან ინტეგრირებული. სისტემა ჩვენი დაწერილია და რეალურ ISP-ს ემსახურება.
in-housebillingprovisioningIPTV
IPAM — მისამართების სივრცე ერთ სისტემაში
მოქმედი phpIPAM დანერგვა: subnet-ების იერარქია, VLAN დომენები, VRF-ები, მოწყობილობები და ლოკაციები ერთ, ძებნად ბაზაში. საჯაროდ მხოლოდ აგრეგირებული სტატისტიკა რჩება — კლიენტების სახელები, კონკრეტული subnet-ები და ლოკაციები ეკრანზე არ ჩანს და არც უნდა ჩანდეს.
phpIPAMIPv4 / IPv6VLANVRF
ციფრული ასლი — ლაბორატორია პროდაქშენამდე
რეალური Network OS-ების ტოპოლოგია: სასაზღვრო როუტერები, IXP და CDN peering-ები, აგრეგაციის დონე, VLAN-ები და მართვის ქსელი — პროდაქშენის ასლი ლაბორატორიაში. მიგრაცია, ავარია და rollback ჯერ აქ სრულდება; მხოლოდ შემდეგ ეხება ვინმე ცოცხალ ქსელს.
EVE-NGIOS XRBGPpre-production
პორტფოლიო
16 მოდული
დიზაინი და აშენება
L2 ინჟინერია
- VLAN
- QinQ
- MSTP
- LACP
- Metro Ethernet
- MTU
მარშრუტიზაცია
- OSPF
- iBGP/eBGP
- MP-BGP
- MPLS
- VRF
- L3VPN
- BFD
Internet Edge
- Transit
- IXP
- Full view
- Dual edge
- Communities
- RPKI
RIPE NCC რესურსები
- ASN
- IPv4/IPv6
- RIPE DB
- route/route6
- ROA
- rDNS
აბონენტი და ბილინგი
- RADIUS
- AAA
- PPPoE/IPoE
- DHCP
- Accounting
- API
ვალიდაცია
ციფრული ასლი / EVE-NG
- NOS replication
- Migration test
- Failure test
- Rollback
კრიტიკული ინფრასტრუქტურის უსაფრთხოება
- FortiGate
- HA
- Segmentation
- Policy
- SIEM
დაკვირვება
დაკვირვებადობა
- SNMP
- Telemetry
- Prometheus
- InfluxDB
- Grafana
- Zabbix
Flow ანალიტიკა
- NetFlow
- IPFIX
- sFlow
- Akvorado
- ClickHouse
მართული NOC
- 24/7
- Escalation
- Runbooks
- Reporting
დაცვა და აღდგენა
კონფიგურაციის ბექაპი
- Versioning
- Off-device
- Diff alerts
Failover არქიტექტურა
- Redundancy
- BFD
- Dual homing
ავარიული აღდგენა
- DR plan
- Workload tiering
- Runbook
ვალიდირებული აღდგენა
- Tested restore
- Spare hardware
- Post-restore checks
Capacity დაგეგმვა
- Growth forecast
- Link saturation
- Peering strategy
გადამოწმებული ინფრასტრუქტურა
ASN
AS203136
OrduNet LLC
Prefix
185.143.176.0/22
announced
RPKI
valid
maxLength /22
Upstream operators
3
Caucasus Online · System Net Ltd · Silknet
წყარო: RIPE NCC — ჯგუფის საკუთარი რესურსები
შესაძლებლობები
შესაძლებლობები
თითოეული პუნქტი აღნიშნულია: დადასტურებული პროდაქშენ გამოცდილება თუ საინჟინრო შესაძლებლობა.
Multi-homed BGP edge
Provenჯგუფის საკუთარი AS203136 სამ upstream-ზეა ჩართული — იგივე დიზაინის პრინციპებით.
- BGP
- BFD
- Communities
RPKI და მარშრუტიზაციის ჰიგიენა
ProvenROA-ები გამოქვეყნებული და ვალიდურია — გადამოწმებადია RIPE-ის რეესტრში. max-prefix ლიმიტები და route leak-ის ფილტრები დიზაინის ნაწილია ყოველ edge-ზე, რომელსაც ვაწყობთ.
- RPKI
- ROA
- max-prefix
RIPE NCC რესურსების მართვა
Proven- ASN
- IPv6
- RIPE DB
- rDNS
MPLS core და L3VPN
Capability- MPLS
- MP-BGP
- VRF
Akvorado flow პლატფორმა
Capability- Akvorado
- ClickHouse
- IPFIX
აბონენტის ტერმინაცია და AAA
Proven- PPPoE
- IPoE
- RADIUS
- DHCP
ტექნოლოგიური სტეკი
ტექნოლოგიური სტეკი
- Edge აღჭურვილობა
- Cisco ASR 9000Juniper MXMikroTik CCRArista
- ტელემეტრია
- IOS XR telemetrygNMIPrometheusInfluxDBGrafana
- Flow
- AkvoradoNetFlow v9IPFIXsFlowClickHouse
- უსაფრთხოება
- FortiGateRPKI validatorRoutinator
- ვალიდაცია
- EVE-NG
- alerting
- Grafana AlertsTelegramPagerDutyWebhooks
თანამშრომლობის მოდელი
თანამშრომლობის მოდელი
პროექტი
ერთჯერადი scope: აუდიტი, მიგრაცია ან დანერგვა ფიქსირებული შედეგით.
რეტეინერი
ყოველთვიური საინჟინრო საათები — სპეციალისტზე წვდომა მოთხოვნისამებრ.
Co-Managed
NetWizard და თქვენი შიდა გუნდი ერთად, გაყოფილი პასუხისმგებლობით.
კრიტიკული ოპერაციები
24/7 მონიტორინგი, რეაგირება და ესკალაცია severity-ს მიხედვით.
გამოყენების შემთხვევები
გამოყენების შემთხვევები
მეორე edge-ის დამატება
SPOF-ის მოხსნა: მეორე upstream, პოლიტიკის გადაწერა და ვალიდაცია ლაბორატორიაში.
Peering-ის ოპტიმიზაცია
Flow მონაცემებზე დაყრდნობით transit-ის ხარჯის შემცირება.
IPv6-ის დანერგვა
მისამართების გეგმა, ROA-ები, dual-stack ტერმინაცია და მონიტორინგი.
ხშირი კითხვები
ხშირი კითხვები
თქვენ თვითონ ოპერირებთ ISP-ს?
დიახ. ჯგუფი ფლობს AS203136-ს, ანონსირებს 185.143.176.0/22-ს ვალიდური RPKI ROA-თი და ჩართულია სამ upstream ოპერატორზე. ეს გადამოწმებადია RIPE-ის რეესტრში.
მიგრაციას პროდაქშენში ატარებთ?
არა. მიგრაცია ჯერ EVE-NG-ზე შენდება: იგივე კონფიგურაცია, იგივე Network OS, ავარიისა და rollback-ის ტესტით. პროდაქშენში მიდის უკვე დამტკიცებული გეგმა.
SNMP-ს telemetry ცვლის?
არა — ისინი ერთად მუშაობენ. Streaming telemetry იქ, სადაც სიხშირე კრიტიკულია; SNMP polling — იქ, სადაც აღჭურვილობა ან მეტრიკა ამას მოითხოვს. flow კი მესამე, დამოუკიდებელ ხედვას იძლევა.