<div dir="ltr"><div class="gmail_quote"><div>Hi Stefan,</div><div><br></div><div>I think I have missed your reply. I'm interested to know how you manage the performance on running Ceph with host based VXLAN overlay. May be you can share the comparison for better understanding of possible performance impact.</div><div><br></div><div>Best regards,</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Date: Sun, 25 Nov 2018 21:17:34 +0100<br>
From: Stefan Kooman <<a href="mailto:stefan@bit.nl" target="_blank">stefan@bit.nl</a>><br>
To: "Robin H. Johnson" <<a href="mailto:robbat2@gentoo.org" target="_blank">robbat2@gentoo.org</a>><br>
Cc: Ceph Users <<a href="mailto:ceph-users@lists.ceph.com" target="_blank">ceph-users@lists.ceph.com</a>><br>
Subject: Re: [ceph-users] Full L3 Ceph<br>
Message-ID: <<a href="mailto:20181125201734.GC17245@shell.dmz.bit.nl" target="_blank">20181125201734.GC17245@shell.dmz.bit.nl</a>><br>
Content-Type: text/plain; charset="us-ascii"<br>
<br>
Quoting Robin H. Johnson (<a href="mailto:robbat2@gentoo.org" target="_blank">robbat2@gentoo.org</a>):<br>
> On Fri, Nov 23, 2018 at 04:03:25AM +0700, Lazuardi Nasution wrote:<br>
> > I'm looking example Ceph configuration and topology on full layer 3<br>
> > networking deployment. Maybe all daemons can use loopback alias address in<br>
> > this case. But how to set cluster network and public network configuration,<br>
> > using supernet? I think using loopback alias address can prevent the<br>
> > daemons down due to physical interfaces disconnection and can load balance<br>
> > traffic between physical interfaces without interfaces bonding, but with<br>
> > ECMP.<br>
> I can say I've done something similar**, but I don't have access to that<br>
> environment or most*** of the configuration anymore.<br>
> <br>
> One of the parts I do recall, was explicitly setting cluster_network<br>
> and public_network to empty strings, AND using public_addr+cluster_addr<br>
> instead, with routable addressing on dummy interfaces (NOT loopback).<br>
<br>
You can do this with MP-BGP (VXLAN) EVPN. We are running it like that.<br>
IPv6 overlay network only. ECMP to make use of all the links. We don't<br>
use a seperate cluster network. That only complicates things, and<br>
there's no real use for it (trademark by Wido den Hollander). If you<br>
want to use BGP on the hosts themselves have a look at this post by<br>
Vincent Bernat (great writeups of complex networking stuff) [1]. You can<br>
use "MC-LAG" on the host to get redundant connectivity, or use "Type 4"<br>
EVPN to get endpoint redundancy (Ethernet Segment Route). FRR 6.0 has<br>
support for most of this (not yet "Type 4" EVPN support IIRC) [2].<br>
<br>
We use a network namespace to seperate (IPv6) mangemant traffic<br>
from production traffic. This complicates Ceph deployment a lot, but in<br>
the end it's worth it.<br>
<br>
Gr. Stefan<br>
<br>
[1]: <a href="https://vincent.bernat.ch/en/blog/2017-vxlan-bgp-evpn" rel="noreferrer" target="_blank">https://vincent.bernat.ch/en/blog/2017-vxlan-bgp-evpn</a><br>
[2]: <a href="https://frrouting.org/" rel="noreferrer" target="_blank">https://frrouting.org/</a><br>
<br>
<br>
-- <br>
| BIT BV  <a href="http://www.bit.nl/" rel="noreferrer" target="_blank">http://www.bit.nl/</a>        Kamer van Koophandel 09090351<br>
| GPG: 0xD14839C6                   +31 318 648 688 / <a href="mailto:info@bit.nl" target="_blank">info@bit.nl</a><br>
</blockquote></div></div>