<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body>
<!-- This file has been automatically generated. See web/README.md -->
<div>
<div>
<div style="direction: ltr;">Sorry for the delay but ceph osd pool get <poolname> min_size returns 1. Where does this value come from?</div>
</div>
<div><br>
</div>
<div class="ms-outlook-ios-signature">Get <a href="https://aka.ms/o0ukef">Outlook for iOS</a></div>
</div>
<br>
<br>
<br>
<div class="gmail_quote">On Tue, Oct 23, 2018 at 5:47 PM -0700, "Bastiaan Visser"
<span dir="ltr"><<a href="mailto:bvisser@flexyz.com" target="_blank">bvisser@flexyz.com</a>></span> wrote:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="3D"ltr"">
<div style="font-family: arial, helvetica, sans-serif; font-size: 12pt; color: #000000">
<div><style><!--

@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}

p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style></div>
<div>Something must be wrong, since you have min_size 3 the pool should go read only once you take out the first rack. Probably even when you take out the first host.<br>
</div>
<div><br data-mce-bogus="1">
</div>
<div>What is the outputput of ceph osd pool get <poolname> min_size ?<br>
<br>
I guess it will be 2, since you did not hit a problem while taking out one rack. as soon as you take out an extra host after that, some PG's will have a size < 2, so the pool goes read-only and recovery should start. Once all pg's are back to size 2, the pool
 would be RW again.<br data-mce-bogus="1">
</div>
<div><br>
</div>
<hr id="zwchr" data-marker="__DIVIDER__">
<div data-marker="__HEADERS__"><b>From: </b>"Waterbly, Dan" <dan.waterbly@sos.wa.gov><br>
<b>To: </b>"ceph-users" <ceph-users@lists.ceph.com><br>
<b>Sent: </b>Tuesday, October 23, 2018 6:44:52 PM<br>
<b>Subject: </b>[ceph-users] Crushmap and failure domains at rack level (ideally data-center level in the future)<br>
</div>
<div><br>
</div>
<div data-marker="__QUOTED_TEXT__">
<div class="WordSection1">
<p class="MsoNormal">Hello,</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">I want to create a crushmap rule where I can lose two racks of hosts and still be able to operate. I have tried the rule below, but it only allows me to operate (rados gateway) with one rack down and two racks up. If I lose any host in
 the two remaining racks my rados gateway stops responding. Here is my crushmap and rule. If anyone can point out what I am doing wrong it would be greatly appreciated. I’m very new to ceph so please forgive any incorrect terminology I have used.</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal"># begin crush map</p>
<p class="MsoNormal">tunable choose_local_tries 0</p>
<p class="MsoNormal">tunable choose_local_fallback_tries 0</p>
<p class="MsoNormal">tunable choose_total_tries 50</p>
<p class="MsoNormal">tunable chooseleaf_descend_once 1</p>
<p class="MsoNormal">tunable chooseleaf_vary_r 1</p>
<p class="MsoNormal">tunable chooseleaf_stable 1</p>
<p class="MsoNormal">tunable straw_calc_version 1</p>
<p class="MsoNormal">tunable allowed_bucket_algs 54</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal"># devices</p>
<p class="MsoNormal">device 0 osd.0 class hdd</p>
<p class="MsoNormal">device 1 osd.1 class hdd</p>
<p class="MsoNormal">device 2 osd.2 class hdd</p>
<p class="MsoNormal">device 3 osd.3 class hdd</p>
<p class="MsoNormal">device 4 osd.4 class hdd</p>
<p class="MsoNormal">device 5 osd.5 class hdd</p>
<p class="MsoNormal">device 6 osd.6 class hdd</p>
<p class="MsoNormal">device 7 osd.7 class hdd</p>
<p class="MsoNormal">device 8 osd.8 class hdd</p>
<p class="MsoNormal">device 9 osd.9 class hdd</p>
<p class="MsoNormal">device 10 osd.10 class hdd</p>
<p class="MsoNormal">device 11 osd.11 class hdd</p>
<p class="MsoNormal">device 12 osd.12 class hdd</p>
<p class="MsoNormal">device 13 osd.13 class hdd</p>
<p class="MsoNormal">device 14 osd.14 class hdd</p>
<p class="MsoNormal">device 15 osd.15 class hdd</p>
<p class="MsoNormal">device 16 osd.16 class hdd</p>
<p class="MsoNormal">device 17 osd.17 class hdd</p>
<p class="MsoNormal">device 18 osd.18 class hdd</p>
<p class="MsoNormal">device 19 osd.19 class hdd</p>
<p class="MsoNormal">device 20 osd.20 class hdd</p>
<p class="MsoNormal">device 21 osd.21 class hdd</p>
<p class="MsoNormal">device 22 osd.22 class hdd</p>
<p class="MsoNormal">device 23 osd.23 class hdd</p>
<p class="MsoNormal">device 24 osd.24 class hdd</p>
<p class="MsoNormal">device 25 osd.25 class hdd</p>
<p class="MsoNormal">device 26 osd.26 class hdd</p>
<p class="MsoNormal">device 27 osd.27 class hdd</p>
<p class="MsoNormal">device 28 osd.28 class hdd</p>
<p class="MsoNormal">device 29 osd.29 class hdd</p>
<p class="MsoNormal">device 30 osd.30 class hdd</p>
<p class="MsoNormal">device 31 osd.31 class hdd</p>
<p class="MsoNormal">device 32 osd.32 class hdd</p>
<p class="MsoNormal">device 33 osd.33 class hdd</p>
<p class="MsoNormal">device 34 osd.34 class hdd</p>
<p class="MsoNormal">device 35 osd.35 class hdd</p>
<p class="MsoNormal">device 36 osd.36 class hdd</p>
<p class="MsoNormal">device 37 osd.37 class hdd</p>
<p class="MsoNormal">device 38 osd.38 class hdd</p>
<p class="MsoNormal">device 39 osd.39 class hdd</p>
<p class="MsoNormal">device 40 osd.40 class hdd</p>
<p class="MsoNormal">device 41 osd.41 class hdd</p>
<p class="MsoNormal">device 42 osd.42 class hdd</p>
<p class="MsoNormal">device 43 osd.43 class hdd</p>
<p class="MsoNormal">device 44 osd.44 class hdd</p>
<p class="MsoNormal">device 45 osd.45 class hdd</p>
<p class="MsoNormal">device 46 osd.46 class hdd</p>
<p class="MsoNormal">device 47 osd.47 class hdd</p>
<p class="MsoNormal">device 48 osd.48 class hdd</p>
<p class="MsoNormal">device 49 osd.49 class hdd</p>
<p class="MsoNormal">device 50 osd.50 class hdd</p>
<p class="MsoNormal">device 51 osd.51 class hdd</p>
<p class="MsoNormal">device 52 osd.52 class hdd</p>
<p class="MsoNormal">device 53 osd.53 class hdd</p>
<p class="MsoNormal">device 54 osd.54 class hdd</p>
<p class="MsoNormal">device 55 osd.55 class hdd</p>
<p class="MsoNormal">device 56 osd.56 class hdd</p>
<p class="MsoNormal">device 57 osd.57 class hdd</p>
<p class="MsoNormal">device 58 osd.58 class hdd</p>
<p class="MsoNormal">device 59 osd.59 class hdd</p>
<p class="MsoNormal">device 60 osd.60 class hdd</p>
<p class="MsoNormal">device 61 osd.61 class hdd</p>
<p class="MsoNormal">device 62 osd.62 class hdd</p>
<p class="MsoNormal">device 63 osd.63 class hdd</p>
<p class="MsoNormal">device 64 osd.64 class hdd</p>
<p class="MsoNormal">device 65 osd.65 class hdd</p>
<p class="MsoNormal">device 66 osd.66 class hdd</p>
<p class="MsoNormal">device 67 osd.67 class hdd</p>
<p class="MsoNormal">device 68 osd.68 class hdd</p>
<p class="MsoNormal">device 69 osd.69 class hdd</p>
<p class="MsoNormal">device 70 osd.70 class hdd</p>
<p class="MsoNormal">device 71 osd.71 class hdd</p>
<p class="MsoNormal">device 72 osd.72 class hdd</p>
<p class="MsoNormal">device 73 osd.73 class hdd</p>
<p class="MsoNormal">device 74 osd.74 class hdd</p>
<p class="MsoNormal">device 75 osd.75 class hdd</p>
<p class="MsoNormal">device 76 osd.76 class hdd</p>
<p class="MsoNormal">device 77 osd.77 class hdd</p>
<p class="MsoNormal">device 78 osd.78 class hdd</p>
<p class="MsoNormal">device 79 osd.79 class hdd</p>
<p class="MsoNormal">device 80 osd.80 class hdd</p>
<p class="MsoNormal">device 81 osd.81 class hdd</p>
<p class="MsoNormal">device 82 osd.82 class hdd</p>
<p class="MsoNormal">device 83 osd.83 class hdd</p>
<p class="MsoNormal">device 84 osd.84 class hdd</p>
<p class="MsoNormal">device 85 osd.85 class hdd</p>
<p class="MsoNormal">device 86 osd.86 class hdd</p>
<p class="MsoNormal">device 87 osd.87 class hdd</p>
<p class="MsoNormal">device 88 osd.88 class hdd</p>
<p class="MsoNormal">device 89 osd.89 class hdd</p>
<p class="MsoNormal">device 90 osd.90 class hdd</p>
<p class="MsoNormal">device 91 osd.91 class hdd</p>
<p class="MsoNormal">device 92 osd.92 class hdd</p>
<p class="MsoNormal">device 93 osd.93 class hdd</p>
<p class="MsoNormal">device 94 osd.94 class hdd</p>
<p class="MsoNormal">device 95 osd.95 class hdd</p>
<p class="MsoNormal">device 96 osd.96 class hdd</p>
<p class="MsoNormal">device 97 osd.97 class hdd</p>
<p class="MsoNormal">device 98 osd.98 class hdd</p>
<p class="MsoNormal">device 99 osd.99 class hdd</p>
<p class="MsoNormal">device 100 osd.100 class hdd</p>
<p class="MsoNormal">device 101 osd.101 class hdd</p>
<p class="MsoNormal">device 102 osd.102 class hdd</p>
<p class="MsoNormal">device 103 osd.103 class hdd</p>
<p class="MsoNormal">device 104 osd.104 class hdd</p>
<p class="MsoNormal">device 105 osd.105 class hdd</p>
<p class="MsoNormal">device 106 osd.106 class hdd</p>
<p class="MsoNormal">device 107 osd.107 class hdd</p>
<p class="MsoNormal">device 108 osd.108 class hdd</p>
<p class="MsoNormal">device 109 osd.109 class hdd</p>
<p class="MsoNormal">device 110 osd.110 class hdd</p>
<p class="MsoNormal">device 111 osd.111 class hdd</p>
<p class="MsoNormal">device 112 osd.112 class hdd</p>
<p class="MsoNormal">device 113 osd.113 class hdd</p>
<p class="MsoNormal">device 114 osd.114 class hdd</p>
<p class="MsoNormal">device 115 osd.115 class hdd</p>
<p class="MsoNormal">device 116 osd.116 class hdd</p>
<p class="MsoNormal">device 117 osd.117 class hdd</p>
<p class="MsoNormal">device 118 osd.118 class hdd</p>
<p class="MsoNormal">device 119 osd.119 class hdd</p>
<p class="MsoNormal">device 120 osd.120 class hdd</p>
<p class="MsoNormal">device 121 osd.121 class hdd</p>
<p class="MsoNormal">device 122 osd.122 class hdd</p>
<p class="MsoNormal">device 123 osd.123 class hdd</p>
<p class="MsoNormal">device 124 osd.124 class hdd</p>
<p class="MsoNormal">device 125 osd.125 class hdd</p>
<p class="MsoNormal">device 126 osd.126 class hdd</p>
<p class="MsoNormal">device 127 osd.127 class hdd</p>
<p class="MsoNormal">device 128 osd.128 class hdd</p>
<p class="MsoNormal">device 129 osd.129 class hdd</p>
<p class="MsoNormal">device 130 osd.130 class hdd</p>
<p class="MsoNormal">device 131 osd.131 class hdd</p>
<p class="MsoNormal">device 132 osd.132 class hdd</p>
<p class="MsoNormal">device 133 osd.133 class hdd</p>
<p class="MsoNormal">device 134 osd.134 class hdd</p>
<p class="MsoNormal">device 135 osd.135 class hdd</p>
<p class="MsoNormal">device 136 osd.136 class hdd</p>
<p class="MsoNormal">device 137 osd.137 class hdd</p>
<p class="MsoNormal">device 138 osd.138 class hdd</p>
<p class="MsoNormal">device 139 osd.139 class hdd</p>
<p class="MsoNormal">device 140 osd.140 class hdd</p>
<p class="MsoNormal">device 141 osd.141 class hdd</p>
<p class="MsoNormal">device 142 osd.142 class hdd</p>
<p class="MsoNormal">device 143 osd.143 class hdd</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal"># types</p>
<p class="MsoNormal">type 0 osd</p>
<p class="MsoNormal">type 1 host</p>
<p class="MsoNormal">type 2 chassis</p>
<p class="MsoNormal">type 3 rack</p>
<p class="MsoNormal">type 4 row</p>
<p class="MsoNormal">type 5 pdu</p>
<p class="MsoNormal">type 6 pod</p>
<p class="MsoNormal">type 7 room</p>
<p class="MsoNormal">type 8 datacenter</p>
<p class="MsoNormal">type 9 region</p>
<p class="MsoNormal">type 10 root</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal"># buckets</p>
<p class="MsoNormal">host cephstorage02 {</p>
<p class="MsoNormal">        id -3           # do not change unnecessarily</p>
<p class="MsoNormal">        id -4 class hdd         # do not change unnecessarily</p>
<p class="MsoNormal">        # weight 116.437</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        hash 0  # rjenkins1</p>
<p class="MsoNormal">        item osd.6 weight 7.277</p>
<p class="MsoNormal">        item osd.10 weight 7.277</p>
<p class="MsoNormal">        item osd.25 weight 7.277</p>
<p class="MsoNormal">        item osd.34 weight 7.277</p>
<p class="MsoNormal">        item osd.44 weight 7.277</p>
<p class="MsoNormal">        item osd.55 weight 7.277</p>
<p class="MsoNormal">        item osd.64 weight 7.277</p>
<p class="MsoNormal">        item osd.75 weight 7.277</p>
<p class="MsoNormal">        item osd.81 weight 7.277</p>
<p class="MsoNormal">        item osd.95 weight 7.277</p>
<p class="MsoNormal">        item osd.102 weight 7.277</p>
<p class="MsoNormal">        item osd.108 weight 7.277</p>
<p class="MsoNormal">        item osd.121 weight 7.277</p>
<p class="MsoNormal">        item osd.126 weight 7.277</p>
<p class="MsoNormal">        item osd.134 weight 7.277</p>
<p class="MsoNormal">        item osd.138 weight 7.277</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal">host cephstorage05 {</p>
<p class="MsoNormal">        id -5           # do not change unnecessarily</p>
<p class="MsoNormal">        id -6 class hdd         # do not change unnecessarily</p>
<p class="MsoNormal">        # weight 116.437</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        hash 0  # rjenkins1</p>
<p class="MsoNormal">        item osd.3 weight 7.277</p>
<p class="MsoNormal">        item osd.11 weight 7.277</p>
<p class="MsoNormal">        item osd.23 weight 7.277</p>
<p class="MsoNormal">        item osd.29 weight 7.277</p>
<p class="MsoNormal">        item osd.40 weight 7.277</p>
<p class="MsoNormal">        item osd.42 weight 7.277</p>
<p class="MsoNormal">        item osd.51 weight 7.277</p>
<p class="MsoNormal">        item osd.67 weight 7.277</p>
<p class="MsoNormal">        item osd.79 weight 7.277</p>
<p class="MsoNormal">        item osd.85 weight 7.277</p>
<p class="MsoNormal">        item osd.90 weight 7.277</p>
<p class="MsoNormal">        item osd.104 weight 7.277</p>
<p class="MsoNormal">        item osd.113 weight 7.277</p>
<p class="MsoNormal">        item osd.128 weight 7.277</p>
<p class="MsoNormal">        item osd.140 weight 7.277</p>
<p class="MsoNormal">        item osd.143 weight 7.277</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal">host cephstorage06 {</p>
<p class="MsoNormal">        id -7           # do not change unnecessarily</p>
<p class="MsoNormal">        id -8 class hdd         # do not change unnecessarily</p>
<p class="MsoNormal">        # weight 116.437</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        hash 0  # rjenkins1</p>
<p class="MsoNormal">        item osd.13 weight 7.277</p>
<p class="MsoNormal">        item osd.18 weight 7.277</p>
<p class="MsoNormal">        item osd.30 weight 7.277</p>
<p class="MsoNormal">        item osd.38 weight 7.277</p>
<p class="MsoNormal">        item osd.46 weight 7.277</p>
<p class="MsoNormal">        item osd.48 weight 7.277</p>
<p class="MsoNormal">        item osd.56 weight 7.277</p>
<p class="MsoNormal">        item osd.59 weight 7.277</p>
<p class="MsoNormal">        item osd.68 weight 7.277</p>
<p class="MsoNormal">        item osd.80 weight 7.277</p>
<p class="MsoNormal">        item osd.91 weight 7.277</p>
<p class="MsoNormal">        item osd.101 weight 7.277</p>
<p class="MsoNormal">        item osd.112 weight 7.277</p>
<p class="MsoNormal">        item osd.120 weight 7.277</p>
<p class="MsoNormal">        item osd.130 weight 7.277</p>
<p class="MsoNormal">        item osd.141 weight 7.277</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal">host cephstorage03 {</p>
<p class="MsoNormal">        id -9           # do not change unnecessarily</p>
<p class="MsoNormal">        id -10 class hdd                # do not change unnecessarily</p>
<p class="MsoNormal">        # weight 116.437</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        hash 0  # rjenkins1</p>
<p class="MsoNormal">        item osd.2 weight 7.277</p>
<p class="MsoNormal">        item osd.8 weight 7.277</p>
<p class="MsoNormal">        item osd.21 weight 7.277</p>
<p class="MsoNormal">        item osd.28 weight 7.277</p>
<p class="MsoNormal">        item osd.36 weight 7.277</p>
<p class="MsoNormal">        item osd.50 weight 7.277</p>
<p class="MsoNormal">        item osd.62 weight 7.277</p>
<p class="MsoNormal">        item osd.69 weight 7.277</p>
<p class="MsoNormal">        item osd.72 weight 7.277</p>
<p class="MsoNormal">        item osd.77 weight 7.277</p>
<p class="MsoNormal">        item osd.83 weight 7.277</p>
<p class="MsoNormal">        item osd.87 weight 7.277</p>
<p class="MsoNormal">        item osd.103 weight 7.277</p>
<p class="MsoNormal">        item osd.118 weight 7.277</p>
<p class="MsoNormal">        item osd.129 weight 7.277</p>
<p class="MsoNormal">        item osd.136 weight 7.277</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal">host cephstorage04 {</p>
<p class="MsoNormal">        id -11          # do not change unnecessarily</p>
<p class="MsoNormal">        id -12 class hdd                # do not change unnecessarily</p>
<p class="MsoNormal">        # weight 116.437</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        hash 0  # rjenkins1</p>
<p class="MsoNormal">        item osd.4 weight 7.277</p>
<p class="MsoNormal">        item osd.14 weight 7.277</p>
<p class="MsoNormal">        item osd.20 weight 7.277</p>
<p class="MsoNormal">        item osd.27 weight 7.277</p>
<p class="MsoNormal">        item osd.37 weight 7.277</p>
<p class="MsoNormal">        item osd.45 weight 7.277</p>
<p class="MsoNormal">        item osd.58 weight 7.277</p>
<p class="MsoNormal">        item osd.65 weight 7.277</p>
<p class="MsoNormal">        item osd.71 weight 7.277</p>
<p class="MsoNormal">        item osd.82 weight 7.277</p>
<p class="MsoNormal">        item osd.94 weight 7.277</p>
<p class="MsoNormal">        item osd.98 weight 7.277</p>
<p class="MsoNormal">        item osd.107 weight 7.277</p>
<p class="MsoNormal">        item osd.119 weight 7.277</p>
<p class="MsoNormal">        item osd.122 weight 7.277</p>
<p class="MsoNormal">        item osd.131 weight 7.277</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal">host cephstorage07 {</p>
<p class="MsoNormal">        id -13          # do not change unnecessarily</p>
<p class="MsoNormal">        id -14 class hdd                # do not change unnecessarily</p>
<p class="MsoNormal">        # weight 116.437</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        hash 0  # rjenkins1</p>
<p class="MsoNormal">        item osd.0 weight 7.277</p>
<p class="MsoNormal">        item osd.12 weight 7.277</p>
<p class="MsoNormal">        item osd.22 weight 7.277</p>
<p class="MsoNormal">        item osd.33 weight 7.277</p>
<p class="MsoNormal">        item osd.43 weight 7.277</p>
<p class="MsoNormal">        item osd.52 weight 7.277</p>
<p class="MsoNormal">        item osd.57 weight 7.277</p>
<p class="MsoNormal">        item osd.63 weight 7.277</p>
<p class="MsoNormal">        item osd.70 weight 7.277</p>
<p class="MsoNormal">        item osd.78 weight 7.277</p>
<p class="MsoNormal">        item osd.88 weight 7.277</p>
<p class="MsoNormal">        item osd.100 weight 7.277</p>
<p class="MsoNormal">        item osd.110 weight 7.277</p>
<p class="MsoNormal">        item osd.115 weight 7.277</p>
<p class="MsoNormal">        item osd.123 weight 7.277</p>
<p class="MsoNormal">        item osd.137 weight 7.277</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal">host cephstorage01 {</p>
<p class="MsoNormal">        id -15          # do not change unnecessarily</p>
<p class="MsoNormal">        id -16 class hdd                # do not change unnecessarily</p>
<p class="MsoNormal">        # weight 116.437</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        hash 0  # rjenkins1</p>
<p class="MsoNormal">        item osd.5 weight 7.277</p>
<p class="MsoNormal">        item osd.15 weight 7.277</p>
<p class="MsoNormal">        item osd.26 weight 7.277</p>
<p class="MsoNormal">        item osd.35 weight 7.277</p>
<p class="MsoNormal">        item osd.41 weight 7.277</p>
<p class="MsoNormal">        item osd.54 weight 7.277</p>
<p class="MsoNormal">        item osd.66 weight 7.277</p>
<p class="MsoNormal">        item osd.74 weight 7.277</p>
<p class="MsoNormal">        item osd.93 weight 7.277</p>
<p class="MsoNormal">        item osd.99 weight 7.277</p>
<p class="MsoNormal">        item osd.109 weight 7.277</p>
<p class="MsoNormal">        item osd.114 weight 7.277</p>
<p class="MsoNormal">        item osd.124 weight 7.277</p>
<p class="MsoNormal">        item osd.132 weight 7.277</p>
<p class="MsoNormal">        item osd.139 weight 7.277</p>
<p class="MsoNormal">        item osd.142 weight 7.277</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal">host cephstorage08 {</p>
<p class="MsoNormal">        id -17          # do not change unnecessarily</p>
<p class="MsoNormal">        id -18 class hdd                # do not change unnecessarily</p>
<p class="MsoNormal">        # weight 116.437</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        hash 0  # rjenkins1</p>
<p class="MsoNormal">        item osd.1 weight 7.277</p>
<p class="MsoNormal">        item osd.9 weight 7.277</p>
<p class="MsoNormal">        item osd.16 weight 7.277</p>
<p class="MsoNormal">        item osd.19 weight 7.277</p>
<p class="MsoNormal">        item osd.32 weight 7.277</p>
<p class="MsoNormal">        item osd.47 weight 7.277</p>
<p class="MsoNormal">        item osd.49 weight 7.277</p>
<p class="MsoNormal">        item osd.60 weight 7.277</p>
<p class="MsoNormal">        item osd.73 weight 7.277</p>
<p class="MsoNormal">        item osd.84 weight 7.277</p>
<p class="MsoNormal">        item osd.89 weight 7.277</p>
<p class="MsoNormal">        item osd.96 weight 7.277</p>
<p class="MsoNormal">        item osd.105 weight 7.277</p>
<p class="MsoNormal">        item osd.117 weight 7.277</p>
<p class="MsoNormal">        item osd.127 weight 7.277</p>
<p class="MsoNormal">        item osd.135 weight 7.277</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal">host cephstorage09 {</p>
<p class="MsoNormal">        id -19          # do not change unnecessarily</p>
<p class="MsoNormal">        id -20 class hdd                # do not change unnecessarily</p>
<p class="MsoNormal">        # weight 116.437</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        hash 0  # rjenkins1</p>
<p class="MsoNormal">        item osd.7 weight 7.277</p>
<p class="MsoNormal">        item osd.17 weight 7.277</p>
<p class="MsoNormal">        item osd.24 weight 7.277</p>
<p class="MsoNormal">        item osd.31 weight 7.277</p>
<p class="MsoNormal">        item osd.39 weight 7.277</p>
<p class="MsoNormal">        item osd.53 weight 7.277</p>
<p class="MsoNormal">        item osd.61 weight 7.277</p>
<p class="MsoNormal">        item osd.76 weight 7.277</p>
<p class="MsoNormal">        item osd.86 weight 7.277</p>
<p class="MsoNormal">        item osd.92 weight 7.277</p>
<p class="MsoNormal">        item osd.97 weight 7.277</p>
<p class="MsoNormal">        item osd.106 weight 7.277</p>
<p class="MsoNormal">        item osd.111 weight 7.277</p>
<p class="MsoNormal">        item osd.116 weight 7.277</p>
<p class="MsoNormal">        item osd.125 weight 7.277</p>
<p class="MsoNormal">        item osd.133 weight 7.277</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">rack rack01 {</p>
<p class="MsoNormal">        id -101</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        hash 0</p>
<p class="MsoNormal">        item cephstorage01 weight 116.437</p>
<p class="MsoNormal">        item cephstorage02 weight 116.437</p>
<p class="MsoNormal">        item cephstorage03 weight 116.437</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">rack rack02 {</p>
<p class="MsoNormal">        id -102</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        hash 0</p>
<p class="MsoNormal">        item cephstorage04 weight 116.437</p>
<p class="MsoNormal">        item cephstorage05 weight 116.437</p>
<p class="MsoNormal">        item cephstorage06 weight 116.437</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">rack rack03 {</p>
<p class="MsoNormal">        id -103</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        hash 0</p>
<p class="MsoNormal">        item cephstorage07 weight 116.437</p>
<p class="MsoNormal">        item cephstorage08 weight 116.437</p>
<p class="MsoNormal">        item cephstorage09 weight 116.437</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">datacenter dc-1 {</p>
<p class="MsoNormal">        id -201</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        item rack01 weight 349.311</p>
<p class="MsoNormal">        item rack02 weight 349.311</p>
<p class="MsoNormal">        item rack03 weight 349.311</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">region us-west {</p>
<p class="MsoNormal">        id -301</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        item dc-1 weight 1047.933</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">root default {</p>
<p class="MsoNormal">        id -1           # do not change unnecessarily</p>
<p class="MsoNormal">        id -2 class hdd         # do not change unnecessarily</p>
<p class="MsoNormal">        # weight 1047.931</p>
<p class="MsoNormal">        alg straw2</p>
<p class="MsoNormal">        item wa-east weight 1047.933</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal"># rules</p>
<p class="MsoNormal">rule replicated_rule {</p>
<p class="MsoNormal">        id 0</p>
<p class="MsoNormal">        type replicated</p>
<p class="MsoNormal">        min_size 3</p>
<p class="MsoNormal">        max_size 3</p>
<p class="MsoNormal">        step take default</p>
<p class="MsoNormal">        step choose firstn 0 type datacenter</p>
<p class="MsoNormal">        step chooseleaf firstn 0 type rack</p>
<p class="MsoNormal">        step emit</p>
<p class="MsoNormal">}</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal"># end crush map</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal"><b><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:#17365D">Dan Waterbly
</span></b><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:#17365D">| Senior Application Developer | 509.235.7500 x225 |
<a href="mailto:dan.waterbly@sos.wa.gov" target="_blank"><span style="color:#0563C1">dan.waterbly@sos.wa.gov</span></a></span><br data-mce-bogus="1">
</p>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:"Arial",sans-serif;color:#595959">WASHINGTON STATE ARCHIVES | DIGITAL ARCHIVES</span></p>
<p class="MsoNormal"> </p>
</div>
<br>
_______________________________________________<br>
ceph-users mailing list<br>
ceph-users@lists.ceph.com<br>
http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com<br>
</div>
</div>
</div>
</blockquote>
</div>
</body>
</html>