[ceph-users] weight-set defined for some OSDs and not defined for the new installed ones

Konstantin Shalygin k0ste at k0ste.ru
Wed Mar 13 22:52:52 PDT 2019


On 3/14/19 12:42 PM, Massimo Sgaravatto wrote:
> [root at c-mon-01 /]# ceph osd df tree
> ID  CLASS WEIGHT  REWEIGHT SIZE    USE     AVAIL   %USE VAR  PGS TYPE 
> NAME
>  -1       1.95190        - 1.95TiB 88.4GiB 1.87TiB    0 0   - root 
> default
>  -2             0        -      0B      0B      0B    0 0   -     rack 
> Rack15-PianoAlto
>  -3       0.39038        -  400GiB 18.9GiB  381GiB 4.74 1.07   -    
>  host c-osd-1
>   0   hdd 0.09760  1.00000  100GiB 5.42GiB 94.5GiB 5.43 1.23  77      
>    osd.0
>   1   hdd 0.09760  1.00000  100GiB 2.65GiB 97.3GiB 2.65 0.60  71      
>    osd.1
>   2   hdd 0.09760  1.00000  100GiB 3.68GiB 96.3GiB 3.68 0.83  66      
>    osd.2
>   3   hdd 0.09760  1.00000  100GiB 7.19GiB 92.8GiB 7.19 1.63  62      
>    osd.3
>  -4       0.39038        -  400GiB 17.0GiB  383GiB 4.24 0.96   -    
>  host c-osd-2
>   4   hdd 0.09760  1.00000  100GiB 7.54GiB 92.4GiB 7.55 1.71  70      
>    osd.4
>   5   hdd 0.09760  1.00000  100GiB 3.36GiB 96.6GiB 3.36 0.76  71      
>    osd.5
>   6   hdd 0.09760  1.00000  100GiB 54.1MiB 99.9GiB 0.05 0.01  67      
>    osd.6
>   7   hdd 0.09760  1.00000  100GiB 6.01GiB 93.9GiB 6.01 1.36  59      
>    osd.7
>  -5       0.39038        -  400GiB 20.7GiB  379GiB 5.17 1.17   -    
>  host c-osd-3
>   8   hdd 0.09760  1.00000  100GiB 6.70GiB 93.2GiB 6.71 1.52  63      
>    osd.8
>   9   hdd 0.09760  1.00000  100GiB 4.93GiB 95.0GiB 4.94 1.12  70      
>    osd.9
>  10   hdd 0.09760  1.00000  100GiB 4.11GiB 95.8GiB 4.11 0.93  71      
>    osd.10
>  11   hdd 0.09760  1.00000  100GiB 4.92GiB 95.0GiB 4.92 1.11  59      
>    osd.11
> -11       0.78076        -  800GiB 31.8GiB  768GiB 3.98 0.90   -    
>  host c-osd-5
>  12   hdd 0.09760  1.00000  100GiB 4.39GiB 95.6GiB 4.39 0.99  47      
>    osd.12
>  13   hdd 0.09760  1.00000  100GiB 4.48GiB 95.5GiB 4.48 1.01  41      
>    osd.13
>  14   hdd 0.09760  1.00000  100GiB 3.69GiB 96.3GiB 3.69 0.84  45      
>    osd.14
>  15   hdd 0.09760  1.00000  100GiB 3.63GiB 96.4GiB 3.63 0.82  39      
>    osd.15
>  16   hdd 0.09760  1.00000  100GiB 3.48GiB 96.5GiB 3.48 0.79  47      
>    osd.16
>  17   hdd 0.09760  1.00000  100GiB 4.35GiB 95.6GiB 4.35 0.98  44      
>    osd.17
>  18   hdd 0.09760  1.00000  100GiB 3.57GiB 96.4GiB 3.57 0.81  46      
>    osd.18
>  19   hdd 0.09760  1.00000  100GiB 4.23GiB 95.8GiB 4.23 0.96  37      
>    osd.19
>                      TOTAL 1.95TiB 88.4GiB 1.87TiB 4.42
> MIN/MAX VAR: 0.01/1.71  STDDEV: 1.64
> [root at c-mon-01 /]#

I think you need to remove your compat weight set via `osd crush 
weight-set rm-compat` and switch to upmap balancer mode.

Or instead this you can just add your new osds to this set via `osd 
crush weight-set reweight-compat <osd> <weight>`.



k



More information about the ceph-users mailing list