Introduction: the station for adjustment (post 1 of 6 in GISTEMP example)

(Updated with some notes on software, station data and plots. Now complete)

The station selected for adjustment in this example is NAR’JAN-MAR, one of the first urban stations adjusted during GISTEMP processing. It is adjusted using five rural stations, UST’-CIL’MA, KANIN NOS, KOJNAS, HOSEDA-HARD and WAIGATZ. I have chosen this station as those adjusted before it use more rural stations for adjustment, and so would make this example unnecessarily long. The adjustment is also carried out using a simple straight line fit, rather than a line with a “knee”, which would add unnecessary detail for an introductory example. (May 22. Correction: in preparing post 4, to appear shortly, I have noticed that this is in fact an adjustment using a line with a “knee”)

The software used was my implementation of GISTEMP steps 0, 1, 2 and 3 in C#. This differs from the original GISS implementation of GISTEMP in two ways:

  • addition detail in the log files generated, and some new log files added
  • a configuration file enabling variation of many parameters and program design choices (tie-breaking rules, rounding strategy, whether to adjust urban stations, exclusion of specified stations from the analysis, etc.) without rewriting code.

This implementation has been verified step by step against the GISS implementation as follows:

  • for steps 0 and 1, where rounding to integer values in 1/10 degree C is performed, platform dependent floating point precision makes comparison difficult, and a large table of rounded values for specific pairs of values entering a division operation which would give a result on a “0.5” rounding boundary, to correct results where machine precision lead to a different rounded result. To generate this table I compared the archived GISS GISTEMP output for March 2009, with my own, and added table entries to correct any differences found. A table of modest size was sufficient to achieve a perfect match to the step 0 output. This table however was insufficient for step 1, leaving thousands of differences. Expanding the table to reduce the number of differences proved to be a painful and slow trial-and-error exercise. With a table expanded to over 200 entries the number of remaining differences was greatly reduced, and as none of the remaining hundred or so differences were greater than 1 in (integer) value, and a complete table would still only guarantee a perfect match to a single archived month, I accepted that these remaining differences were, “beyond reasonable doubt”, simply a reflection of floating point machine precision, and moved on to implement step 2.
  • for steps 2 and 3, where binary files with floating point values are used for output, verification was simpler. I simply compared value by value with the GISS GISTEMP output files, and checked that the maximum difference for the relevant values was of the order of 0.0001, so for all practical purposes identical, any difference explainable as floating point machine precision. (There is however a single value for urban stations saved in step 3 where considerable differences can sometimes arise as a result of ill-conditioned arithmetic for particular input. This value is however not used subsequently in step 3. I reported this calculation to GISS with a worked example calculation,  and was told that this value was saved  for use in step 4, but that these imprecise values would not be a problem. I have not implemented step 4, and do not intend to do so as I have restricted myself to the land analysis, but I am inclined to accept this response as the value in question is used when combining land and ocean data, to discard ocean data at points close to a contributing weather station, and so does not enter directly into the calculation of any temperature or anomaly value. In addition, only a small number of these values result in ill conditioned calculations, and a very small number of ocean stations close to land stations, if any at all, will be incorrectly included or excluded as a result)

The metadata for this station from v2.inv can be summarised:

222 23205000 [NAR’JAN-MAR]

lat   67.63  elevs    12  pop      S  topo  FL  stloc no    US-brightness[ ]
lon   53.03  elevg    60  ipop    17  stveg xx  iloc  -9  GHCN-brightness[A] ( 14)
airstn    x  itowndis -9  grveg: TUNDRA 

And the adjustment details can be seen in the log file (“my” GISTEMP provides somewhat more information in these log files that the original GISS version):

PApars.GHCN.CL.1000.20.log
==========================
number of rural/urban stations 3124 3180
urb stnID:222232050004 # rur:   5 ranges: 1927 2009     500.
longest rur range: 1890-2009    98  [wgt: 0.507  246.7 km] 222234050000  [UST'-CIL'MA]
add stn    2 range: 1916-2009    92 [wgt: 0.161  419.4 km] 638221650004  [KANIN NOS]
data added:  92  overlap: 75  years
add stn    3 range: 1913-1989    76 [wgt: 0.217  391.8 km] 638225830000  [KOJNAS]
data added:  76  overlap: 75  years
add stn    4 range: 1932-2001    68 [wgt: 0.441  279.7 km] 222232190004  [HOSEDA-HARD]
data added:  68  overlap: 68  years
add stn    5 range: 1915-1950    34 [wgt: 0.225  387.7 km] 222230220010  [WAIGATZ]
data added:  34  overlap: 34  years
possible range increase 32 63 63

The unadjusted station data:

Ts.GHCN.CL.1 [GHCN V2 Temperatures (.1 C)]
=================

NAR'JAN-MAR                   2SA222  [232050004]

         Jan   Feb   Mar   Apr   May   Jun   Jul   Aug   Sep   Oct   Nov   Dec
1926:   9999  9999  9999  9999  9999  9999  9999  9999  9999  9999  9999  -159
1927:   -224  -126  -172   -70    15    78   120   119    55   -22   -86  -153
1928:   -163  -132  -150  -113    -4    77   147   116    65   -34  -110   -88
1929:   -179  -208  -192  -131   -32    76   115    94    63    24   -34  -133
1930:    -83  -203  -192   -94   -19    51    98   136    37   -19   -48  -165
1931:   -164  -125  -173   -61    21   101   148   153    64     5   -57  -126
1932:   -126  -231  -165   -20    -2    60   119   146    84    -5   -79  -145
1933:   -168  -175  -209   -61   -29    54   157    83    44     5  -107  -195
1934:    -76  -135  -125   -84    29    78   120   104    46     8   -27   -83
1935:   -130   -90  -114  -102   -16    72   136    96    62   -32   -41   -96
1936:   -180  -220  -130   -36     8   109   142   128    61   -10   -17   -64
1937:    -86   -90  -144   -49    -8    97   128   123    62    18   -58  -151
1938:   -145  -169   -75   -29    21    89   147   112    84   -19   -70  -147
1939:   -152  -152  -125   -63   -22    74   127    88    31   -14   -27  -122
1940:   -254  -157  -170   -45   -14    79   147   157    92   -33   -72  -193
1941:   -242  -167  -213  -115    -4    53    90   120    51   -10   -69  -221
1942:   -186  -157  -231   -75    -4   103   129   111    66   -43   -85  -101
1943:   -206   -83  -118   -11    34   101   166   109    70    -1  9999   -98
1944:   -124  -111  -115   -55    10    68   106    97    77    36   -44  -109
1945:   -128  -187  -171   -58    -8    94    99   142    65   -28  -105  -208
1946:   -153  -215  -122   -89   -18    41   100   134    59   -36   -87   -88
1947:   -143  -231  -146   -43    -4    88    86   110    72     9   -96  -138
1948:   -150  -178  -150   -63    43    97   101   102    73    14   -31  -147
1949:   -124  -242  -109   -34    -1    64    83   111    45   -15   -79  -126
1950:   -206  -181   -91   -12    13    61    90   101    66    20   -80   -98
1951:   -163  -203  -134     4    -7    67   115   119    61    13   -75  -107
1952:   -120  -104  -198   -68   -34    78   149    92    62   -35   -94  -190
1953:   -183  -211  -162    -1    14   107   126   140    30    -5   -78   -50
1954:   -127  -175  -100   -37    21    93   173   108    68    12   -86   -78
1955:   -115  -220  -195   -32    34    82   124    86    51     9  -140  -225
1956:   -161  -208   -66  -138    16   103   108   129    29   -26  -146   -87
1957:   -141  -127  -221   -69    25    84   157   146    71   -17  -132  -155
1958:   -161  -158  -239   -92   -35    55   119    96    26     5   -51  -258
1959:   -144  -125   -78  -124    22   109   138   122    53   -56   -45   -98
1960:   -204  -222  -201   -51     5    85   162    98    51   -50  -104   -98
1961:   -132  -142   -76   -94   -18  9999   179   123    51    21   -86  -159
1962:   -152   -93  -141   -13    40    78   150    95    71   -26   -31  -173
1963:   -187  -176  -241   -65    35    73   121   113    65     9  -114  -204
1964:   -235  -160  -173  -148   -21    73   160   109    51    -2  -172  -104
1965:   -167  -207  -124   -61   -31    87   127   111    54   -44  -169  -114
1966:   -198  -301  -202   -88    -6    53   144   104    43   -56   -40  -170
1967:   -215  -115   -45     0    -1    87   141   132    68    12   -24  -148
1968:   -223  -143  -101   -99     3    67    79   104    29   -34  -188  -187
1969:   -249  -212  -164   -98   -60    17   124    75    59   -33   -57  -126
1970:   -193  -199   -87   -90   -16    55   144   100    80   -13  -103  -113
1971:   -168  -215  -128  -114   -16    43   124    90    61   -56   -95  -153
1972:   -184  -127  -121   -68   -48    64   151   120    43    -8  -150   -86
1973:   -201  -139  -128   -26    18    91   120   119    33   -33  -105  -175
1974:   -171  -198   -61   -87   -24   104   191   128    81   -13  -170   -49
1975:   -172  -195   -78   -38     2    68   125    96    81   -38   -76  -101
1976:   -229  -154  -101   -21   -13    79   145   122    54   -49   -69   -74
1977:   -186  -259  -154   -29    43   120   146   114    57   -78   -50  -109
1978:   -155  -170  -152  -139   -29    30   113    88    47   -15   -83  -250
1979:   -217  -217  -138  -128    19    46   129    97    75   -41   -67  -127
1980:   -210  -145  -123   -64    -2    77    94    79    64     1  -104  -125
1981:   -109  -119  -162  -107   -18    93   130   146    60    32   -44  -100
1982:   -239  -161  -157   -41    32    61   140    83    59   -64   -53   -84
1983:   -135  -174  -116   -67   -11    85   140    95    59     3  -106  -137
1984:   -106   -83   -75  -103    17   103   153   108    55   -38  -143  -121
1985:   -272  -253   -91   -89   -29    82   116   109    80   -21   -80  -226
1986:   -173  -204   -59   -64   -36    73    93    81    30    -1   -24  -237
1987:   -228  -204  -110  -140    14    76   123    83    63    31  -116  -192
1988:   -148  -162   -78  -102    -4    87   149   122    59    -9  -127  -131
1989:   -191  -138   -53   -62    52   140   152   117    69   -10  -101  -163
1990:   -217  -111   -93   -16     2    94   178   106    41   -29  -146  -125
1991:   -196  -123  -151   -24    38   120   111    98    61    13   -66  9999
1992:   -201  -122  9999  -148    27    66  9999    99    75   -89  -163   -92
1993:   -122  -126  -101   -73     1   158   155   111    43   -26   -91  -129
1994:   -156  -223   -78   -24   -22  9999   114   104    57    -7  -154  -104
1995:    -86  9999   -77    11    39    78   127   114    70   -20  -134  -163
1996:    -96  -161   -68   -77     7    76   121    80    28     5   -20  -128
1997:   -205  -216  -118   -41  9999    70    83    65    75   -10  -125  -198
1998:   -197  -309  -112  -128   -10    74   174   103    32   -40  -172  -177
1999:   -267  -167  -136   -97   -53    73  9999   100    53    15  -130   -93
2000:   -213  -131   -82   -32    18   109   156   106    58    18   -57  -185
2001:   -149  -243  -165   -37    12    83   127   122    83   -37  -119  -158
2002:   -232  -151  -118   -36    -5    68   133    73    28   -10  -121  -165
2003:   -219  -153  -115   -54    34    60   143   161    65   -12   -66  -100
2004:   -120  -166  -161   -82     5    87   182   106    62    -8   -86  -132
2005:   -106  -138  -181   -77    38    87   138   127    78    31    -4   -88
2006:   -220  -181  -133   -64    26   121   110   100    61   -31  -117  -106
2007:   -104  -228   -44   -24     6    84   162   120    70    35   -74   -68
2008:    -92  -145  -145   -76   -11    90   159    97    57    21   -67   -58
2009:   -184  -184   -94   -73   -16    87   129   104    82    -3   -89  -216
2010:   -185  -221  -131

The adjusted station data:

Ts.GHCN.CL.PA.1 [GHCN V2 Temperatures (.1 C)                                                     ]
=================

NAR'JAN-MAR                   2SA222  [232050004]

         Jan   Feb   Mar   Apr   May   Jun   Jul   Aug   Sep   Oct   Nov   Dec
1926:   9999  9999  9999  9999  9999  9999  9999  9999  9999  9999  9999  -162
1927:   -227  -129  -175   -73    12    75   117   116    52   -25   -89  -156
1928:   -166  -135  -153  -116    -7    74   144   113    62   -37  -113   -91
1929:   -182  -211  -195  -134   -35    73   112    91    60    21   -37  -136
1930:    -86  -206  -195   -97   -22    48    95   133    34   -22   -51  -168
1931:   -167  -128  -176   -64    18    98   145   150    61     2   -60  -128
1932:   -128  -233  -167   -22    -4    58   117   144    82    -7   -81  -147
1933:   -170  -177  -211   -63   -31    52   155    81    42     3  -109  -197
1934:    -78  -137  -127   -86    27    76   118   102    44     6   -29   -85
1935:   -132   -92  -116  -104   -18    70   134    94    60   -34   -43   -98
1936:   -182  -222  -132   -38     6   107   140   126    59   -12   -19   -66
1937:    -88   -92  -146   -51   -10    95   126   121    60    16   -60  -153
1938:   -147  -171   -77   -31    19    87   145   110    82   -21   -72  -149
1939:   -154  -154  -127   -65   -24    72   125    86    29   -16   -29  -124
1940:   -256  -159  -172   -47   -16    77   145   155    90   -35   -74  -195
1941:   -244  -169  -215  -117    -6    51    88   118    49   -12   -71  -223
1942:   -188  -159  -233   -77    -6   101   127   109    64   -45   -87  -103
1943:   -208   -85  -120   -13    32    99   164   107    68    -3  9999  -100
1944:   -126  -113  -117   -57     8    66   104    95    75    34   -46  -111
1945:   -130  -189  -173   -60   -10    92    97   140    63   -30  -107  -209
1946:   -154  -216  -123   -90   -19    40    99   133    58   -37   -88   -89
1947:   -144  -232  -147   -44    -5    87    85   109    71     8   -97  -139
1948:   -151  -179  -151   -64    42    96   100   101    72    13   -32  -148
1949:   -125  -243  -110   -35    -2    63    82   110    44   -16   -80  -127
1950:   -207  -182   -92   -13    12    60    89   100    65    19   -81   -99
1951:   -164  -204  -135     3    -8    66   114   118    60    12   -76  -108
1952:   -121  -105  -199   -69   -35    77   148    91    61   -36   -95  -191
1953:   -184  -212  -163    -2    13   106   125   139    29    -6   -79   -51
1954:   -128  -176  -101   -38    20    92   172   107    67    11   -87   -79
1955:   -116  -221  -196   -33    33    81   123    85    50     8  -141  -226
1956:   -162  -209   -67  -139    15   102   107   128    28   -27  -147   -88
1957:   -142  -128  -222   -70    24    83   156   145    70   -18  -133  -156
1958:   -162  -159  -240   -93   -36    54   118    95    25     4   -52  -259
1959:   -145  -126   -79  -125    21   108   137   121    52   -57   -46   -99
1960:   -205  -223  -202   -52     4    84   161    97    50   -51  -105   -98
1961:   -132  -142   -76   -94   -18  9999   179   123    51    21   -86  -159
1962:   -152   -93  -141   -13    40    78   150    95    71   -26   -31  -173
1963:   -187  -176  -241   -65    35    73   121   113    65     9  -114  -204
1964:   -235  -160  -173  -148   -21    73   160   109    51    -2  -172  -104
1965:   -167  -207  -124   -61   -31    87   127   111    54   -44  -169  -114
1966:   -198  -301  -202   -88    -6    53   144   104    43   -56   -40  -170
1967:   -215  -115   -45     0    -1    87   141   132    68    12   -24  -148
1968:   -223  -143  -101   -99     3    67    79   104    29   -34  -188  -187
1969:   -249  -212  -164   -98   -60    17   124    75    59   -33   -57  -126
1970:   -193  -199   -87   -90   -16    55   144   100    80   -13  -103  -113
1971:   -168  -215  -128  -114   -16    43   124    90    61   -56   -95  -153
1972:   -184  -127  -121   -68   -48    64   151   120    43    -8  -150   -86
1973:   -201  -139  -128   -26    18    91   120   119    33   -33  -105  -175
1974:   -171  -198   -61   -87   -24   104   191   128    81   -13  -170   -49
1975:   -172  -195   -78   -38     2    68   125    96    81   -38   -76  -101
1976:   -229  -154  -101   -21   -13    79   145   122    54   -49   -69   -74
1977:   -186  -259  -154   -29    43   120   146   114    57   -78   -50  -109
1978:   -155  -170  -152  -139   -29    30   113    88    47   -15   -83  -250
1979:   -217  -217  -138  -128    19    46   129    97    75   -41   -67  -127
1980:   -210  -145  -123   -64    -2    77    94    79    64     1  -104  -125
1981:   -109  -119  -162  -107   -18    93   130   146    60    32   -44  -100
1982:   -239  -161  -157   -41    32    61   140    83    59   -64   -53   -84
1983:   -135  -174  -116   -67   -11    85   140    95    59     3  -106  -137
1984:   -106   -83   -75  -103    17   103   153   108    55   -38  -143  -121
1985:   -272  -253   -91   -89   -29    82   116   109    80   -21   -80  -226
1986:   -173  -204   -59   -64   -36    73    93    81    30    -1   -24  -237
1987:   -228  -204  -110  -140    14    76   123    83    63    31  -116  -192
1988:   -148  -162   -78  -102    -4    87   149   122    59    -9  -127  -131
1989:   -191  -138   -53   -62    52   140   152   117    69   -10  -101  -163
1990:   -217  -111   -93   -16     2    94   178   106    41   -29  -146  -125
1991:   -196  -123  -151   -24    38   120   111    98    61    13   -66  9999
1992:   -201  -122  9999  -148    27    66  9999    99    75   -89  -163   -92
1993:   -122  -126  -101   -73     1   158   155   111    43   -26   -91  -129
1994:   -156  -223   -78   -24   -22  9999   114   104    57    -7  -154  -104
1995:    -86  9999   -77    11    39    78   127   114    70   -20  -134  -163
1996:    -96  -161   -68   -77     7    76   121    80    28     5   -20  -128
1997:   -205  -216  -118   -41  9999    70    83    65    75   -10  -125  -198
1998:   -197  -309  -112  -128   -10    74   174   103    32   -40  -172  -177
1999:   -267  -167  -136   -97   -53    73  9999   100    53    15  -130   -93
2000:   -213  -131   -82   -32    18   109   156   106    58    18   -57  -185
2001:   -149  -243  -165   -37    12    83   127   122    83   -37  -119  -158
2002:   -232  -151  -118   -36    -5    68   133    73    28   -10  -121  -165
2003:   -219  -153  -115   -54    34    60   143   161    65   -12   -66  -100
2004:   -120  -166  -161   -82     5    87   182   106    62    -8   -86  -132
2005:   -106  -138  -181   -77    38    87   138   127    78    31    -4   -88
2006:   -220  -181  -133   -64    26   121   110   100    61   -31  -117  -106
2007:   -104  -228   -44   -24     6    84   162   120    70    35   -74   -68
2008:    -92  -145  -145   -76   -11    90   159    97    57    21   -67   -58
2009:   -184  -184   -94   -73   -16    87   129   104    82    -3   -89  -216
2010:   -185  -221  -131



Nar'Jan-Mar

222 23205000 NAR'JAN-MAR. Adjusted data: solid black, unadjusted data: dashed blue, adjustment: red

The adjustment zoomed (cooling the past):

Nar'Jan-Mar adjustment

2222 23205000 NAR'JAN-MAR adjustment

The temperature anomalies (before adjustment):

ANN.dTs.GHCN.CL.1 [ANNUAL MEAN TEMPERATURE ANOMALIES (.01 C)                                       ]
=================

NAR'JAN-MAR                   2SA222  [232050004]

1927:    -63   -48   -79   -60   120    43  -129   116   129   130
1937:    271   160    12     4  -252  -164   234   203     2  -164
1947:      9    97   -43    43    80    15   -14   247     2  -157
1957:     71  -161     9  -110   196   180  -119  -271  -109  -220
1967:    222  -214  -324   -43  -159   -70    50     1   102    50
1977:     39  -148  -246   -53   145   -36    71   123  -144   -94
1987:   -207    -7   201    36   127  -188   195   -44   251   107
1997:   -110  -322  -222   211   -93  -110    63    96   215   -16
2007:    245   181    81

The temperature anomalies (after adjustment. GISS GISTEMP does not save these):

ANNUAL MEAN ANOMALIES
1927:    -86   -71  -102   -83    97    30  -142   103   116   117
1937:    258   147    -1    -9  -265  -177   221   190   -11  -167
1947:      6    94   -46    40    77    12   -17   244    -1  -160
1957:     68  -164     6  -113   203   187  -112  -264  -102  -213
1967:    229  -207  -317   -36  -152   -63    57     8   109    57
1977:     46  -141  -239   -46   152   -29    78   130  -137   -87
1987:   -200     0   208    43   134  -181   202   -37   258   114
1997:   -103  -315  -215   218   -86  -103    70   103   222    -9
2007:    252   188    88
Nar'Jan-Mar annual mean anomalies

222 23305000 NAR'JAN-MAR annual mean anomalies. After adjustment: solid black, before adjustment: dashed blue, adjustment: red, fitted line for adjustment: green

222 23205000 [NAR’JAN-MAR] 67228

lat   67.63  elevs    12  pop      S  topo  FL  stloc no    US-brightness[ ]

lon   53.03  elevg    60  ipop    17  stveg xx  iloc  -9  GHCN-brightness[A] ( 14)

airstn    x  itowndis -9  grveg: TUNDRA

PApars.GHCN.CL.1000.20.log

==========================

number of rural/urban stations 3124 3180

urb stnID:222232050004 # rur:   5 ranges: 1927 2009     500.

longest rur range: 1890-2009    98  [wgt: 0.507  246.7 km] 222234050000  [UST’-CIL’MA] (ASIAN)

add stn    2 range: 1916-2009    92 [wgt: 0.161  419.4 km] 638221650004  [KANIN NOS] (EUROPE)

data added:  92  overlap: 75  years

add stn    3 range: 1913-1989    76 [wgt: 0.217  391.8 km] 638225830000  [KOJNAS] (EUROPE)

data added:  76  overlap: 75  years

add stn    4 range: 1932-2001    68 [wgt: 0.441  279.7 km] 222232190004  [HOSEDA-HARD] (ASIAN)

data added:  68  overlap: 68  years

add stn    5 range: 1915-1950    34 [wgt: 0.225  387.7 km] 222230220010  [WAIGATZ] (ASIAN)

data added:  34  overlap: 34  years

possible range increase 32 63 63

Advertisements
This entry was posted in Uncategorized. Bookmark the permalink.

2 Responses to Introduction: the station for adjustment (post 1 of 6 in GISTEMP example)

  1. Pingback: Roman’s Anomaly Regression and GISTEMP « Peter O'Neill's Blog

  2. Pingback: Cooling The Past In Siberia – some supplementary information | Peter O'Neill's Blog

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s