Palma: ties in STEP1 comb_records.py

This post is published now for “historic interest” as the issue is no longer relevant with the GISTEMP change to use GHCN v3 adjusted data as input. Some familiarity with GISTEMP STEP1 processing and log files is virtually essential to follow the detail below, although some idea of the difference in combined station time series which may arise as a result of different tie-breaking strategies may be gained by examining the two alternative series added after the e-mail to GISS included below. For this station, Palma, using an alternative tie-breaking strategy reduces the temperature in the early years of the combined record by 0.8 degrees when compared to the GISS GISTEMP combined record. As we approach the present both combined records will show the same values. In the case of Palma the alternative tie-breaking strategy reduced the temperature at the start of the combined record when compared to the standard GISS GISTEMP, but of course for other stations the alternative tie-breaking strategy increased as well as reduced early temperatures. Palma was selected for this e-mail (and post) as the station showing the greatest change from the standard GISS GISTEMP when using this particular alternative tie-breaking strategy. It is of course quite possible that a different alternative tie-breaking strategy might produce an even greater difference for this or some other station.

E-mail to GISS, May 20, 2009:

Subject: STEP1 issue: ties in comb_records.py, comb_pieces.py

The order in which station records are combined in get_longest_overlap (comb_records.py and comb_pieces.py) and get_longest (comb_pieces.py) is effectively implementation-dependent where ties occur. In get_longest_overlap in comb_records.py :

for rec_id, record in  records.items():

will enumerate the records in an order which is determined by the Python interpreter, and:

if wgt < overlap:
    continue
overlap  = wgt

will resolve any tie by choosing the last record encountered among the ties. A new inplementation of the Python interpreter might store and return the records in a different order, and my C# implementation, unless overridden with a table of 80+ choices matching the Python implementation, does in fact resolve these ties differently. As you can see from the example below, where I have plotted the difference between the two combined records, this difference can be quite substantial. I have not yet experimented to see whether even larger differences may occur, as I have moved on to implement STEP2 before looking again at this issue. 0.8 degrees difference was the largest I noticed when I compared the “unconstrained” C# choices with the Python output. Larger differences might perhaps be found by trying more orderings, which would be possible here for example as the remaining three station records all tie for longest overlap at the highlighted point (I’ve added a count of ties to the comb.log I generate to facilitate later experimentation). The only reference to record ordering I found was in Hansen and Lebedeff (1987):

One potential disadvantage of the method we have
described for combining station records is that the results,
in principle, depend on the ordering of the station records.
However, we have tested the effect of other choices for
Station ordering, for example, by beginning with the station
closest to the subbox center, rather than the station of
longest record. The differences between the results for
alternative choices were found to be very small, about 2
orders of magnitude less than the typical long-term temperature
trend.

Although the station ordering referred to here is the STEP2STEP3 [reference to STEP2 in the e-mail here should have been to STEP3] rather than STEP1 ordering. Hansen et al. 1999 and 2001 do not seem to touch on this issue, nor for that matter the use of MCDW, SUMOFDAY and USHCN in get_best, which could also arise here, although it does not arise with the current data.

My immediate thoughts on this issue are obviously that the “implementation dependency” should be corrected, and the possibility that when get_best selects a “MCDW” record get_longest_overlap could possibly select an “UNKNOWN” record ahead of a “USHCN” or “SUMOFDAY” record if a tie occurs. I checked all ties to confirm that this does not occur at present, but without tie-breaking code to handle such a case the possibility presumably remains that this might occur at some stage in the future. Without further thought and experimentation I would not have any definitive thoughts on how other ties should be handled, but choosing the longest record or the one giving the smallest difference would seem to be possible choices for consideration.

The 2001 paper does indicate that:

This single record is not necessarily appropriate for local studies, and
we recommend that users interested in a local analysis return to the raw GHCN data and examine all
of the individual records for that location, if more than one is available.

but it can be assumed that the station data from the GISTEMP server will be downloaded without this qualification being noticed, and so the best combined station record possible would be desirable.

I mentioned that this tie issue arises also in comb_pieces.py, (and I had to add a similar but shorter choice override table in my C# implementation to match the Python output), but there are far fewer ties, and I have not yet examined code and output to check whether this has any effect on the final output.

64308306000
	643083060005 1880 2009 -- MCDW               <------ Python
	643083060002  1961 1991 0.00138068175997
 643083060001 1901 1970 -0.760331012442
	643083060000 1880 1991 -0.526370366246
	643083060003  1961 1981 -0.34442429337

64308306000
	643083060005 1880 2009 -- MCDW
	643083060002 1961 1991 0.00138
 643083060001 1901 1970 -0.76033 ties: 2
	643083060000 1880 1991 -0.52637
	643083060003 1961 1981 -0.34442

64308306000
	643083060005 1880  2009 -- MCDW              <-------- C#  without override  table
	643083060002  1961 1991 0.00138
 643083060000 1880 1991 0.09256 ties: 3
	643083060001 1901 1970 -0.14628
	643083060003 1961 1981  0.13071

64308306000
	643083060005 1880 2009 -- MCDW
	643083060002 1961 1991 0.00138
 643083060003 1961 1981 0.10445 ties: 3
	643083060000 1880 1991 0.29932
	643083060001 1901 1970 0.04821
Peter O'Neill, ...
Palma: difference for alternative tie-breaking

Palma: difference for alternative tie-breaking

——————————- end of e-mail ———————————–

Combined time series for Palma temperature (GISS GISTEMP):

Ts.GHCN.CL.2 [GHCN V2 Temperatures (.1 C)]
=================

PALMA DE MALL                  UC643  [83060005]

         Jan   Feb   Mar   Apr   May   Jun   Jul   Aug   Sep   Oct   Nov   Dec
1880:    106   129   145   161   188   224   271   273   255   218   157  9999
1881:    124   144   154   173   191   219   280   281   241   187   161   123
1882:    120   126   147   170   209   247   262   274   234   199   169   128
1883:    117   128   111   153   188   216   251   250   228   192   157   104
1884:    119   138   142   150   183   200   247   267   238   190   162   125
1885:     98   146   149   155   185   210   244   261   229   177   150   120
1886:    108   114   137   157   185   214   259   251   246   215   171   135
1887:    117    98   136   144   169   232   260   276   239   175   150   117
1888:    107    99   126   150   197   232   255   253   237   193   170   141
1889:    120   117   131   151   188   221   248   250   244   192   157    98
1890:    120   115   122   152   181   230   250   268   236   192   141   107
1891:     82   106   121   155   187   223   259   249   237   216   152   126
1892:    109   120   124   151   188   237   259   250   235   184   151   114
1893:     91   124   147   175   199   237   253   259   247   205   143   117
1894:     94   112   125   158   176   222   259   256   225   196   166   114
1895:     92   115   128   160   180   219   262   262   258   207   170   128
1896:    107   112   147   150   174   223   263   234   236   170   129   118
1897:    107   125   150   173   186   237   267   263   229   183   168   123
1898:    127   114   127   155   188   227   260   260   241   194   162   118
1899:    122   137   136   164   195   222   248   268   248   221   165   119
1900:    114   141   118   146   188   224   247   253   254   200   143   127
1901:    111    87   127   162   179   241   261   256   239   181   145   120
1902:    111   124   147   171   171   218   262   265   233   188   163   127
1903:    117   119   138   146   186   211   244   252   226   203   148   112
1904:    102   124   125   154   201   236   269   277   229   196   150   134
1905:    106   105   147   170   179   229   264   261   234   179   148   116
1906:    117   105   125   144   177   226   254   271   240   199   152   116
1907:    110   102   123   148   177   220   242   269   237   194   161   144
1908:    120   113   118   137   203   220   251   254   240   204   166   129
1909:     99    93   125   153   182   210   229   249   216   202   143   132
1910:    122   119   126   145   170   224   244   250   220   193   157   130
1911:     91   110   132   144   179   222   267   278   258   205   159   141
1912:    127   138   152   147   195   219   250   251   208   189   135   120
1913:    124   117   135   145   188   227   249   266   240   210   173   125
1914:    100   134   154   183   188   212   250   252   236   189   144   128
1915:    111   112   127   141   189   231   262   261   227   177   153   134
1916:    116   119   131   153   192   216   253   262   220   195   155   130
1917:     99   109   118   131   178   224   252   251   245   178   136    93
1918:     98    97   111   134   180   209   248   257   244   164   147   127
1919:     98   121   122   143   179   230   236   255   237   166   129   107
1920:    101   115   126   158   211   230   263   251   229   188   136   109
1921:     99   109   114   131   181   213   254   251   254   214   136   112
1922:     94   116   127   147   184   222   244   257   212   192   138   106
1923:     94   116   127   147   184   204   244   257   212   192   139   106
1924:    103    90   120   146   197   219   252   244   231   184   146   113
1925:     99   105    96   141   169   223   236   251   210   182   132   112
1926:    112   122   135   151   165   204   237   248   243   209   156   104
1927:    109   108   135   150   188   225   250   259   232   191   148   126
1928:    107   113   135   147   168   225   264   266   241   196   146   110
1929:     87    99   118   139   179   225   253   240   236   189   142   124
1930:    110    86   127   142   180   222   246   252   229   201   156  9999
1931:   9999  9999  9999  9999  9999   220  9999  9999  9999   176   149   119
1932:    107    84   130   139   177   209   234   259   243   190   152   128
1933:     98   104   125   150   186   199   246   258   243   200   128    90
1934:     89    91   113   140   180   224   256   241   225   184   127   130
1935:     77   100   111   134   153   220   253   251   236   179   139   117
1936:    117   117   123   148   156  9999  9999  9999  9999  9999  9999  9999
1937:    115  9999  9999  9999   172   231  9999  9999  9999   176  9999  9999
1938:     87    83   105   147   172   236   249   250   230   198   167   119
1939:    134   130   119   146   169   210   242   250   233   196   162   123
1940:    110   135   143   151   182   209   235   251   230   177   146   101
1941:    111   122   134   140   157   197   240   238   219   171   131   101
1942:     93    86   128   139   179   217   237   243   229   212   150   126
1943:    125   115   126   155   185   218   245   248   233   187   134   124
1944:    106    98   121   169   189   220   247   262   234   168   149   110
1945:     85   117   128   169   204   244   260   249   237   199   154   137
1946:    106   119   130   166   183   215   243   253   240   206   152   113
1947:    105   119   146   158   183   237   247   255   232   191   162   110
1948:    116   111   130   158   186   222   236   257   226   199   160   132
1949:    119   122   123   164   176   234   260   263   255   202   161   128
1950:    113   130   128   145   191   240   273   270   234   202   169   112
1951:    108   111   125   137   162   220   246   245   233   177   155   125
1952:     99   105   140   153   184   242   266   257   225   199   146   125
1953:     86    93   117   153   197   216   252   254   237   192   159   142
1954:     96    97   128   136   174   225   237   242   236   193   158   134
1955:    139   124   117   149   190   222   258   253   220   181   143   137
1956:    117    62   120   142   180   203   242   259   237   180   121   100
1957:     90   125   134   145   166   208   247   251   228   187   141   111
1958:    105   117   133   137   195   222   240   257   245   186   143   136
1959:    110   114   140   160   179   216   255   249   236   184   139   124
1960:    108   115   135   144   176   223  9999   231  9999   180   147    97
1961:    100   132   135   167   177   216   239   244   234   193   164   139
1962:    122   101   131   151   173   204   258   260   228   197   154    98
1963:    114   118   128   148   173   219   260   243   224   192   163   131
1964:    117   128   131   152   187   234   266   265   232   189   150   115
1965:    110   115   138   157   180   213   256   246   222   197   158   131
1966:    126   131   134   158   179   226   230   245   225   197   150   119
1967:    111   120   150   161   180   208   241   245   226   203   171   108
1968:    110   121   137   158   178   212   253   252   228   190   157   137
1969:    127   115   136   151   175   197   235   250   221   192   153   108
1970:    128   124   128   159   179   239   258   250   235   195   169   116
1971:    113   117   109   161   194   222   265   283   240   197   134   125
1972:    108   126   139   143   173   218   253   248   210   184   162   127
1973:    117   111   114   142   202   233   262   266   242   242   154   120
1974:    127   118   137   141   189   231   254   265   242   158   143   128
1975:    122   125   125   152   180   216   264   267   232   188   139   122
1976:    106   117   139   154   190   239   263   263   231   181   129   128
1977:    119   133   147   155   181   219   244   244   227   205   156   134
1978:    106   136   134   145   174   211   235   251   238   187   152   148
1979:    130   131   129   141   180   229   245   251   223   191   137   128
1980:    117   127   138   136   173   213   228   256   238   191   154   108
1981:    100    91   135   147   175   213   224   244   229   193   151   143
1982:    134   123   128   150   180   234   273   255   234   198   159   127
1983:    113   105   130   155   183   229   267   254  9999   203   174   131
1984:    119   116   117   154   164   211   254   244   222   188   170   122
1985:     99   133   123   158   169   226   264   251   242   209   150  9999
1986:   9999  9999  9999  9999  9999  9999  9999  9999  9999  9999  9999  9999
1987:     86    91   102   141   165   206   248   255   241   205   132  9999
1988:    115    91    99   138   179   210   248   250   209   205   142   102
1989:     90   109   127   137   178   212  9999   271   219   184   150   135
1990:    101  9999   128   128   181   219   244   257   241  9999  9999    90
1991:    101    80   122   119  9999   199   253   264   238   184   142   113
1992:     86   109   111   128  9999   194   231   255   227  9999   143   114
1993:     84    91   103   133   174   220   240   251   212   166   124   101
1994:     88    97  9999   133   186   214   257   269   221   182   147   111
1995:     93   116  9999   130   178   210   252   254   209   193   150   131
1996:    122    92   103   139   166   211   238   250   198   162   143   121
1997:    108   107   116   141   188   223   240   252   232   197   145   116
1998:    110   110   116   140   178   226   253   257   231   173   124    97
1999:     94    84   117   137   198   221   248   262   231   194   120   108
2000:     81   105   117   149   195   224   241   251   218   181   128   115
2001:    104    96   141   139   178   222   248   261   216   206   130    94
2002:    105   108   128   139   170   230   243   237   216   181   147   127
2003:    100    94   117   143   185   249   269   277   225   188   149   104
2004:     99    98   111   133   162   223   246   261   241   201   128   116
2005:     81    77   108   142   188   238   255   246   214   188   128    90
2006:     88    90   119   157   189   234   262   247  9999   208   166   118
2007:    110   119   119   158   190   224   244   247   218   180   125   100
2008:    105   104   120   145   177   213   247   250   221   189   127    99
2009:     97    96   108

Combined time series for Palma temperature (“my” GISTEMP, an alternative tie-breaking):

Ts.GHCN.CL.2 [GHCN V2 Temperatures (.1 C)]
=================

PALMA DE MALL                  UC643  [83060005]

         Jan   Feb   Mar   Apr   May   Jun   Jul   Aug   Sep   Oct   Nov   Dec
1880:     98   121   137   153   180   216   263   265   247   210   149  9999
1881:    116   136   146   165   183   211   272   273   233   179   153   115
1882:    112   118   139   162   201   239   254   266   226   191   161   120
1883:    109   120   103   145   180   208   243   242   220   184   149    96
1884:    111   130   134   142   175   192   239   259   230   182   154   117
1885:     90   138   141   147   177   202   236   253   221   169   142   112
1886:    100   106   129   149   177   206   251   243   238   207   163   127
1887:    109    90   128   136   161   224   252   268   231   167   142   109
1888:     99    91   118   142   189   224   247   245   229   185   162   133
1889:    112   109   123   143   180   213   240   242   236   184   149    90
1890:    112   107   114   144   173   222   242   260   228   184   133    99
1891:     74    98   113   147   179   215   251   241   229   208   144   118
1892:    101   112   116   143   180   229   251   242   227   176   143   106
1893:     83   116   139   167   191   229   245   251   239   197   135   109
1894:     86   104   117   150   168   214   251   248   217   188   158   106
1895:     84   107   120   152   172   211   254   254   250   199   162   120
1896:     99   104   139   142   166   215   255   226   228   162   121   110
1897:     99   117   142   165   178   229   259   255   221   175   160   115
1898:    119   106   119   147   180   219   252   252   233   186   154   110
1899:    114   129   128   156   187   214   240   260   240   213   157   111
1900:    106   133   110   138   180   216   239   245   246   192   135   119
1901:    103    79   119   154   171   233   253   248   231   173   137   112
1902:    103   116   139   163   163   210   254   257   225   180   155   119
1903:    109   111   130   138   178   203   236   244   218   195   140   104
1904:     94   116   117   146   193   228   261   269   221   188   142   126
1905:     98    97   139   162   171   221   256   253   226   171   140   108
1906:    109    97   117   136   169   218   246   263   232   191   144   108
1907:    102    94   115   140   169   212   234   261   229   186   153   136
1908:    112   105   110   129   195   212   243   246   232   196   158   121
1909:     91    85   117   145   174   202   221   241   208   194   135   124
1910:    114   111   118   137   162   216   236   242   212   185   149   122
1911:     83   102   124   136   171   214   259   270   250   197   151   133
1912:    119   130   144   139   187   211   242   243   200   181   127   112
1913:    116   109   127   137   180   219   241   258   232   202   165   117
1914:     92   126   146   175   180   204   242   244   228   181   136   120
1915:    103   104   119   133   181   223   254   253   219   169   145   126
1916:    108   111   123   145   184   208   245   254   212   187   147   122
1917:     91   101   110   123   170   216   244   243   237   170   128    85
1918:     90    89   103   126   172   201   240   249   236   156   139   119
1919:     90   113   114   135   171   222   228   247   229   158   121    99
1920:     93   107   118   150   203   222   255   243   221   180   128   101
1921:     91   101   106   123   173   205   246   243   246   206   128   104
1922:     86   108   119   139   176   214   236   249   204   184   130    98
1923:     86   108   119   139   176   196   236   249   204   184   131    98
1924:     95    82   112   138   189   211   244   236   223   176   138   105
1925:     91    97    88   133   161   215   228   243   202   174   124   104
1926:    104   114   127   143   157   196   229   240   235   201   148    96
1927:    101   100   127   142   180   217   242   251   224   183   140   118
1928:     99   105   127   139   160   217   256   258   233   188   138   102
1929:     79    91   110   131   171   217   245   232   228   181   134   116
1930:    102    78   119   134   172   214   238   244   221   193   148  9999
1931:   9999  9999  9999  9999  9999   212  9999  9999  9999   168   141   111
1932:     99    76   122   131   169   201   226   251   235   182   144   120
1933:     90    96   117   142   178   191   238   250   235   192   120    82
1934:     81    83   105   132   172   216   248   233   217   176   119   122
1935:     69    92   103   126   145   212   245   243   228   171   131   109
1936:    109   109   115   140   148  9999  9999  9999  9999  9999  9999  9999
1937:    107  9999  9999  9999   164   223  9999  9999  9999   168  9999  9999
1938:     79    75    97   139   164   228   241   242   222   190   159   111
1939:    126   122   111   138   161   202   234   242   225   188   154   115
1940:    102   127   135   143   174   201   227   243   222   169   138    93
1941:    103   114   126   132   149   189   232   230   211   163   123    93
1942:     85    78   120   131   171   209   229   235   221   204   142   118
1943:    117   107   118   147   177   210   237   240   225   179   126   116
1944:     98    90   113   161   181   212   239   254   226   160   141   102
1945:     77   109   120   161   196   236   252   241   229   191   146   129
1946:     98   111   122   158   175   207   235   245   232   198   144   105
1947:     97   111   138   150   175   229   239   247   224   183   154   102
1948:    108   103   122   150   178   214   228   249   218   191   152   124
1949:    111   114   115   156   168   226   252   255   247   194   153   120
1950:    105   122   120   137   183   232   265   262   226   194   161   104
1951:    100   103   117   129   154   212   238   237   225   169   147   117
1952:     91    97   132   145   176   234   258   249   217   191   138   117
1953:     78    85   109   145   189   208   244   246   229   184   151   134
1954:     88    89   120   128   166   217   229   234   228   185   150   126
1955:    131   116   109   141   182   214   250   245   212   173   135   129
1956:    109    54   112   134   172   195   234   251   229   172   113    92
1957:     82   117   126   137   158   200   239   243   220   179   133   103
1958:     97   109   125   129   187   214   232   249   237   178   135   128
1959:    102   106   132   152   171   208   247   241   228   176   131   116
1960:    100   107   127   136   168   215  9999   223  9999   172   139    89
1961:     92   127   130   162   172   211   234   239   229   188   159   134
1962:    114    93   126   146   168   199   250   252   223   192   148    90
1963:    109   112   122   143   167   211   252   239   219   186   158   126
1964:    112   123   126   147   181   226   258   257   226   184   142   107
1965:    102   110   133   151   175   207   248   240   217   192   153   123
1966:    118   126   129   153   173   218   225   240   219   192   144   111
1967:    103   112   145   156   175   203   236   240   221   197   165   100
1968:    102   113   132   152   173   204   245   244   222   185   151   131
1969:    122   110   131   146   170   192   230   242   216   187   148   100
1970:    123   119   123   153   174   231   250   245   230   189   164   108
1971:    105   109   101   153   186   214   257   275   232   189   126   117
1972:    100   118   131   135   165   210   245   240   202   176   154   119
1973:    109   103   106   134   194   225   254   258   234   234   146   112
1974:    119   110   129   133   181   223   246   257   234   150   135   120
1975:    114   117   117   144   172   208   256   259   224   180   131   114
1976:     98   109   131   146   182   231   255   255   223   173   121   120
1977:    111   125   139   147   173   211   236   236   219   197   148   126
1978:     98   128   126   137   166   203   227   243   230   179   144   140
1979:    122   123   121   133   172   221   237   243   215   183   129   120
1980:    109   119   130   128   165   205   220   248   230   183   146   100
1981:     93    85   129   140   169   209   220   238   222   189   145   139
1982:    126   115   120   142   172   226   265   247   226   190   151   119
1983:    105    97   122   147   175   221   259   246  9999   195   166   123
1984:    111   108   109   146   156   203   246   236   214   180   162   114
1985:     91   125   115   150   161   218   256   243   234   201   142  9999
1986:   9999  9999  9999  9999  9999  9999  9999  9999  9999  9999  9999  9999
1987:     86    91   102   141   165   206   248   255   241   205   132  9999
1988:    115    91    99   138   179   210   248   250   209   205   142   102
1989:     90   109   127   137   178   212  9999   271   219   184   150   135
1990:    101  9999   128   128   181   219   244   257   241  9999  9999    90
1991:    101    80   122   119  9999   199   253   264   238   180   138   109
1992:     86   109   111   128  9999   194   231   255   227  9999   143   114
1993:     84    91   103   133   174   220   240   251   212   166   124   101
1994:     88    97  9999   133   186   214   257   269   221   182   147   111
1995:     93   116  9999   130   178   210   252   254   209   193   150   131
1996:    122    92   103   139   166   211   238   250   198   162   143   121
1997:    108   107   116   141   188   223   240   252   232   197   145   116
1998:    110   110   116   140   178   226   253   257   231   173   124    97
1999:     94    84   117   137   198   221   248   262   231   194   120   108
2000:     81   105   117   149   195   224   241   251   218   181   128   115
2001:    104    96   141   139   178   222   248   261   216   206   130    94
2002:    105   108   128   139   170   230   243   237   216   181   147   127
2003:    100    94   117   143   185   249   269   277   225   188   149   104
2004:     99    98   111   133   162   223   246   261   241   201   128   116
2005:     81    77   108   142   188   238   255   246   214   188   128    90
2006:     88    90   119   157   189   234   262   247  9999   208   166   118
2007:    110   119   119   158   190   224   244   247   218   180   125   100
2008:    105   104   120   145   177   213   247   250   221   189   127    99
2009:     97    96   108
Advertisements
This entry was posted in Uncategorized and tagged , . Bookmark the permalink.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s