Abstract

As part of the Spanish Multicenter Normative Studies (NEURONORMA project), we provide age- and education-adjusted norms for the following instruments: verbal span (digits), visuospatial span (Corsi's test), letter–number sequencing (WAIS-III), trail making test, and symbol digit modalities test. The sample consists of 354 participants who are cognitively normal, community-dwelling, and age ranging from 50 to 90 years. Tables are provided to convert raw scores to age-adjusted scaled scores. These were further converted into education-adjusted scaled scores by applying regression-based adjustments. The current norms should provide clinically useful data for evaluating elderly Spanish people. These data may be of considerable use for comparisons with other normative studies. Limitations of these normative data are mainly related to the techniques of recruitment and stratification employed.

Introduction

Attention is a very important aspect of neuropsychological assessment (Lezak, Howieson, & Loring, 2004), and attentional disorders affect a significant number of brain-injured patients (Strauss, Sherman, & Spreen, 2006). Many attentional tasks are multifactorial and overlap with other neuropsychological domains such as executive functions and memory, including components such as inhibition, switching capacity, or mental tracking (Strauss et al., 2006). Classification of these tasks is controversial and they may appear under different headings, for example, attention, working memory (WM), or executive tests. In fact, attention overlaps with the executive function of WM (Baddeley, 1986, 2003), so many existing tests of attention are a combination of attentional and executive functions. Attention is considered a complex system of interacting circuits that allow the filtering of relevant and irrelevant information within the context of internal and external stimuli.

A series of functional models of attention have been proposed (see Banich, 2004; Cohen, 1993). The standard model of WM (Baddeley, 1986) can no longer accommodate many empirical findings, and an alternative has been suggested: WM functions arise through the recruitment, via attention, of brain systems that have evolved to accomplish sensory-, representation-, and action-related functions (Postle, 2006). A recent computational and neural model, called PBWM (prefrontal cortex, basal ganglia WM model), relies on actively maintained representations in the prefrontal cortex which are dynamically updated/gated by the basal ganglia (Hazy, Frank, & O'Reilly, 2006). Functional connectivity argues for separate contributions of ventral and dorsal visual and auditory streams in WM (Buchsbaum, Olsen, Koch, & Berman, 2005).

In this paper, normative data are presented for the attention measures included in the Spanish Multicenter Normative Studies (NEURONORMA project) (Peña-Casanova et al. this issue). Some tests cover aspects of selective attention (i.e., WM) such as digit span or symbol substitution tasks, whereas others include capacities such as mental flexibility and motor speech, for example, the Trail Making Test. The Stroop Test (Golden, 1978; Stroop, 1935), which also measures attention, has also been studied, but is presented in another paper in this issue.

Verbal Span (Digit Span Forward and Backward)

This is both an attention and memory task. The digit span requires repeating sequences of digits of increasing length forward and then in reverse order. Both tests consist of seven pairs of random number sequences that the examiner reads aloud at the rate of one per second. Each test involves different mental activities and is affected differently by brain lesions (Banken, 1985; Kaplan, Fein, Morris, & Delis, 1991). The digit span test in the Wechsler tests is the format most commonly used to measure the span of immediate recall. Current Spanish norms are included in the WAIS-III and WMS-III manuals (Wechsler, 1987, 1997, 2004a, 2004b). Artiola, Hermosillo, Heaton, and Pardee (1999) included in the Spanish battery a digit span test adapted from the WAIS. The sample included 205 subjects from Spain, of whom only 33 were in the 55+ year range.

Forward Span

The digit forward span has a relatively restricted range and 89% of the subjects show spans within the 5–8 digit range (Kaplan et al., 1991). The normal range for forward digits is 6 ± 1 (Miller, 1956; Spitz, 1972), and education has an effect on the score (Ardila & Rosselli, 1989; Kaufman, McLean, & Reynolds, 1988). Age minimally affects forward span beyond the ages of 65 or 70 years (Hickman, Howieson, Dame, Sexton, & Kaye, 2000; Howieson, Holm, Kaye, Oken, & Howieson, 1993; Orsini, Grossi, Capitani, Laiacoma, Papagno, & Vallar, 1987). It is important to point out that differences in digit span forward performance between English and Spanish speakers are probably due to the greater number of syllables per digit in the Spanish language (Olazarán, Jacobs, & Stern, 1996).

Backward Span

This task involves mental tracking with verbal and visual processes (Larrabee & Kane, 1986) and includes a strong WM component. It is distinct from the more passive span measured by Digits Forward (Banken, 1985; Black, 1986). The normal raw score difference between forward digits and backward digits tends to range around 1 (from 0.59 to 2) (Black & Strub, 1978; Kaplan et al., 1991; Mueller & Overcast, 1976; Orsini et al., 1987). The normal span for backward digits is 4–5, and a score of 3 is considered borderline defective or defective depending on the educational level of the subject (Botwinick & Storand, 1974; Lezak et al., 2004). Scores typically decrease about one point beyond age 70, but not all older subjects get lower scores than younger ones (Canavan et al., 1989; Howieson et al., 1993).

Visuospatial Span (Corsi's Test)

It consists of nine cubes fastened in a random order in a board. Each time the examiner taps the blocks into a prearranged sequence, the patient must attempt to copy this pattern (Milner, 1971, 1972).

Block span is normally one to two points below digit span (Kaplan et al., 1991; Ruff, Evans, & Marshall, 1986) although in young controls a disparity of more than two points may be found (Smirni, Villardita, & Zappala, 1983). Education contributes significantly to performance on the test, and men tend to achieve slightly higher scores than women although this discrepancy is virtually nonexistent for people with more than 12 years of education (Orsini, Chiacchio, Cinque, Cocchiara, Schiappa, & Grossi, 1986). Age effects appear after 60 years (Mittenberg, Seindenberg, O’Leary, & DiGiuglio, 1989). In a comparative study, English and Spanish speakers had similar scores on Visual Span (Olazarán et al., 1996).

The rate of age-related performance decline is equivalent for forward and backward measures of digit and spatial spans (Hester, Kinsella, & Ong, 2004).

Letter–Number Sequencing

Letter–Number Sequencing (LNS) is an addition to the standard measures of WM (digit span and visual span) included in the WAIS (WAIS-III, Wechsler, 1997). Patients are required to listen to an auditory presentation of alternating numbers and letters and then repeat back the numbers in ascending order, followed by the letters alphabetically. This test assesses processing speed and verbal and visual spatial WM (Crowe, 2000; Haut, Kuwabara, Leach, & Arias, 2000). Normative data show a moderate age effect (Crowe, 2000). Spanish norms of this test are included in the WMS-III Spanish edition (Wechsler, 2004a, 2004b).

Trail Making Test

Trail Making Test (TMT) assesses speed of visuomotor tracking, divided attention, mental flexibility, and motor function (Crowe, 1998). For historical aspects and versions of the test, see Strauss et al. (2006). The test has two parts: (A) drawing a line linking numbers in sequence and (B) drawing a line linking letters and numbers in sequence (Partington & Leiter, 1949; Reitan & Wolfson, 1993). The score derived for each trail is the number of seconds required to complete the task. Motor agility and speed make a strong contribution to successful performance in this test (Schear & Sato, 1989).

Normative data vary markedly according to the characteristics of the normative samples (Ashendorf et al., 2008; Giovagnioli et al., 1996; Lezak et al., 2004; Mitrushina, Boone, Razani, & D’Elia, 2005; Periáñez et al., 2007; Suokup et al., 1988; Strauss et al., 2006). Demographic effects such as age, education, ethnicity, and sex have been associated with TMT scores (Horton & Roberts, 2003). A recent meta-analysis study stressed that normative data from different countries and cultures are not equivalent, a fact that might lead to serious diagnostic errors (Fernández & Marcopulos, 2008).

Performance on TMT is affected by age: increased age is related to poorer test scores (Ernst, Warner, Townes, Peel, & Preston, 1987; Periáñez et al., 2007; Rasmusson, Zonderman, Kawas, & Resnick, 1998; Salthouse et al., 2000; Stuss, Stethem, & Poirier, 1987; Wecker, Kramer, Wisniewski, Delis, & Kaplan, 2000). Lower levels of education are associated with the poorest test scores (Bornstein, 1985; Bornstein & Suga, 1988; Ernst, 1987; Stuss, Stethem, Hugenholtz, & Richard, 1989). Sex has little impact on performance in adults (Hester, Kinsella, Ong, & McGregor, 2005; Lucas et al., 2005; Tombaugh, 2004) although women may perform slower than men in part B (Bornstein, 1985; Ernst, 1987).

The TMT was included in the MOANS (Steinberg, Bieliauskas, Smith, & Ivnik, 2005) and MOAANS (Lucas et al., 2005) projects. Spanish norms are available (Del Ser et al., 2004; Periáñez et al., 2007). The study of Periáñez and colleagues (2007) consisted of 223 healthy control subjects: 69 were in the 16–24 year range, 89 were in the 25–54 year range, and 65 were in the 55–80 year range. The study of Del Ser and colleagues (2004) examined a population sample aged more than 70 years.

Spanish speakers commonly use two versions of the alphabet, one that includes the sound/grapheme “Ch” between C and D and another that goes directly from C to D. Recently, versions of the TMT part B have been created and compared (Cherner et al., 2008). The findings of the comparison suggest that both versions are equivalent and can be administered to Spanish speakers without affecting comparability.

Symbol Digit Modalities Test

Symbol Digit Modalities Test (SDMT) (Smith, 1982 [First Edition, 1973]) measures divided attention, visual scanning, visual tracking, perceptual speed, motor speed, and memory (Shum, McFarland, & Bain, 1990). A coding key is presented, consisting of nine meaningless geometric designs each paired with a number. The subject is required to scan the key and write down the number corresponding to each design as rapidly as possible in 90 seconds. There is a practice period (10 boxes). The number of correct responses is recorded. The maximum score is 110.

A series of normative studies have been published (Lezak et al., 2004; Mitrushina et al., 2005; Smith, 1982 [Revised Manual]; Strauss et al., 2006; Sheridan et al., 2006) including a Spanish version (Smith, 2002). The Spanish normative study consists of 1,054 adult subjects from 18 to 85 years old. Norms are presented for six age groups and only two groups of education (basic and superior).

Manual speed and agility contribute significantly to SDMT performance (Schear & Sato, 1989). SDMT scores decline with age (see Strauss et al., 2006 for a review). This decline probably reflects changes in the speed of both motor response and information processing (Gilmore, Royer, & Gruhn, 1983a, 1983b) and in memory (Joy, Kaplan, & Fein, 2004). Performance improves with increasing education (Richardson & Marottoli, 1996). Education- and age-corrected norms for people older than 75 years have been developed (Richardson & Marottoli, 1996). Sex differences have not always been found and appear to be of insufficient magnitude to create separate gender-based norms (Gilmore et al., 1983a, 1983b), although this finding has not always been consistent (Jorm, Anstey, & Christensen, 2004).

Materials and Methods

Research Participants

Recruitment procedures, socio-demographic characteristics and participant characteristics of the entire NEURONORMA sample have been reported in a previous paper (seePeña-Casanova et al., 2009). Due to logistic organization, not all the participants were administered one or more neuropsychological measures. Data from all completed tests were included in the normative studies, leading to minor sample size variations among tests. The distribution of demographic variables by test is presented in Table 1.

Table 1.

Sample size by demographics and test

 Verbal Span
 
Visuospatial Span
 
LNS
 
Trail Making Test
 
Symbol-Digit Modalities Test
 
       Part A
 
Part B
 
  
 N N N N N N 
Age Group 
 50–56 76 21.47 76 21.78 74 22.16 76 21.71 75 22.94 76 21.97 
 57–59 51 14.41 51 14.61 51 15.27 51 14.57 49 14.98 51 14.74 
 60–62 34 9.60 34 9.74 34 10.18 34 9.71 30 9.17 34 9.83 
 63–65 19 5.37 18 5.16 16 4.79 18 5.14 16 4.89 17 4.91 
 66–68 26 7.34 26 7.45 24 7.19 25 7.14 24 7.34 26 7.51 
 69–71 50 14.12 48 13.75 46 13.77 49 14.00 49 14.98 49 14.16 
 72–74 33 9.32 32 9.17 30 8.98 33 9.43 29 8.87 32 9.25 
 75–77 31 8.76 31 8.88 29 8.68 31 8.86 26 7.95 30 8.67 
 78–80 21 5.93 21 6.02 20 5.99 21 6.00 19 5.81 21 6.07 
 >80 13 3.67 12 3.44 10 2.99 12 3.43 10 3.06 10 2.89 
Education (Years) 
 ≤5 76 21.47 73 20.92 63 18.86 72 20.57 57 17.43 69 19.94 
 6–7 26 7.34 25 7.16 24 7.19 25 7.14 22 6.73 24 6.94 
 8–9 67 18.93 66 18.91 64 19.16 67 19.14 62 18.96 67 19.36 
 10–11 41 11.58 41 11.75 40 11.98 40 11.43 40 12.23 40 11.56 
 12–13 35 9.89 36 10.32 35 10.48 36 10.29 36 11.01 36 10.40 
 14–15 33 9.32 33 9.46 33 9.88 34 9.71 34 10.40 34 9.83 
 ≥16 76 21.47 75 21.49 75 22.46 76 21.71 76 23.24 76 21.97 
Gender 
 Male 143 40.40 140 40.11 138 41.32 141 40.29 138 42.20 140 40.46 
 Female 211 59.60 209 59.89 196 58.68 209 59.71 189 57.80 206 59.54 
Total Sample (n354  349  334  350  327  346  
 Verbal Span
 
Visuospatial Span
 
LNS
 
Trail Making Test
 
Symbol-Digit Modalities Test
 
       Part A
 
Part B
 
  
 N N N N N N 
Age Group 
 50–56 76 21.47 76 21.78 74 22.16 76 21.71 75 22.94 76 21.97 
 57–59 51 14.41 51 14.61 51 15.27 51 14.57 49 14.98 51 14.74 
 60–62 34 9.60 34 9.74 34 10.18 34 9.71 30 9.17 34 9.83 
 63–65 19 5.37 18 5.16 16 4.79 18 5.14 16 4.89 17 4.91 
 66–68 26 7.34 26 7.45 24 7.19 25 7.14 24 7.34 26 7.51 
 69–71 50 14.12 48 13.75 46 13.77 49 14.00 49 14.98 49 14.16 
 72–74 33 9.32 32 9.17 30 8.98 33 9.43 29 8.87 32 9.25 
 75–77 31 8.76 31 8.88 29 8.68 31 8.86 26 7.95 30 8.67 
 78–80 21 5.93 21 6.02 20 5.99 21 6.00 19 5.81 21 6.07 
 >80 13 3.67 12 3.44 10 2.99 12 3.43 10 3.06 10 2.89 
Education (Years) 
 ≤5 76 21.47 73 20.92 63 18.86 72 20.57 57 17.43 69 19.94 
 6–7 26 7.34 25 7.16 24 7.19 25 7.14 22 6.73 24 6.94 
 8–9 67 18.93 66 18.91 64 19.16 67 19.14 62 18.96 67 19.36 
 10–11 41 11.58 41 11.75 40 11.98 40 11.43 40 12.23 40 11.56 
 12–13 35 9.89 36 10.32 35 10.48 36 10.29 36 11.01 36 10.40 
 14–15 33 9.32 33 9.46 33 9.88 34 9.71 34 10.40 34 9.83 
 ≥16 76 21.47 75 21.49 75 22.46 76 21.71 76 23.24 76 21.97 
Gender 
 Male 143 40.40 140 40.11 138 41.32 141 40.29 138 42.20 140 40.46 
 Female 211 59.60 209 59.89 196 58.68 209 59.71 189 57.80 206 59.54 
Total Sample (n354  349  334  350  327  346  

Notes: N = number (count); LNS = letter–number sequencing.

Neuropsychological Measures

The neuropsychological measures were administered as part of a larger neuropsychological test battery, the NEURONORMA battery (Peña-Casanova et al., 2009). Tests were administered by neuropsychologists specifically trained for this project.

Verbal Span

The two parts of the digit span test (forward and backward) in the Spanish version (Peña-Casanova, 2005) were administered following standard procedures as indicated in the WAIS-III manual (Wechsler, 1997). The range of raw scores (last series) is the following: forward digits 0–9; backward digits 0–8.

Visuospatial Span

The two parts of the visual memory span (tapping forward and tapping backward) were administered following administration procedures as indicated in the WMS-R-NI manual (Corsi's Test, from the WAIS-R-NI, Kaplan et al., 1991). This version requires two administrations at each level. The longest span was recorded (last item score) and the global score as well (sum of all administrations). The range scores for forward and backward formats are the following: last item (longest score) 0–8; raw score (global score) 0–16.

Letter–Number Sequencing

Standard administration procedures were followed as indicated in the test manual (WAIS-III, Wechsler, 1997). The range of the possible raw scores is from 0 to 21. The last item (the longest score) has a maximum of 7.

Trail Making Test

Parts A and B were administered following the procedures described by Reitan and Wolfson (1985). Following these standard procedures, “Ch” was not included. We allowed unlimited time for participants to complete the test. Score was recorded as the time in seconds to complete each of the two parts of the test.

Symbol Digit Modalities Test

Standard administration procedures were followed as indicated in the test manual (Smith, 1973). In all cases, 10 sample practice boxes were administered prior to the presentation of the actual 110 test items. The score of the test is the number of correct substitutions in a 90-second interval. The maximum score is 110.

Statistical Analysis

The same statistical procedures as those used in other NEURONORMA normative studies were applied to all measures (seePeña-Casanova et al., 2009). Briefly, the primary steps of this process were: (a) use of midpoint age intervals (Pauker, 1988) to maximize the information available at each age and measure. Each midpoint age group provides norms for individuals of that age, ±1 year; (b) coefficients of correlation (r) and determination (r2) of all raw scores with age, years of education, and sex were determined; (c) to ensure a normal distribution, the frequency distribution of the raw scores was converted into age-adjusted scaled scores, NSSA (NEURONORMA Scaled Score age-adjusted). For each age range, a cumulative frequency distribution of the raw scores was generated. Raw scores were assigned percentile ranks in function of their place within a distribution. Subsequently, percentile ranks were converted into scaled scores (from 2 to 18) based on percentile ranges. From these data, normative tables (NSSA) were created. This transformation of raw scores to NSSA produced a normalized distribution (mean =10; SD =3) on which linear regressions could be applied; (d) years of education were modeled using the following equation: NSSA=k+(β * Educ). The regression coefficient (β) from this analysis was taken as the basis for education adjustments. A linear regression was employed to derive age- and education-adjusted scaled scores. The following formula outlined by Mungas, Marshall, Weldon, Haan, and Reed (1996) was employed:  

formula
The obtained value was truncated to the next lower integer (e.g., 10.75 would be truncated to 10).

Results

Age distribution of the sample made it possible to calculate norms for 10 midpoint age groups. The sample sizes resulting from mid-point age intervals are shown in each normative table.

Effects of age, education, and sex (correlations and shared variances) on raw scores are presented in Table 2. Age and education accounted significantly for raw score variance for all measures. Sex differences were minimal (2–3%) or not observed, indicating no need to control this demographic variable.

Table 2.

Correlations (r) and shared variance (r2) of raw scores with age, years of education and sex

Neuropsychological Measure Age (years)
 
Education (years)
 
Sex
 
 r r2 r r2 r r2 
Verbal Span 
 Forward −0.22285 0.04966 0.48146 0.23180 −0.14623 0.02138 
 Backwards −0.26298 0.06916 0.52124 0.27169 −0.18675 0.03488 
Visuospatial Span 
 Last Item Forward −0.21009 0.04414 0.25412 0.06458 −0.12325 0.01519 
 Forward Raw Score −0.24247 0.05879 0.33336 0.11113 −0.14558 0.02119 
 Last Item Backwards −0.30296 0.09178 0.42161 0.17775 −0.14292 0.02043 
 Backwards Raw Score −0.31042 0.09636 0.46298 0.21435 −0.12384 0.01534 
Letter Number Sequencing 
 Last Item −0.34826 0.12129 0.51502 0.26525 −0.18212 0.03317 
 Raw Score −0.39787 0.15830 0.59019 0.34832 −0.15682 0.02459 
Trail Making Test 
 Part A 0.36752 0.13507 −0.47575 0.22634 0.07414 0.00550 
 Part B 0.33183 0.11011 −0.51500 0.26523 0.09482 0.00899 
Symbol Digit Modalities Test 
 Total Score −0.47709 0.22761 0.66646 0.44417 −0.04979 0.00248 
Neuropsychological Measure Age (years)
 
Education (years)
 
Sex
 
 r r2 r r2 r r2 
Verbal Span 
 Forward −0.22285 0.04966 0.48146 0.23180 −0.14623 0.02138 
 Backwards −0.26298 0.06916 0.52124 0.27169 −0.18675 0.03488 
Visuospatial Span 
 Last Item Forward −0.21009 0.04414 0.25412 0.06458 −0.12325 0.01519 
 Forward Raw Score −0.24247 0.05879 0.33336 0.11113 −0.14558 0.02119 
 Last Item Backwards −0.30296 0.09178 0.42161 0.17775 −0.14292 0.02043 
 Backwards Raw Score −0.31042 0.09636 0.46298 0.21435 −0.12384 0.01534 
Letter Number Sequencing 
 Last Item −0.34826 0.12129 0.51502 0.26525 −0.18212 0.03317 
 Raw Score −0.39787 0.15830 0.59019 0.34832 −0.15682 0.02459 
Trail Making Test 
 Part A 0.36752 0.13507 −0.47575 0.22634 0.07414 0.00550 
 Part B 0.33183 0.11011 −0.51500 0.26523 0.09482 0.00899 
Symbol Digit Modalities Test 
 Total Score −0.47709 0.22761 0.66646 0.44417 −0.04979 0.00248 

Age-adjusted NEURONORMA scaled scores (NSSA), percentile ranks, ranges of ages contributing to each normative group, and the number of participants contributing to each test normative estimate are shown in Tables 3–12. To use these data, select the appropriate normative table corresponding to the patient's age, find the appropriate test heading, find the patient's raw score, and subsequently refer to the corresponding NSSA and associated percentile rank (left part of the table).

Table 3.

Age-adjusted NEURONORMA scores (NSSA) for age 50–56 (age range for norms = 50–60)

Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤3 ≤2 ≤1 ≤1 ≤1 ≤2 ≥121 ≥480 ≤5 
— — — — — 118–120 406–479 
— — — — — — 102–117 381–405 7–12 
3–5 — — — 81–101 223–380 13–17 
6–10 — — — — — 68–80 178–222 18–21 
11–18 — — — — — 59–67 138–177 22–27 
19–28 — — — — — — 54–58 123–137 28–33 
29–40 — — — 47–53 108–122 34–36 
10 41–59> — 6–7 9–10 — 36–46 80–107 37–48 
11 60–71 — — — 34–35 71–79 49–52 
12 72–81 — — — — — — 11 — 29–33 64–70 53–54 
13 82–89 — — 12 — 26–28 55–63 55–56 
14 90–94 — 10 — — — 25 51–54 57–59 
15 95–97 11 — 13 — 24 45–50 60–63 
16 98 — — — — 10 — 14 — 23 43–44 64–67 
17 99 — — 12 — — 15 18–22 42 68–69 
18 >99 ≥13 ≥11 ≥6 ≥16 ≤17 ≤41 ≥70 
Sample Size  136 136 135 137 133 137 
Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤3 ≤2 ≤1 ≤1 ≤1 ≤2 ≥121 ≥480 ≤5 
— — — — — 118–120 406–479 
— — — — — — 102–117 381–405 7–12 
3–5 — — — 81–101 223–380 13–17 
6–10 — — — — — 68–80 178–222 18–21 
11–18 — — — — — 59–67 138–177 22–27 
19–28 — — — — — — 54–58 123–137 28–33 
29–40 — — — 47–53 108–122 34–36 
10 41–59> — 6–7 9–10 — 36–46 80–107 37–48 
11 60–71 — — — 34–35 71–79 49–52 
12 72–81 — — — — — — 11 — 29–33 64–70 53–54 
13 82–89 — — 12 — 26–28 55–63 55–56 
14 90–94 — 10 — — — 25 51–54 57–59 
15 95–97 11 — 13 — 24 45–50 60–63 
16 98 — — — — 10 — 14 — 23 43–44 64–67 
17 99 — — 12 — — 15 18–22 42 68–69 
18 >99 ≥13 ≥11 ≥6 ≥16 ≤17 ≤41 ≥70 
Sample Size  136 136 135 137 133 137 

Notes: LNS = letter–number sequencing; SDMT = symbol digit modalities test.

Table 4.

Age-adjusted NEURONORMA scores (NSSA) for age 57–59 (age range for norms = 53–63)

Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤3 ≤2 ≤1 ≤1 ≤2 ≥121 ≥406 ≤5 
— — — — — — — 118–120 383–405 
— — — — — — — 110–117 381–382 7–11 
3–5 — — — 87–109 231–380 12–16 
6–10 — — — — 73–86 197–230 17–19 
11–18 — — — — 61–72 151–196 20–24 
19–28 — — — — — — 56–60 129–150 25–30 
29–40 — — — 7–8 50–55 114–128 31–34 
10 41–59 6–7 — — 41–49 89–113 35–44 
11 60–71 — — — — 10 35–40 73–88 45–49 
12 72–81 — — 11 — 30–34 66–72 50–52 
13 82–89 — — — — — 26–29 56–65 53–55 
14 90–94 — 10 — 12 25 53–55 56–57 
15 95–97 — — — — 13 — 24 45–52 58–59 
16 98 — — — — — — — 23 — 60–63 
17 99 — — 11 10 — 14 — 18–22 42–44 64–67 
18 >99 ≥12 ≥11 ≥6 ≥15 ≥6 ≤17 ≤41 ≥68 
Sample Size  133 133 131 133 125 132 
Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤3 ≤2 ≤1 ≤1 ≤2 ≥121 ≥406 ≤5 
— — — — — — — 118–120 383–405 
— — — — — — — 110–117 381–382 7–11 
3–5 — — — 87–109 231–380 12–16 
6–10 — — — — 73–86 197–230 17–19 
11–18 — — — — 61–72 151–196 20–24 
19–28 — — — — — — 56–60 129–150 25–30 
29–40 — — — 7–8 50–55 114–128 31–34 
10 41–59 6–7 — — 41–49 89–113 35–44 
11 60–71 — — — — 10 35–40 73–88 45–49 
12 72–81 — — 11 — 30–34 66–72 50–52 
13 82–89 — — — — — 26–29 56–65 53–55 
14 90–94 — 10 — 12 25 53–55 56–57 
15 95–97 — — — — 13 — 24 45–52 58–59 
16 98 — — — — — — — 23 — 60–63 
17 99 — — 11 10 — 14 — 18–22 42–44 64–67 
18 >99 ≥12 ≥11 ≥6 ≥15 ≥6 ≤17 ≤41 ≥68 
Sample Size  133 133 131 133 125 132 

Notes: LNS = letter–number sequencing; SDMT = symbol digit modalities test.

Table 5.

Age-adjusted NEURONORMA scores (NSSA) for age 60–62 (age range for norms = 56–66)

Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤3 ≤2 ≤1 ≤1 ≤2 ≥131 ≥406 ≤5 
— — — — — — — 121–130 383–405 
— — — — — — — — — 381–382 7–11 
3–5 — — 103–119 253–380 12–15 
6–10 — — — — — 85–102 206–252 16–18 
11–18 — — — — 68–84 161–205 19–21 
19–28 — — — — — 60–67 135–160 22–28 
29–40 — — — — 55–59 119–134 29–33 
10 41–59 — 6–7 — 42–54 101–118 34–37 
11 60–71 — — — — 36–41 79–100 38–46 
12 72–81 — — 10–11 — 32–35 71–78 47–49 
13 82–89 — — — — — — 27–31 61–70 50–53 
14 90–94 — — 12 26 53–61 54–56 
15 95–97 — 10 — — — 25 49–52 57–58 
16 98 — — — — — 13 — 24 48 59 
17 99 — — 11 10 — 14 — 47 60–63 
18 >99 ≥12 ≥12 ≥6 ≥15 ≤23 ≤46 ≥64 
Sample Size  125 125 122 123 116 123 
Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤3 ≤2 ≤1 ≤1 ≤2 ≥131 ≥406 ≤5 
— — — — — — — 121–130 383–405 
— — — — — — — — — 381–382 7–11 
3–5 — — 103–119 253–380 12–15 
6–10 — — — — — 85–102 206–252 16–18 
11–18 — — — — 68–84 161–205 19–21 
19–28 — — — — — 60–67 135–160 22–28 
29–40 — — — — 55–59 119–134 29–33 
10 41–59 — 6–7 — 42–54 101–118 34–37 
11 60–71 — — — — 36–41 79–100 38–46 
12 72–81 — — 10–11 — 32–35 71–78 47–49 
13 82–89 — — — — — — 27–31 61–70 50–53 
14 90–94 — — 12 26 53–61 54–56 
15 95–97 — 10 — — — 25 49–52 57–58 
16 98 — — — — — 13 — 24 48 59 
17 99 — — 11 10 — 14 — 47 60–63 
18 >99 ≥12 ≥12 ≥6 ≥15 ≤23 ≤46 ≥64 
Sample Size  125 125 122 123 116 123 

Notes: LNS = letter–number sequencing; SDMT = symbol digit modalities test.

Table 6.

Age-adjusted NEURONORMA scores (NSSA) for age 63–65 (age range for norms = 59–69)

Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤3 ≤2 ≤1 ≤1 ≤2 ≥132 ≥481 ≤6 
— — — — — — — 121–131 449–480 — 
— — — — — — — — 112–120 402–448 7–11 
3–5 — — 104–111 301–401 12–14 
6–10 — — — — — — — 87–103 222–300 15–16 
11–18 — — — — 75–86 191–221 17–20 
19–28 — — — — 64–74 145–190 21–24 
29–40 — — — — — 59–63 131–144 25–30 
10 41–59 — — 7–8 47–58 101–130 31–36 
11 60–71 — — — — — 38–46 82–100 37–40 
12 72–81 — — — 9–10 33–37 70–81 41–46 
13 82–89 — — 7–8 — 11 — 30–32 64–69 47–50 
14 90–94 — — 12 — 27–29 56–63 51–54 
15 95–97 — — — — — — 25–26 48–55 55 
16 98 — — — 10 — — — 24 43–47 56 
17 99 — — 10 11 — 13 — 42 57 
18 >99 ≥11 ≥7 ≥12 ≥6 ≥14 ≤23 ≤41 ≥58 
Sample Size  109 109 102 106 99 106 
Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤3 ≤2 ≤1 ≤1 ≤2 ≥132 ≥481 ≤6 
— — — — — — — 121–131 449–480 — 
— — — — — — — — 112–120 402–448 7–11 
3–5 — — 104–111 301–401 12–14 
6–10 — — — — — — — 87–103 222–300 15–16 
11–18 — — — — 75–86 191–221 17–20 
19–28 — — — — 64–74 145–190 21–24 
29–40 — — — — — 59–63 131–144 25–30 
10 41–59 — — 7–8 47–58 101–130 31–36 
11 60–71 — — — — — 38–46 82–100 37–40 
12 72–81 — — — 9–10 33–37 70–81 41–46 
13 82–89 — — 7–8 — 11 — 30–32 64–69 47–50 
14 90–94 — — 12 — 27–29 56–63 51–54 
15 95–97 — — — — — — 25–26 48–55 55 
16 98 — — — 10 — — — 24 43–47 56 
17 99 — — 10 11 — 13 — 42 57 
18 >99 ≥11 ≥7 ≥12 ≥6 ≥14 ≤23 ≤41 ≥58 
Sample Size  109 109 102 106 99 106 

Notes: LNS = letter–number sequencing; SDMT = symbol digit modalities test.

Table 7.

Age-adjusted NEURONORMA scores (NSSA) for age 66–68 (age range for norms = 62–72)

Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤2 ≤2 ≤1 ≤1 ≤2 ≥138 ≥402 ≤8 
— — — — — — — 132–137 383–401 — 
— — — — — — 125–131 318–382 
3–5 — — 104–124 267–317 10–12 
6–10 — — — — — — 87–103 222–266 13–15 
11–18 — — — — — — 74–86 193–221 16–19 
19–28 — — 63–73 157–192 20–24 
29–40 — — — — — 58–62 137–158 25–27 
10 41–59 — — 7–8 49–57 106–136 28–34 
11 60–71 — — — — — — 44–48 92–105 35–39 
12 72–81 — — — — 37–43 79–91 40–44 
13 82–89 — — — — — 33–36 72–78 45–48 
14 90–94 — — 10 — 31–32 68–71 49–50 
15 95–97 — — — — 11 25–30 60–67 51–56 
16 98 — — — — — — 12 — 24 48–59 57 
17 99 — — 10 — — 43–47 58 
18 >99 ≥10 ≥7 ≥11 ≥7 ≥14 ≤23 ≤42 ≥59 
Sample Size  124 124 114 121 116 121 
Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤2 ≤2 ≤1 ≤1 ≤2 ≥138 ≥402 ≤8 
— — — — — — — 132–137 383–401 — 
— — — — — — 125–131 318–382 
3–5 — — 104–124 267–317 10–12 
6–10 — — — — — — 87–103 222–266 13–15 
11–18 — — — — — — 74–86 193–221 16–19 
19–28 — — 63–73 157–192 20–24 
29–40 — — — — — 58–62 137–158 25–27 
10 41–59 — — 7–8 49–57 106–136 28–34 
11 60–71 — — — — — — 44–48 92–105 35–39 
12 72–81 — — — — 37–43 79–91 40–44 
13 82–89 — — — — — 33–36 72–78 45–48 
14 90–94 — — 10 — 31–32 68–71 49–50 
15 95–97 — — — — 11 25–30 60–67 51–56 
16 98 — — — — — — 12 — 24 48–59 57 
17 99 — — 10 — — 43–47 58 
18 >99 ≥10 ≥7 ≥11 ≥7 ≥14 ≤23 ≤42 ≥59 
Sample Size  124 124 114 121 116 121 

Notes: LNS = letter–number sequencing; SDMT = symbol digit modalities test.

Table 8.

Age-adjusted NEURONORMA scores (NSSA) for age 69–71 (age range for norms = 65–75)

Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤2 ≤2 ≤1 ≤1 ≥171 ≥501 ≤8 
— — — — — — — — 159–170 449–500 — 
— — — — — 158 421–448 — 
3–5 — — 1–3 — 121–157 309–420 9–11 
6–10 — — — — — — 110–120 241–308 12–14 
11–18 — — — — — 79–109 194–240 15–19 
19–28 — — — — — 68–78 168–193 20–22 
29–40 — — — — 60–67 139–167 23–26 
10 41–59 — — — 7–8 51–59 114–138 27–31 
11 60–71 — — — — — 45–50 97–113 32–35 
12 72–81 — — — — 38–44 82–96 36–40 
13 82–89 — — — — 34–37 73–81 41–47 
14 90–94 — — — 10 — 32–33 67–72 48–50 
15 95–97 — — 11–12 28–31 61–66 51–55 
16 98 — — — — — — — — 25–27 — — 
17 99 — — 10 13 — 43–60 56–58 
18 >99 ≥10 ≥6 ≥11 ≥7 ≥14 ≤24 ≤42 ≥59 
Sample Size  129 129 120 124 120 126 
Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤2 ≤2 ≤1 ≤1 ≥171 ≥501 ≤8 
— — — — — — — — 159–170 449–500 — 
— — — — — 158 421–448 — 
3–5 — — 1–3 — 121–157 309–420 9–11 
6–10 — — — — — — 110–120 241–308 12–14 
11–18 — — — — — 79–109 194–240 15–19 
19–28 — — — — — 68–78 168–193 20–22 
29–40 — — — — 60–67 139–167 23–26 
10 41–59 — — — 7–8 51–59 114–138 27–31 
11 60–71 — — — — — 45–50 97–113 32–35 
12 72–81 — — — — 38–44 82–96 36–40 
13 82–89 — — — — 34–37 73–81 41–47 
14 90–94 — — — 10 — 32–33 67–72 48–50 
15 95–97 — — 11–12 28–31 61–66 51–55 
16 98 — — — — — — — — 25–27 — — 
17 99 — — 10 13 — 43–60 56–58 
18 >99 ≥10 ≥6 ≥11 ≥7 ≥14 ≤24 ≤42 ≥59 
Sample Size  129 129 120 124 120 126 

Notes: LNS = letter–number sequencing; SDMT = symbol digit modalities test.

Table 9.

Age-adjusted NEURONORMA scores (NSSA) for age 72–74 (age range for norms = 68–78)

Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤2 ≤2 ≤1 ≤1 ≥171 ≥501 ≤8 
— — — — — — — — 161–170 462–500 — 
— — — — — — — 160 449–461 — 
3–5 — 1–2 138–159 337–448 
6–10 — — — — — 110–137 274–336 10–13 
11–18 — — — — — 85–109 214–273 14–17 
19–28 — — — — — 73–84 191–213 18–21 
29–40 — — — — — 64–72 149–190 22–24 
10 41–59 — — 54–63 116–148 25–30 
11 60–71 — — — — 47–53 105–115 31–33 
12 72–81 — — — — 43–46 92–104 34–38 
13 82–89 — — — — 36–42 76–91 39–42 
14 90–94 — — — 10 — 34–35 69–75 46–50 
15 95–97 — — 11 — 31–33 64–68 51–55 
16 98 — — — — 10 — 12 — 30 61–63 — 
17 99 — — — 13 29 — 56–58 
18 >99 ≥10 ≥6 ≥11 ≥7 ≥14 ≥6 ≤28 ≤60 ≥59 
Sample Size  129 129 119 127 117 117 
Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤2 ≤2 ≤1 ≤1 ≥171 ≥501 ≤8 
— — — — — — — — 161–170 462–500 — 
— — — — — — — 160 449–461 — 
3–5 — 1–2 138–159 337–448 
6–10 — — — — — 110–137 274–336 10–13 
11–18 — — — — — 85–109 214–273 14–17 
19–28 — — — — — 73–84 191–213 18–21 
29–40 — — — — — 64–72 149–190 22–24 
10 41–59 — — 54–63 116–148 25–30 
11 60–71 — — — — 47–53 105–115 31–33 
12 72–81 — — — — 43–46 92–104 34–38 
13 82–89 — — — — 36–42 76–91 39–42 
14 90–94 — — — 10 — 34–35 69–75 46–50 
15 95–97 — — 11 — 31–33 64–68 51–55 
16 98 — — — — 10 — 12 — 30 61–63 — 
17 99 — — — 13 29 — 56–58 
18 >99 ≥10 ≥6 ≥11 ≥7 ≥14 ≥6 ≤28 ≤60 ≥59 
Sample Size  129 129 119 127 117 117 

Notes: LNS = letter–number sequencing; SDMT = symbol digit modalities test.

Table 10.

Age-adjusted NEURONORMA scores (NSSA) for age 75–77 (age range for norms = 71–81)

Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤2 ≤2 ≤1 ≤1 ≥171 ≥540 ≤8 
— — — — — — — 161–170 501–539 — 
— — — — — — — 160 462–500 — 
3–5 — — — — 138–159 365–461 9–10 
6–10 — — — — 110–137 281–364 11–12 
11–18 — — — — 3–4 — 88–109 221–280 13–15 
19–28 — — — — — — 78–87 194–220 16–19 
29–40 — — — — 68–77 160–193 20–22 
10 41–59 — — 6–7 — 57–67 121–159 23–28 
11 60–71 — — — — — 48–56 107–120 29–31 
12 72–81 — — — 45–47 96–106 32–34 
13 82–89 — — — — 10 38–44 83–95 35–41 
14 90–94 — — — 11 — 36–37 75–82 42–49 
15 95–97 — — — — 12 — 34–35 64–74 50–55 
16 98 — — — 13 — 61–63 — 
17 99 — — — 14 — 30–33 60 58 
18 >99 ≥10 ≥6 ≥10 ≥7 ≥15 ≥6 ≤29 ≤59 ≥59 
Sample Size  103 103 94 103 91 101 
Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤2 ≤2 ≤1 ≤1 ≥171 ≥540 ≤8 
— — — — — — — 161–170 501–539 — 
— — — — — — — 160 462–500 — 
3–5 — — — — 138–159 365–461 9–10 
6–10 — — — — 110–137 281–364 11–12 
11–18 — — — — 3–4 — 88–109 221–280 13–15 
19–28 — — — — — — 78–87 194–220 16–19 
29–40 — — — — 68–77 160–193 20–22 
10 41–59 — — 6–7 — 57–67 121–159 23–28 
11 60–71 — — — — — 48–56 107–120 29–31 
12 72–81 — — — 45–47 96–106 32–34 
13 82–89 — — — — 10 38–44 83–95 35–41 
14 90–94 — — — 11 — 36–37 75–82 42–49 
15 95–97 — — — — 12 — 34–35 64–74 50–55 
16 98 — — — 13 — 61–63 — 
17 99 — — — 14 — 30–33 60 58 
18 >99 ≥10 ≥6 ≥10 ≥7 ≥15 ≥6 ≤29 ≤59 ≥59 
Sample Size  103 103 94 103 91 101 

Notes: LNS = letter–number sequencing; SDMT = symbol digit modalities test.

Table 11.

Age-adjusted NEURONORMA scores (NSSA) for age 78–80 (age range for norms = 74–84)

Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤2 ≤1 ≤1 ≤1 ≥171 ≥539 ≤7 
— — — — — 170 462–538 
— — — — — — — — 161–169 429–461 — 
3–5 — — — — — — — 146–160 353–428 9–10 
6–10 — 106–145 317–352 11 
11–18 — — — — 3–4 — 88–105 241–316 12–14 
19–28 — — — — — — 80–87 215–240 15–19 
29–40 — — — — — 74–79 191–214 20–21 
10 41–59 — 4–5 — 6–7 — 63–73 142–190 22–26 
11 60–71 — — — — — — — 55–62 120–141 27–29 
12 72–81 — — — 43–54 107–119 30–33 
13 82–89 — — — 42 84–106 34–35 
14 90–94 — — — — 10 — 36–41 83 36–40 
15 95–97 — — — 11 — 31–35 80–82 41–42 
16 98 — — — — — — 12 — — 64–79 43–46 
17 99 10 — — — — 30 63 — 
18 >99 ≥11 ≥6 ≥9 ≥5 ≥13 ≥5 ≤29 ≤62 ≥47 
Sample Size  67 67 61 67 58 68 
Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤2 ≤1 ≤1 ≤1 ≥171 ≥539 ≤7 
— — — — — 170 462–538 
— — — — — — — — 161–169 429–461 — 
3–5 — — — — — — — 146–160 353–428 9–10 
6–10 — 106–145 317–352 11 
11–18 — — — — 3–4 — 88–105 241–316 12–14 
19–28 — — — — — — 80–87 215–240 15–19 
29–40 — — — — — 74–79 191–214 20–21 
10 41–59 — 4–5 — 6–7 — 63–73 142–190 22–26 
11 60–71 — — — — — — — 55–62 120–141 27–29 
12 72–81 — — — 43–54 107–119 30–33 
13 82–89 — — — 42 84–106 34–35 
14 90–94 — — — — 10 — 36–41 83 36–40 
15 95–97 — — — 11 — 31–35 80–82 41–42 
16 98 — — — — — — 12 — — 64–79 43–46 
17 99 10 — — — — 30 63 — 
18 >99 ≥11 ≥6 ≥9 ≥5 ≥13 ≥5 ≤29 ≤62 ≥47 
Sample Size  67 67 61 67 58 68 

Notes: LNS = letter–number sequencing; SDMT = symbol digit modalities test.

Table 12.

Age-adjusted NEURONORMA scores (NSSA) for age 81–90 (age range for norms = 77–90)

Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤3 ≤1 ≤1 ≥161 ≥461 ≤9 
— — — — — — — — — — — 
— — — — — — 160 429–460 10 
3–5 — — — — — — — — 106–159 368–428 11 
6–10 — — 92–105 353–367 12 
11–18 — — — — — 88–91 299–352 13–15 
19–28 — — — — — 81–87 236–298 16–18 
29–40 — — — 75–80 211–235 19–20 
10 41–59 — — — — 65–74 164–210 21–24 
11 60–71 — — — — 58–64 121–163 25–27 
12 72–81 — — 43–57 115–120 28–30 
13 82–89 — — — — 9–10 — 42 99–114 31–33 
14 90–94 — — — — — — 37–41 84–98 34–40 
15 95–97 — — 11–12 — 25–36 81–83 41–42 
16 98 — — 10 — — — — — 24 80 — 
17 99 — — — — — — — — — — — 
18 >99 ≥11 ≥6 ≥8 ≥5 ≥13 ≥5 ≤23 ≤79 ≥43 
Sample Size  43 43 38 48 37 40 
Scaled Score Percentile Range Digit Span
 
Corsi Blocks
 
LNS
 
Trail Making Test
 
SDMT 
  Forward Backward Forward
 
Backward
 
Raw Score Last Item Score Part A Part B  
    Raw Score Last Item Score Raw Score Last Item Score      
<1 ≤3 ≤1 ≤1 ≥161 ≥461 ≤9 
— — — — — — — — — — — 
— — — — — — 160 429–460 10 
3–5 — — — — — — — — 106–159 368–428 11 
6–10 — — 92–105 353–367 12 
11–18 — — — — — 88–91 299–352 13–15 
19–28 — — — — — 81–87 236–298 16–18 
29–40 — — — 75–80 211–235 19–20 
10 41–59 — — — — 65–74 164–210 21–24 
11 60–71 — — — — 58–64 121–163 25–27 
12 72–81 — — 43–57 115–120 28–30 
13 82–89 — — — — 9–10 — 42 99–114 31–33 
14 90–94 — — — — — — 37–41 84–98 34–40 
15 95–97 — — 11–12 — 25–36 81–83 41–42 
16 98 — — 10 — — — — — 24 80 — 
17 99 — — — — — — — — — — — 
18 >99 ≥11 ≥6 ≥8 ≥5 ≥13 ≥5 ≤23 ≤79 ≥43 
Sample Size  43 43 38 48 37 40 

Notes: LNS = letter–number sequencing; SDMT = symbol digit modalities test.

Correlation (r) and shared variances (r2) for age and education with NSSA are presented for all neuropsychological measures in Table 13. As expected, the normative adjustments eliminated the shared variance for all tests. Education, however, continues to account for up to 38% of shared variances with NSSA.

Table 13.

Correlations (r) and shared variance (r2) of age-adjusted NEURONORMA scores (NSSA) with age, and years of education

Neuropsychological Measure Age (years)
 
Education (years)
 
 r r2 r r2 
Verbal Span 
 Forward 0.00518 0.00003 0.42410 0.17986 
 Backwards −0.02659 0.00071 0.44477 0.19782 
Visuospatial Span 
 Last Item Forward −0.00218 0.00000 0.21603 0.04667 
 Forward Raw Score −0.04978 0.00248 0.28257 0.07985 
 Last Item Backwards −0.02284 0.00052 0.34355 0.11803 
 Backwards Raw Score −0.00671 0.00005 0.38367 0.14720 
Letter Number Sequencing 
 Last Item −0.01629 0.00027 0.46607 0.21722 
 Raw Score −0.04192 0.00176 0.54233 0.29412 
Trail Making Test 
 Part A 0.05760 0.00332 −0.42860 0.18370 
 Part B 0.05578 0.00311 −0.52234 0.27284 
Symbol Digit Modalities Test 
 Total Score −0.05487 0.00301 0.61922 0.38343 
Neuropsychological Measure Age (years)
 
Education (years)
 
 r r2 r r2 
Verbal Span 
 Forward 0.00518 0.00003 0.42410 0.17986 
 Backwards −0.02659 0.00071 0.44477 0.19782 
Visuospatial Span 
 Last Item Forward −0.00218 0.00000 0.21603 0.04667 
 Forward Raw Score −0.04978 0.00248 0.28257 0.07985 
 Last Item Backwards −0.02284 0.00052 0.34355 0.11803 
 Backwards Raw Score −0.00671 0.00005 0.38367 0.14720 
Letter Number Sequencing 
 Last Item −0.01629 0.00027 0.46607 0.21722 
 Raw Score −0.04192 0.00176 0.54233 0.29412 
Trail Making Test 
 Part A 0.05760 0.00332 −0.42860 0.18370 
 Part B 0.05578 0.00311 −0.52234 0.27284 
Symbol Digit Modalities Test 
 Total Score −0.05487 0.00301 0.61922 0.38343 

The transformation of raw scores to NSSA produced a normalized distribution on which linear regressions could be applied. Linear regressions resulted in computational formulae to calculate NSSA&E (Table 14). From these data we have constructed NSSA&E adjustment tables (Tables 15–25) to help the clinician make the necessary adjustments. To use the tables select the appropriate column corresponding to the patient's years of education, find the patient's NSSA, and subsequently refer to the corresponding NSSA&E. When these formulae were applied to the normative sample, the shared variances between NSSA&E and years of education fell to <1%.

Table 14.

Computational formulae for age and education adjusted NEURONORMA scores

Neuropsychological Measure β 
Verbal Span 
 Forward 0.21327 
 Backwards 0.21298 
Visuospatial Span 
 Last Item Forward 0.11357 
 Forward Raw Score 0.14886 
 Last Item Backwards 0.17787 
 Backwards Raw Score 0.20213 
Letter Number Sequencing 
 Last Item 0.24927 
 Raw Score 0.28804 
Trail Making Test 
 Part A −0.21832 
 Part B −0.27320 
Symbol Digit Modalities Test 
 Total Score 0.32136 
Neuropsychological Measure β 
Verbal Span 
 Forward 0.21327 
 Backwards 0.21298 
Visuospatial Span 
 Last Item Forward 0.11357 
 Forward Raw Score 0.14886 
 Last Item Backwards 0.17787 
 Backwards Raw Score 0.20213 
Letter Number Sequencing 
 Last Item 0.24927 
 Raw Score 0.28804 
Trail Making Test 
 Part A −0.21832 
 Part B −0.27320 
Symbol Digit Modalities Test 
 Total Score 0.32136 

Notes: NSSA&E = NSSA − (β*(Educ − 12)).

Table 15.

Verbal span: Digits forward

NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
10 10 10 
11 11 11 10 10 10 10 10 
10 12 12 12 11 11 11 11 11 10 10 10 10 10 
11 13 13 13 12 12 12 12 12 11 11 11 11 11 10 10 10 10 
12 14 14 14 13 13 13 13 13 12 12 12 12 12 11 11 11 11 10 10 10 10 
13 15 15 15 14 14 14 14 14 13 13 13 13 13 12 12 12 12 11 11 11 11 
14 16 16 16 15 15 15 15 15 14 14 14 14 14 13 13 13 13 12 12 12 12 
15 17 17 17 16 16 16 16 16 15 15 15 15 15 14 14 14 14 13 13 13 13 
16 18 18 18 17 17 17 17 17 16 16 16 16 16 15 15 15 15 14 14 14 14 
17 19 19 19 18 18 18 18 18 17 17 17 17 17 16 16 16 16 15 15 15 15 
18 20 20 20 19 19 19 19 19 18 18 18 18 18 17 17 17 17 16 16 16 16 
NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
10 10 10 
11 11 11 10 10 10 10 10 
10 12 12 12 11 11 11 11 11 10 10 10 10 10 
11 13 13 13 12 12 12 12 12 11 11 11 11 11 10 10 10 10 
12 14 14 14 13 13 13 13 13 12 12 12 12 12 11 11 11 11 10 10 10 10 
13 15 15 15 14 14 14 14 14 13 13 13 13 13 12 12 12 12 11 11 11 11 
14 16 16 16 15 15 15 15 15 14 14 14 14 14 13 13 13 13 12 12 12 12 
15 17 17 17 16 16 16 16 16 15 15 15 15 15 14 14 14 14 13 13 13 13 
16 18 18 18 17 17 17 17 17 16 16 16 16 16 15 15 15 15 14 14 14 14 
17 19 19 19 18 18 18 18 18 17 17 17 17 17 16 16 16 16 15 15 15 15 
18 20 20 20 19 19 19 19 19 18 18 18 18 18 17 17 17 17 16 16 16 16 

Notes: Education adjustment applying the following formula: NSSA&E = NSSA − (β * (Education(years) − 12)), where β = 0.21327.

Table 16.

Verbal span: Digits backward

NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
10 10 10 
11 11 11 10 10 10 10 10 
10 12 12 12 11 11 11 11 11 10 10 10 10 10 
11 13 13 13 12 12 12 12 12 11 11 11 11 11 10 10 10 10 
12 14 14 14 13 13 13 13 13 12 12 12 12 12 11 11 11 11 10 10 10 10 
13 15 15 15 14 14 14 14 14 13 13 13 13 13 12 12 12 12 11 11 11 11 
14 16 16 16 15 15 15 15 15 14 14 14 14 14 13 13 13 13 12 12 12 12 
15 17 17 17 16 16 16 16 16 15 15 15 15 15 14 14 14 14 13 13 13 13 
16 18 18 18 17 17 17 17 17 16 16 16 16 16 15 15 15 15 14 14 14 14 
17 19 19 19 18 18 18 18 18 17 17 17 17 17 16 16 16 16 15 15 15 15 
18 20 20 20 19 19 19 19 19 18 18 18 18 18 17 17 17 17 16 16 16 16 
NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
10 10 10 
11 11 11 10 10 10 10 10 
10 12 12 12 11 11 11 11 11 10 10 10 10 10 
11 13 13 13 12 12 12 12 12 11 11 11 11 11 10 10 10 10 
12 14 14 14 13 13 13 13 13 12 12 12 12 12 11 11 11 11 10 10 10 10 
13 15 15 15 14 14 14 14 14 13 13 13 13 13 12 12 12 12 11 11 11 11 
14 16 16 16 15 15 15 15 15 14 14 14 14 14 13 13 13 13 12 12 12 12 
15 17 17 17 16 16 16 16 16 15 15 15 15 15 14 14 14 14 13 13 13 13 
16 18 18 18 17 17 17 17 17 16 16 16 16 16 15 15 15 15 14 14 14 14 
17 19 19 19 18 18 18 18 18 17 17 17 17 17 16 16 16 16 15 15 15 15 
18 20 20 20 19 19 19 19 19 18 18 18 18 18 17 17 17 17 16 16 16 16 

Notes: Education adjustment applying the following formula: NSSA&E = NSSA − (β*(Education(years) − 12)), where β = 0.21298.

Table 17.

Visuospatial span forward: Last item

NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
10 10 10 10 
10 11 11 11 11 10 10 10 10 10 10 10 10 10 
11 12 12 12 12 11 11 11 11 11 11 11 11 11 10 10 10 10 10 10 10 10 
12 13 13 13 13 12 12 12 12 12 12 12 12 12 11 11 11 11 11 11 11 11 
13 14 14 14 14 13 13 13 13 13 13 13 13 13 12 12 12 12 12 12 12 12 
14 15 15 15 15 14 14 14 14 14 14 14 14 14 13 13 13 13 13 13 13 13 
15 16 16 16 16 15 15 15 15 15 15 15 15 15 14 14 14 14 14 14 14 14 
16 17 17 17 17 16 16 16 16 16 16 16 16 16 15 15 15 15 15 15 15 15 
17 18 18 18 18 17 17 17 17 17 17 17 17 17 16 16 16 16 16 16 16 16 
18 19 19 19 19 18 18 18 18 18 18 18 18 18 17 17 17 17 17 17 17 17 
NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
10 10 10 10 
10 11 11 11 11 10 10 10 10 10 10 10 10 10 
11 12 12 12 12 11 11 11 11 11 11 11 11 11 10 10 10 10 10 10 10 10 
12 13 13 13 13 12 12 12 12 12 12 12 12 12 11 11 11 11 11 11 11 11 
13 14 14 14 14 13 13 13 13 13 13 13 13 13 12 12 12 12 12 12 12 12 
14 15 15 15 15 14 14 14 14 14 14 14 14 14 13 13 13 13 13 13 13 13 
15 16 16 16 16 15 15 15 15 15 15 15 15 15 14 14 14 14 14 14 14 14 
16 17 17 17 17 16 16 16 16 16 16 16 16 16 15 15 15 15 15 15 15 15 
17 18 18 18 18 17 17 17 17 17 17 17 17 17 16 16 16 16 16 16 16 16 
18 19 19 19 19 18 18 18 18 18 18 18 18 18 17 17 17 17 17 17 17 17 

Notes: Education adjustment applying the following formula: NSSA&E = NSSA–(β*(Education(years)–12)), where β = 0.11357.

Table 18.

Visuospatial Span Forward: Raw score

NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
10 10 10 10 10 10 
10 11 11 11 11 11 11 10 10 10 10 10 10 10 
11 12 12 12 12 12 12 11 11 11 11 11 11 11 10 10 10 10 10 10 
12 13 13 13 13 13 13 12 12 12 12 12 12 12 11 11 11 11 11 11 10 10 
13 14 14 14 14 14 14 13 13 13 13 13 13 13 12 12 12 12 12 12 11 11 
14 15 15 15 15 15 15 14 14 14 14 14 14 14 13 13 13 13 13 13 12 12 
15 16 16 16 16 16 16 15 15 15 15 15 15 15 14 14 14 14 14 14 13 13 
16 17 17 17 17 17 17 16 16 16 16 16 16 16 15 15 15 15 15 15 14 14 
17 18 18 18 18 18 18 17 17 17 17 17 17 17 16 16 16 16 16 16 15 15 
18 19 19 19 19 19 19 18 18 18 18 18 18 18 17 17 17 17 17 17 16 16 
NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
10 10 10 10 10 10 
10 11 11 11 11 11 11 10 10 10 10 10 10 10 
11 12 12 12 12 12 12 11 11 11 11 11 11 11 10 10 10 10 10 10 
12 13 13 13 13 13 13 12 12 12 12 12 12 12 11 11 11 11 11 11 10 10 
13 14 14 14 14 14 14 13 13 13 13 13 13 13 12 12 12 12 12 12 11 11 
14 15 15 15 15 15 15 14 14 14 14 14 14 14 13 13 13 13 13 13 12 12 
15 16 16 16 16 16 16 15 15 15 15 15 15 15 14 14 14 14 14 14 13 13 
16 17 17 17 17 17 17 16 16 16 16 16 16 16 15 15 15 15 15 15 14 14 
17 18 18 18 18 18 18 17 17 17 17 17 17 17 16 16 16 16 16 16 15 15 
18 19 19 19 19 19 19 18 18 18 18 18 18 18 17 17 17 17 17 17 16 16 

Notes: Education adjustment applying the following formula: NSSA&E = NSSA – (β*(Education(years) – 12)), where β = 0.14886.

Table 19.

Visuospatial span backward: Last item

NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
10 
11 10 10 10 10 10 10 
10 12 11 11 11 11 11 11 10 10 10 10 10 10 
11 13 12 12 12 12 12 12 11 11 11 11 11 11 10 10 10 10 10 
12 14 13 13 13 13 13 13 12 12 12 12 12 12 11 11 11 11 11 10 10 10 
13 15 14 14 14 14 14 14 13 13 13 13 13 13 12 12 12 12 12 11 11 11 
14 16 15 15 15 15 15 15 14 14 14 14 14 14 13 13 13 13 13 12 12 12 
15 17 16 16 16 16 16 16 15 15 15 15 15 15 14 14 14 14 14 13 13 13 
16 18 17 17 17 17 17 17 16 16 16 16 16 16 15 15 15 15 15 14 14 14 
17 19 18 18 18 18 18 18 17 17 17 17 17 17 16 16 16 16 16 15 15 15 
18 20 19 19 19 19 19 19 18 18 18 18 18 18 17 17 17 17 17 16 16 16 
NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
10 
11 10 10 10 10 10 10 
10 12 11 11 11 11 11 11 10 10 10 10 10 10 
11 13 12 12 12 12 12 12 11 11 11 11 11 11 10 10 10 10 10 
12 14 13 13 13 13 13 13 12 12 12 12 12 12 11 11 11 11 11 10 10 10 
13 15 14 14 14 14 14 14 13 13 13 13 13 13 12 12 12 12 12 11 11 11 
14 16 15 15 15 15 15 15 14 14 14 14 14 14 13 13 13 13 13 12 12 12 
15 17 16 16 16 16 16 16 15 15 15 15 15 15 14 14 14 14 14 13 13 13 
16 18 17 17 17 17 17 17 16 16 16 16 16 16 15 15 15 15 15 14 14 14 
17 19 18 18 18 18 18 18 17 17 17 17 17 17 16 16 16 16 16 15 15 15 
18 20 19 19 19 19 19 19 18 18 18 18 18 18 17 17 17 17 17 16 16 16 

Notes: Education adjustment applying the following formula: NSSA&E = NSSA – (β*(Education(years) – 12)), where β = 0.17787.

Table 20.

Visuospatial Span Backward: Raw score

NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
10 10 10 
11 11 11 10 10 10 10 10 
10 12 12 12 11 11 11 11 11 10 10 10 10 10 
11 13 13 13 12 12 12 12 12 11 11 11 11 11 10 10 10 10 
12 14 14 14 13 13 13 13 13 12 12 12 12 12 11 11 11 11 10 10 10 10 
13 15 15 15 14 14 14 14 14 13 13 13 13 13 12 12 12 12 11 11 11 11 
14 16 16 16 15 15 15 15 15 14 14 14 14 14 13 13 13 13 12 12 12 12 
15 17 17 17 16 16 16 16 16 15 15 15 15 15 14 14 14 14 13 13 13 13 
16 18 18 18 17 17 17 17 17 16 16 16 16 16 15 15 15 15 14 14 14 14 
17 19 19 19 18 18 18 18 18 17 17 17 17 17 16 16 16 16 15 15 15 15 
18 20 20 20 19 19 19 19 19 18 18 18 18 18 17 17 17 17 16 16 16 16 
NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
10 10 10 
11 11 11 10 10 10 10 10 
10 12 12 12 11 11 11 11 11 10 10 10 10 10 
11 13 13 13 12 12 12 12 12 11 11 11 11 11 10 10 10 10 
12 14 14 14 13 13 13 13 13 12 12 12 12 12 11 11 11 11 10 10 10 10 
13 15 15 15 14 14 14 14 14 13 13 13 13 13 12 12 12 12 11 11 11 11 
14 16 16 16 15 15 15 15 15 14 14 14 14 14 13 13 13 13 12 12 12 12 
15 17 17 17 16 16 16 16 16 15 15 15 15 15 14 14 14 14 13 13 13 13 
16 18 18 18 17 17 17 17 17 16 16 16 16 16 15 15 15 15 14 14 14 14 
17 19 19 19 18 18 18 18 18 17 17 17 17 17 16 16 16 16 15 15 15 15 
18 20 20 20 19 19 19 19 19 18 18 18 18 18 17 17 17 17 16 16 16 16 

Notes: Education adjustment applying the following formula: NSSA&E=NSSA–(β*(Education(years)–12)), where β = 0.20213.

Table 21.

Letter–number sequencing: Last item

NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
10 10 10 10 
11 11 11 11 10 10 10 10 
10 12 12 12 12 11 11 11 11 10 10 10 10 10 
11 13 13 13 13 12 12 12 12 11 11 11 11 11 10 10 10 10 
12 14 14 14 14 13 13 13 13 12 12 12 12 12 11 11 11 11 10 10 10 10 
13 15 15 15 15 14 14 14 14 13 13 13 13 13 12 12 12 12 11 11 11 11 
14 16 16 16 16 15 15 15 15 14 14 14 14 14 13 13 13 13 12 12 12 12 
15 17 17 17 17 16 16 16 16 15 15 15 15 15 14 14 14 14 13 13 13 13 
16 18 18 18 18 17 17 17 17 16 16 16 16 16 15 15 15 15 14 14 14 14 
17 19 19 19 19 18 18 18 18 17 17 17 17 17 16 16 16 16 15 15 15 15 
18 20 20 20 20 19 19 19 19 18 18 18 18 18 17 17 17 17 16 16 16 16 
NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
10 10 10 10 
11 11 11 11 10 10 10 10 
10 12 12 12 12 11 11 11 11 10 10 10 10 10 
11 13 13 13 13 12 12 12 12 11 11 11 11 11 10 10 10 10 
12 14 14 14 14 13 13 13 13 12 12 12 12 12 11 11 11 11 10 10 10 10 
13 15 15 15 15 14 14 14 14 13 13 13 13 13 12 12 12 12 11 11 11 11 
14 16 16 16 16 15 15 15 15 14 14 14 14 14 13 13 13 13 12 12 12 12 
15 17 17 17 17 16 16 16 16 15 15 15 15 15 14 14 14 14 13 13 13 13 
16 18 18 18 18 17 17 17 17 16 16 16 16 16 15 15 15 15 14 14 14 14 
17 19 19 19 19 18 18 18 18 17 17 17 17 17 16 16 16 16 15 15 15 15 
18 20 20 20 20 19 19 19 19 18 18 18 18 18 17 17 17 17 16 16 16 16 

Notes: Education adjustment applying the following formula: NSSA&E = NSSA – (β*(Education(years) – 12)), where β = 0.24927.

Table 22.

Letter–number sequencing raw score

NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
−1 −1 
10 10 
11 11 10 10 10 10 
12 12 11 11 11 11 10 10 10 
10 13 13 12 12 12 12 11 11 11 10 10 10 10 
11 14 14 13 13 13 13 12 12 12 11 11 11 11 10 10 10 
12 15 15 14 14 14 14 13 13 13 12 12 12 12 11 11 11 10 10 10 
13 16 16 15 15 15 15 14 14 14 13 13 13 13 12 12 12 11 11 11 10 10 
14 17 17 16 16 16 16 15 15 15 14 14 14 14 13 13 13 12 12 12 11 11 
15 18 18 17 17 17 17 16 16 16 15 15 15 15 14 14 14 13 13 13 12 12 
16 19 19 18 18 18 18 17 17 17 16 16 16 16 15 15 15 14 14 14 13 13 
17 20 20 19 19 19 19 18 18 18 17 17 17 17 16 16 16 15 15 15 14 14 
18 21 21 20 20 20 20 19 19 19 18 18 18 18 17 17 17 16 16 16 15 15 
NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
−1 −1 
10 10 
11 11 10 10 10 10 
12 12 11 11 11 11 10 10 10 
10 13 13 12 12 12 12 11 11 11 10 10 10 10 
11 14 14 13 13 13 13 12 12 12 11 11 11 11 10 10 10 
12 15 15 14 14 14 14 13 13 13 12 12 12 12 11 11 11 10 10 10 
13 16 16 15 15 15 15 14 14 14 13 13 13 13 12 12 12 11 11 11 10 10 
14 17 17 16 16 16 16 15 15 15 14 14 14 14 13 13 13 12 12 12 11 11 
15 18 18 17 17 17 17 16 16 16 15 15 15 15 14 14 14 13 13 13 12 12 
16 19 19 18 18 18 18 17 17 17 16 16 16 16 15 15 15 14 14 14 13 13 
17 20 20 19 19 19 19 18 18 18 17 17 17 17 16 16 16 15 15 15 14 14 
18 21 21 20 20 20 20 19 19 19 18 18 18 18 17 17 17 16 16 16 15 15 

Notes: Education adjustment applying the following formula: NSSA&E = NSSA – (β*(Education(years) – 12)), where β = 0.28804.

Table 23.

Trail making test: Part A

NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
−1 −1 −1 
10 10 10 10 
10 11 11 11 11 10 10 10 10 10 
11 12 12 12 12 11 11 11 11 11 10 10 10 10 
12 13 13 13 13 12 12 12 12 12 11 11 11 11 10 10 10 10 10 
13 14 14 14 14 13 13 13 13 13 12 12 12 12 11 11 11 11 11 10 10 10 
14 15 15 15 15 14 14 14 14 14 13 13 13 13 12 12 12 12 12 11 11 11 
15 16 16 16 16 15 15 15 15 15 14 14 14 14 13 13 13 13 13 12 12 12 
16 17 17 17 17 16 16 16 16 16 15 15 15 15 14 14 14 14 14 13 13 13 
17 18 18 18 18 17 17 17 17 17 16 16 16 16 15 15 15 15 15 14 14 14 
18 19 19 19 19 18 18 18 18 18 17 17 17 17 16 16 16 16 16 15 15 15 
NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
−1 −1 −1 
10 10 10 10 
10 11 11 11 11 10 10 10 10 10 
11 12 12 12 12 11 11 11 11 11 10 10 10 10 
12 13 13 13 13 12 12 12 12 12 11 11 11 11 10 10 10 10 10 
13 14 14 14 14 13 13 13 13 13 12 12 12 12 11 11 11 11 11 10 10 10 
14 15 15 15 15 14 14 14 14 14 13 13 13 13 12 12 12 12 12 11 11 11 
15 16 16 16 16 15 15 15 15 15 14 14 14 14 13 13 13 13 13 12 12 12 
16 17 17 17 17 16 16 16 16 16 15 15 15 15 14 14 14 14 14 13 13 13 
17 18 18 18 18 17 17 17 17 17 16 16 16 16 15 15 15 15 15 14 14 14 
18 19 19 19 19 18 18 18 18 18 17 17 17 17 16 16 16 16 16 15 15 15 

Notes: Education adjustment applying the following formula: NSSAE = NSSA – (β*(Education(years) – 12)), where β = − 0.21832.

Table 24.

Trail making test: Part B

NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
−1 −1 −1 −2 −2 
−1 −1 
10 
11 10 10 10 10 
10 12 11 11 11 11 10 10 10 10 
11 13 12 12 12 12 11 11 11 11 10 10 10 
12 14 13 13 13 13 12 12 12 12 11 11 11 10 10 10 10 
13 15 14 14 14 14 13 13 13 13 12 12 12 11 11 11 11 10 10 10 
14 16 15 15 15 15 14 14 14 14 13 13 13 12 12 12 12 11 11 11 10 10 
15 17 16 16 16 16 15 15 15 15 14 14 14 13 13 13 13 12 12 12 11 11 
16 18 17 17 17 17 16 16 16 16 15 15 15 14 14 14 14 13 13 13 12 12 
17 19 18 18 18 18 17 17 17 17 16 16 16 15 15 15 15 14 14 14 13 13 
18 20 19 19 19 19 18 18 18 18 17 17 17 16 16 16 16 15 15 15 14 14 
NSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
−1 −1 −1 −2 −2 
−1 −1 
10 
11 10 10 10 10 
10 12 11 11 11 11 10 10 10 10 
11 13 12 12 12 12 11 11 11 11 10 10 10 
12 14 13 13 13 13 12 12 12 12 11 11 11 10 10 10 10 
13 15 14 14 14 14 13 13 13 13 12 12 12 11 11 11 11 10 10 10 
14 16 15 15 15 15 14 14 14 14 13 13 13 12 12 12 12 11 11 11 10 10 
15 17 16 16 16 16 15 15 15 15 14 14 14 13 13 13 13 12 12 12 11 11 
16 18 17 17 17 17 16 16 16 16 15 15 15 14 14 14 14 13 13 13 12 12 
17 19 18 18 18 18 17 17 17 17 16 16 16 15 15 15 15 14 14 14 13 13 
18 20 19 19 19 19 18 18 18 18 17 17 17 16 16 16 16 15 15 15 14 14 

Notes: Education adjustment applying the following formula: NSSAE = NSSA – (β*(Education(years) – 12)), where β = − 0.27320.

Table 25.

Symbol-digit modalities test total score

SSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
−1 −1 
10 10 10 
11 11 11 10 10 10 
12 12 12 11 11 11 10 10 10 
10 13 13 13 12 12 12 11 11 11 10 10 10 10 
11 14 14 14 13 13 13 12 12 12 11 11 11 11 10 10 10 
12 15 15 15 14 14 14 13 13 13 12 12 12 12 11 11 11 10 10 10 
13 16 16 16 15 15 15 14 14 14 13 13 13 13 12 12 12 11 11 11 10 10 
14 17 17 17 16 16 16 15 15 15 14 14 14 14 13 13 13 12 12 12 11 11 
15 18 18 18 17 17 17 16 16 16 15 15 15 15 14 14 14 13 13 13 12 12 
16 19 19 19 18 18 18 17 17 17 16 16 16 16 15 15 15 14 14 14 13 13 
17 20 20 20 19 19 19 18 18 18 17 17 17 17 16 16 16 15 15 15 14 14 
18 21 21 21 20 20 20 19 19 19 18 18 18 18 17 17 17 16 16 16 15 15 
SSSA Education (years)
 
 10 11 12 13 14 15 16 17 18 19 20 
−1 −1 
10 10 10 
11 11 11 10 10 10 
12 12 12 11 11 11 10 10 10 
10 13 13 13 12 12 12 11 11 11 10 10 10 10 
11 14 14 14 13 13 13 12 12 12 11 11 11 11 10 10 10 
12 15 15 15 14 14 14 13 13 13 12 12 12 12 11 11 11 10 10 10 
13 16 16 16 15 15 15 14 14 14 13 13 13 13 12 12 12 11 11 11 10 10 
14 17 17 17 16 16 16 15 15 15 14 14 14 14 13 13 13 12 12 12 11 11 
15 18 18 18 17 17 17 16 16 16 15 15 15 15 14 14 14 13 13 13 12 12 
16 19 19 19 18 18 18 17 17 17 16 16 16 16 15 15 15 14 14 14 13 13 
17 20 20 20 19 19 19 18 18 18 17 17 17 17 16 16 16 15 15 15 14 14 
18 21 21 21 20 20 20 19 19 19 18 18 18 18 17 17 17 16 16 16 15 15 

Notes: Education adjustment applying the following formula: NSSA&E = NSSA – (β*(Education(years) – 12)), where β = 0.32136.

Discussion

In this study, we present normative data on age and education for the attention measures included in the NEURONORMA project. These data were derived from a well-characterized Spanish sample of 354 participants who were cognitively normal, community-dwelling, and ranging from 50 to 90 years.

Data from Table 2 show that education had more effect than age on raw scores of all tests. The effect of age for the raw score variance was ≤9% for Verbal Span (VS) and Visuospatial Span (VSS). The effect of age was higher for more complex tests (LNS, TMT, SDMT) and especially for SDMT (23% [rounded]). Education accounted significantly for the raw score variance of all measures and particularly, again, for SDMT (44%). The effect of sex was very small (≤3%) or practically absent (<1%) in all tests.

We chose to use the same methods of analysis that have been used in normative studies at the Mayo Clinic (e.g., Ivnik et al., 1992; Lucas et al., 2005). Although some measures (e.g., the digit span) are psychometrically different to, for example, the TMT or the SDMT, we decided to maintain the same model of analysis (see below).

VS and VSS

Our results show that age and education were associated with verbal and visuospatial span raw score. Tables 3–12 show a highly significant distribution of NSSA scores, especially considering that the critical NSSA 6 has an associated percentile rank of 6–10. In fact, Lezak et al. (2004), although recognizing the effect of age and education, suggested that “spans of 6 or better are well within normal limits, a span of 5 may be marginal to normal limits, a span of 4 is definitely borderline, and 3 is defective” (p. 353). Our results tend to confirm this statement, but are more objective because we introduced adjustments for age and education. Also, due to the NEURONORMA adjustments, it is possible to go beyond the statement that “a [digit] span of 4 is definitely borderline.” Tables 3–12 show that a span of 4 is only defective in younger subjects (50–59 years old) because it is associated with an NSSA of 5 for 50–56 years, and with an NSSA of 6 for 57–59 years. Furthermore, Table 15 (NSSA&E), shows that only in cases of practically no education (0–2 years) for 50–56 years the adjusted final NSSA&E is 7. When years of education increase NSSA&E goes down. The same effect is observed for age 57–59 years, but for cases of no/minimal education (0–2 years) the resulting NSSA of 6 is adjusted to an NSSA&E of 8 (normal). The same subject with 3–7 years of education would receive a NSSA&E of 7, and with a range of 17–20 years of education would receive an NSSA&E of 5 (clearly defective).

As expected, our study shows that the raw score difference between forward and backward digits tends to range from 1 to 2 (see NSSA 10 in Tables 5–12). Normal raw scores for backward digits are 4 to 5, and a score of 3 may be considered borderline. In fact, a raw score of 2 has an associated NSSA of 5 in all tables, except in tables for subjects aged 75+ years. For subjects aged 75–80 years the associated NSSA is 6, and for subjects aged 80+ years the associated NSSA is 7. These data show clearly the effect of age (see Canavan et al., 1989; Howieson et al., 1993). Despite of high prevalence of pre-clinical dementia in the elderly, we consider that the minimal education level of oldest groups could explain the low raw scores obtained in backward digits. In this case, education adjustments of NSSA scores are fundamental because they add one or two points at people with few years of education (see Table 16). The final Scaled Score obtained after those adjustments are much more comparable to the other authors presented (see Botwinick & Storand, 1974; Lezak et al., 2004).

Our results also confirm that block span is normally one to two points below digit span and that education contributes significantly to performance on the test. Although we offer normative tables for block total score (sum of all administrations [raw score]) we agree with Lezak and colleagues (2004) that for neuropsychological purposes—as in the case of digits—“spans forward and reversed are meaningful pieces of information that require no further elaboration for interpretation” (p. 352).

Letter–Number Sequencing

Due to significant differences in samples, methods, and age ranges, it is difficult to compare our data with norms published in the Spanish WMS-III manual (2004). It is noteworthy that, despite this problem, there is a practical equivalence of our Table 5 (age range 56–66, n = 122) with table D4 of the WMS-III manual (age range 55–65, n = 122). Furthermore, a raw score of 4 is associated with a scaled score of 6 (cut-off score, percentile range 6–10) in both sets of norms. For older subjects (NEURONORMA Tables 11–12 and WMS-III manual Table D-6) this fact has not been observed. A major difference to WMS-III norms is that NEURONORMA norms permit adjustments for years of education. This is a very important point in helping clinicians to arrive at clinically meaningful interpretation of scores (see Ryan, Sattler, & Lopez, 2000).

Finally, it is worth commenting that when comparing VS and VSS with LNS data, the effects of age and education are different and this fact is reproduced in our norms. This result probably reflects differences in the overlap of these tasks with other neuropsychological domains (see Crowe, 2000; Emery, Myerson, & Hale, 2007; Myerson, Emery, White, & Hale, 2003).

Trail Making Test

Demographic variables, age, and education affected the score of the TMT, but sex was found to be unrelated to scores in this normal sample. Thus our data are in accordance with previous studies (e.g., Bornstein, 1985; Bornstein & Suga, 1988; Ernst et al., 1987; Hester et al., 2005; Lucas et al., 2005; Rasmusson et al., 1998; Salthouse, et al., 2000; Stuss et al., 1987; Tombaugh, 2004; Wecker et al., 2000). Age accounts for 13% and 11% of the variance of raw score for Trails A and B, respectively, whereas education accounts for 22% and 26%, respectively. As we allowed unlimited time for participants to complete the test our norms do not show the floor effect observed by Lucas and colleagues (2005) in Part B. Comparison of our Part A scaled score of 10 (Tables 4–11) with MOAANS data (Lucas et al., 2005 [Tables 4–10]) shows practically the same results. Furthermore, scaled scores 7–6 are in very similar range of raw score in both norms.

Due to significant differences in samples and methods, it is difficult to compare our data with other Spanish language studies (e.g., Del Ser et al. 2004; Periáñez et al., 2007).

Symbol Digit Modalities Test

Our results confirm previous studies on the effect of demographic variables on raw scores and demonstrate that education- and age-corrected norms are needed (Gilmore et al., 1983a; 1983b; Richardson & Marottoli, 1996; Strauss et al., 2006). Age and education accounted significantly for the raw score variance of SDMT (see Table 2). Sex differences were not observed, indicating no need to control this demographic variable. This test is the one most affected by education in the series of tests presented in this paper. It is clear that education adjustments are needed for a correct analysis of scores. In fact, Table 25 shows a three-point adjustment (up or down) of NSSA to NSSA&E. This kind of adjustment is specifically important in cases of education higher than 12 years or lower than 9 years.

It is extremely difficult to compare our results with the normative tables of the Spanish manual (Smith, 2002) due to evident methodological and demographic differences (e.g., the manual includes only two education groups [cut-off >12] and the age groups stop at 65+ years). Due to the significant effect of education on raw score, this oversimplification for clinical purposes, especially in elderly subjects, appears inadequate.

Finally, it is worth commenting that in a community-based sample, SDMT was not significantly affected by age, education, and sex (Sheridan et al., 2006). It is probable that this was the result of a combination of influential age and education range restrictions and a low number of subjects.

Final Comments

One of the strengths of this normative sample is its inclusion of a wide range of educational levels (from illiterate to higher educated) and the provision of education-based adjustments. Tables with both age and education adjustments may be particularly useful to reduce the risk of misdiagnosing cognitive impairment in elderly Spanish subjects. These kinds of adjustments should improve diagnostic accuracy of cognitive impairment because they can better predict the patient's decline from premorbid status and give information about their expected premorbid scores (Silverberg & Millis, 2009).

One of the advantages of the NEURONORMA norms is that they allow the valid comparison of a subject's performance across all normed tests. This is due to the NEURONORMA practice of simultaneously co-norming multiple tests. Separate NEURONORMA publications (this issue) report on other tests included in the project: Boston Naming Test (Kaplan, Goodglass, & Weintraub, 2001); Token Test (De Renzi & Faglioni, 1978); Selected test of the Visual Object and Space Perception Battery (Warrington & James, 1991); Judgment of Line Orientation (Benton, Hannay, & Varney, 1975, 1994); Rey–Osterrieth Complex Figure (Osterrieth, 1944; Rey, 1941); Free and Cued Selective Reminding Test (Buschke, 1973, 1984); Verbal Fluency (Ramier & Hécaen, 1970) including three semantic fluency tasks (animals, fruit and vegetables, and kitchen tools), three formal lexical tasks (words beginning with p, m, and r), and three excluded letter fluency task (excluded a, e, and s) (Crawford, Wright, & Bate, 1995); Stroop Color–Word Interference Test (Golden, 1978; Stroop, 1935); Tower of London Drexel University version (Culbertson & Zillmer, 2001). Recently, some authors have concluded that raw scores without sociodemographic corrections are more appropriate to determine patient's acquired brain dysfunction than demographic-adjusted scores (Silverberg & Millis, 2009).

The limitations of NEURONORMA norms have been previously discussed and are mainly related to the techniques of recruitment employed (see Peña-Casanova et al., 2009). It is, however, important to point out that the current norms derive from several local Spanish samples who may not reflect the full diversity of cultural experiences of Spanish-speaking people. The data of this study could be used to assess Spanish-speaking subjects from different countries, provided that the subject's age and education are taken into account (Ostrosky-Solís, Lozano, Ramirez, & Ardila, 2007; Ramirez, Ostrosky-Solís, Fernández, & Ardila, 2005). Consequently, the clinician must determine the degree of similarity between the individual subject tested and the demographic characteristics of the normative sample when deciding whether to use NEURONORMA norms for a given subject.

Despite its limitations, this study reflects the largest normative study to date for neuropsychological performance of older Spanish subjects co-normed attention/WM tests. As this tasks are frequently multifactorial and overlap with other neuropsychological domains (e.g., executive functions, memory, switching capacity, mental tracking), future studies should analyze correlations between present tests (e.g., SDMT and TMT, as in McCaffrey, Krahula, Heimberg, Keller, & Purcell, 1988) and with other tests (e.g., Tower of London, Stroop Test) included in the NEURONORMA Battery.

Funding

This study was mainly supported by a grant from the Pfizer Foundation, and by the Medical Department of Pfizer, SA, Spain. It was also supported by the Behavioral Neurology group of the Program of Neuropsychopharmacology of the Institut Municipal d'Investigació Mèdica, Barcelona, Spain. J.P.-C. has received an intensification research grant from the CIBERNED (Centro de Investigación Biomédica en Red sobre Enfermedades Neurodegenerativas), Instituto Carlos III (Ministry of Health & Consumer Affairs of Spain).

Conflict of Interest

None declared.

Appendix

Members of the NEURONORMA.ES Study Team

Steering Committee: JP-C, Hospital del Mar, Barcelona, Spain; Rafael Blesa, Hospital de la Santa Creu i Sant Pau, Barcelona, Spain; Miguel Aguilar, Hospital Mútua de Terrassa, Terrassa, Spain.

Principal Investigators: JP-C, Hospital de Mar, Barcelona, Spain; Rafael Blesa, Hospital de la Santa Creu i Sant Pau, Barcelona, Spain; Miquel Aguilar, Hospital Mútua de Terrassa, Terrassa, Spain; Jose Luis Molinuevo, Hospital Clínic, Barcelona, Spain; Alfredo Robles, Hospital Clínico Universitario, Santiago de Compostela, Spain; María Sagrario Barquero, Hospital Clínico San Carlos, Madrid, Spain; Carmen Antúnez, Hospital Virgen Arrixaca, Murcia, Spain; Carlos Martínez-Parra, Hospital Virgen Macarena, Sevilla, Spain; Anna Frank-Garcia, Hospital Universitario La Paz, Madrid, Spain; Manuel Fernández, Hospital de Cruces, Bilbao, Spain.

Genetics Sub-Study: Rafael Oliva, Service of Genetics, Hospital Clínic, Barcelona, Spain.

Neuroimaging Sub-Study: Beatriz Gómez-Ansón, Radiology Department and IDIBAPS, Hospital Clínic, Barcelona, Spain. Research Fellows: Gemma Monte, Elena Alayrach, Aitor Sainz and Claudia Caprile, Fundació Clinic, Hospital Clinic, Barcelona, Spain; Gonzalo Sánchez, Behavioral Neurology Group. Institut Municipal d'Investigació Mèdica. Barcelona, Spain.

Clinicians, Psychologists, and Neuropsychologists: Nina Gramunt (coordinator), Peter Böhm, Sonia González, Yolanda Buriel, María Quintana, Sonia Quiñones, Gonzalo Sánchez, Rosa M. Manero, Gracia Cucurella, Institut Municipal d'Investigació Mèdica. Barcelona, Spain; Eva Ruiz, Mónica Serradell, Laura Torner, Hospital Clínic. Barcelona, Spain; Dolors Badenes, Laura Casas, Noemí Cerulla, Silvia Ramos, Loli Cabello, Hospital Mútua de Terrassa, Terrassa, Spain; Dolores Rodríguez, Clinical Psychology and Psychobiology Dept. University of Santiago de Compostela, Spain; María Payno, Clara Villanueva, Hospital Clínico San Carlos. Madrid, Spain; Rafael Carles, Judit Jiménez, Martirio Antequera, Hospital Virgen Arixaca. Murcia, Spain; Jose Manuel Gata, Pablo Duque, Laura Jiménez, Hospital Virgen Macarena. Sevilla, Spain; Azucena Sanz, María Dolores Aguilar, Hospital Universitario La Paz. Madrid, Spain; Ana Molano, Maitena Lasa, Hospital de Cruces. Bilbao, Spain.

Data Management and Biometrics: Josep Maria Sol, Francisco Hernández, Irune Quevedo, Anna Salvà, Verónica Alfonso, European Biometrics Institute. Barcelona, Spain.

Administrative Management: Carme Pla (†), Romina Ribas, Department of Psychiatry and Forensic Medicine, Universitat Autònoma de Barcelona, and Behavioral Neurology Group. Institut Municipal d'Investigació Mèdica. Barcelona, Spain.

English Edition: Stephanie Lonsdale, Program of Neuropsychopharmacology, Institut Municipal d'Investigació Mèdica, Barcelona, Spain.

References

Ardila
A.
Rosselli
M.
Neuropsychological characteristics of normal aging
Developmental Neuropsychology
 , 
1989
, vol. 
5
 (pg. 
307
-
320
)
Artiola
L.
Hermosillo
D.
Heaton
R.
Pardee
R. E.
Manual de normas y procedimientos para la batería neuropsicológica en español.
 , 
1999
Tucson, AZ
Press
Ashendorf
L.
Jefferson
A. L.
O'Connor
M. K.
Chaisson
C.
Green
R. C.
Stern
R. A.
Trail making test errors in normal aging, mild cognitive impairment, and dementia
Archives of Clinical Neuropsychology
 , 
2008
, vol. 
23
 (pg. 
129
-
137
)
Baddeley
A. D.
Working memory
 , 
1986
Oxford, England
Oxford University Press
Baddeley
A. D.
Working memory: Looking back and looking forward
Nature Reviews: Neuroscience
 , 
2003
, vol. 
4
 (pg. 
829
-
839
)
Banich
M. T.
Cognitive neuroscience and neuropsychology
 , 
2004
Boston
Houghton Mifflin
Banken
J. A.
Clinical utility of considering digits forward and digits backward as separate components of the Wechsler Adult Intelligence Scale-Revised
Journal of Clinical Psychology
 , 
1985
, vol. 
41
 (pg. 
686
-
691
)
Benton
A. L.
Hannay
H. J.
Varney
N.
Visual perception of line direction in patients with unilateral brain disease
Neurology
 , 
1975
, vol. 
25
 (pg. 
907
-
910
)
Benton
A. L.
Sivan
A. B.
Hamsher
K. S.
Varney
N. R.
Spreen
O
Contributions to neuropsychological assessment
1994
New York
Oxford University Press
Black
F. W.
Digit repetition in brain-damaged adults: Clinical and theoretical implications
Journal of Clinical Psychology
 , 
1986
, vol. 
42
 (pg. 
770
-
782
)
Black
F. W.
Strub
R. L.
Digit repetition in patients with focal brain damage
Cortex
 , 
1978
, vol. 
14
 (pg. 
12
-
21
)
Bornstein
R. A.
Normative data on selected neuropsychological measures from a clinical sample
Journal of Clinical Psychology
 , 
1985
, vol. 
41
 (pg. 
651
-
659
)
Bornstein
R. A.
Suga
L. J.
Educational level and neuropsychological performance in healthy elderly subjects
Developmental Neuropsychology
 , 
1988
, vol. 
4
 (pg. 
17
-
22
)
Botwinick
J.
Storand
M.
Memory related functions and age
 , 
1974
Springfield, IL
Charles C. Thomas
Buchsbaum
B. R.
Olsen
R. K.
Koch
P.
Berman
K. F.
Human dorsal and ventral auditory streams subserve rehearsal-based and echoic processes during verbal working memory
Neuron
 , 
2005
, vol. 
48
 (pg. 
687
-
697
)
Buschke
H.
Selective reminding for analysis of memory and learning
Journal of Verbal Learning and Verbal Behavior
 , 
1973
, vol. 
12
 (pg. 
543
-
550
)
Buschke
H.
Cued recall in amnesia
Journal of Clinical Neuropsychology
 , 
1984
, vol. 
6
 (pg. 
433
-
440
)
Canavan
A. G. M.
Passingham
R. E.
Marsden
C. D.
Quinn
N.
Wyke
M.
Polkey
C. E.
Sequence ability in parkinsonians, patients with frontal lobe lesions and patients who have undergone unilateral temporal lobectomies
Neuropsychologia
 , 
1989
, vol. 
27
 (pg. 
787
-
798
)
Cherner
M.
Suarez
P.
Posada
C.
Fortuny
L. A.
Marcotte
T.
Grant
I.
, et al.  . 
Equivalence of Spanish language versions of the Trail Making Test Part B including or excluding “CH”
The Clinical Neuropsychologist
 , 
2008
, vol. 
22
 (pg. 
662
-
665
)
Cohen
R. A.
The neuropsychology of attention
 , 
1993
New York
Plenum Press
Crawford
J. R.
Wright
R.
Bate
A.
Verbal, figural and ideational fluency in CHI
International Neuropsychological Society and Australian Society for the Study of Brain Impairment, 2nd Pacific Rim Conference
 , 
1995
, vol. 
Vols. 1
 
Cairns: Australia
pg. 
321
 
Crowe
S. F.
The differential contribution of mental tracking, cognitive flexibility, visual search, and motor speed to performance on parts A and B of the Trail Making Test
Journal of Clinical Psychology
 , 
1998
, vol. 
54
 (pg. 
585
-
591
)
Crowe
S. F.
Does the letter number sequencing task measure anything more than digit span?
Assessment
 , 
2000
, vol. 
7
 (pg. 
113
-
117
)
Culbertson
W. C.
Zillmer
E. A.
Tower of London. Drexel University. TOLDX
 , 
2001
North Tonawanda, NY
Multi-Health Systems
De Renzi
E.
Faglioni
P.
Development of a shortened version of the Token Test
Cortex
 , 
1978
, vol. 
14
 (pg. 
41
-
49
)
Del Ser
T.
García de Yébenes
M. J.
Sánchez
F.
Frades
B.
Rodríguez
A.
Bartolomé
M. P.
, et al.  . 
Cognitive assessment in the elderly. Normative data of a Spanish population sample older than 70 years
Medicina Clínica
 , 
2004
, vol. 
122
 (pg. 
727
-
740
)
Emery
L.
Myerson
J.
Hale
S.
Age differences in item manipulation span: the case of Letter-Number Sequencing
Psychology and Aging
 , 
2007
, vol. 
22
 (pg. 
75
-
83
)
Ernst
J.
Neuropsychological problem-solving skills in the elderly
Psychology and Aging
 , 
1987
, vol. 
2
 (pg. 
363
-
365
)
Ernst
J.
Warner
H. M.
Townes
B. D.
Peel
J. H.
Preston
M.
Age group differences on neuropsychological battery performance in a neuropsychiatric population: an international descriptive study with replications
Archives of Clinical Neuropsychology
 , 
1987
, vol. 
2
 (pg. 
1
-
12
)
Fernández
A. L.
Marcopulos
B.
A comparison of normative data for the Trail Making Test from several countries: Equivalence of norms and considerations for interpretation
Scandinavian Journal of Psychology
 , 
2008
, vol. 
49
 (pg. 
239
-
246
)
Gilmore
G. C.
Royer
F. L.
Gruhn
J. J.
Age differences in symbol-digit substitution task performance
Journal of Clinical Psychology
 , 
1983
, vol. 
39
 (pg. 
117
-
124
)
Gilmore
G. C.
Royer
F. L.
Gruhn
J. J.
Age differences in symbol-digit substitution task performance
Journal of Clinical Psychology
 , 
1983
, vol. 
39
 (pg. 
114
-
124
)
Giovagnioli
A. R.
Del Pesce
M.
Mascheroni
S.
Simoncelli
M.
Laiacona
M.
Capitani
E.
Trail Making Test: Normative data values from 287 normal adult controls
Italian Journal of Neurological Sciences
 , 
1996
, vol. 
17
 (pg. 
305
-
309
)
Golden
C. J.
Stroop color and word test
 , 
1978
Chicago
Stoelting
Haut
M. W.
Kuwabara
H.
Leach
S.
Arias
R. G.
Neural activation during performance of number-letter sequencing
Applied Neuropsychology
 , 
2000
, vol. 
7
 (pg. 
237
-
242
)
Hazy
T. E.
Frank
M. J.
O'Reilly
R. C.
Banishing the homunculus: making working memory work
Neuroscience
 , 
2006
, vol. 
139
 (pg. 
105
-
118
)
Hester
R. L.
Kinsella
G. J.
Ong
B.
Effect of age on forward and backward span tasks
Journal of the International Neuropsychological Society
 , 
2004
, vol. 
10
 (pg. 
475
-
481
)
Hester
R. L.
Kinsella
G. J.
Ong
B.
McGregor
J.
Demographic influences on baseline and derived scores from the Trail Making Test in healthy older Australian adults
The Clinical Neuropsychologist
 , 
2005
, vol. 
19
 (pg. 
45
-
54
)
Hickman
S. E.
Howieson
D. B.
Dame
A.
Sexton
G.
Kaye
J.
Longitudinal analysis of the effects of the aging process on neuropsychological test performance in the healthy young-old and oldest-old
Developmental Neuropsychology
 , 
2000
, vol. 
17
 (pg. 
323
-
337
)
Horton
A. M.
Roberts
C.
Demographic effects on the Trail Making Test in a drug abuse treatment sample
Archives of Clinical Neuropsychology
 , 
2003
, vol. 
18
 (pg. 
310
-
213
)
Howieson
D. B.
Holm
L. A.
Kaye
J. A.
Oken
B. S.
Howieson
J.
Neurologic function in the optimally healthy oldest old: neuropsychological evaluation
Neurology
 , 
1993
, vol. 
43
 (pg. 
1882
-
1886
)
Ivnik
R. J.
Malec
J. F.
Smith
G. E.
Tangalos
E. G.
Petersen
R. C.
Kokmen
E.
, et al.  . 
Mayo's Older Americans Normative Studies: WAIS-R norms for ages 56 to 97
The Clinical Neuropsychologist
 , 
1992
, vol. 
6
 
Suppl.
(pg. 
1
-
30
)
Jorm
A. F.
Anstey
K. J.
Christensen
H.
Rodgers
B.
Gender differences in cognitive abilities: The mediating role of health state and health habits
Intelligence
 , 
2004
, vol. 
32
 (pg. 
7
-
23
)
Joy
S.
Kaplan
E.
Fein
D.
Speed and memory in the WAIS-III Digit Symbol-Coding subtest across the adult lifespan
Archives of Clinical Neuropsychology
 , 
2004
, vol. 
19
 (pg. 
759
-
767
)
Kaplan
E.
Fein
D.
Morris
R.
Delis
D.
WAIS-R as a neuropsychological instrument
 , 
1991
San Antonio, TX
The Psychological Corporation
Kaplan
E.
Goodglass
H.
Weintraub
S.
The Boston naming test
 , 
2001
2nd ed.
Philadelphia
Lippincott Williams & Wilkins
Kaufman
A. S.
McLean
J. E.
Reynolds
C.
Sex, race, residence, region, and education differences on the 11 WAIS-R subtests
Journal of Clinical Psychology
 , 
1988
, vol. 
44
 (pg. 
231
-
248
)
Larrabee
G. J.
Kane
R. L.
Reversed digit repetition involves visual and verbal processes
International Journal of Neuroscience
 , 
1986
, vol. 
30
 (pg. 
11
-
15
)
Lezak
M. D.
Howieson
D. B.
Loring
D. W.
Neuropsychological assessment
 , 
2004
4th ed.
New York
Oxford University Press
Lucas
J. A.
Ivnik
R. J.
Smith
G. E.
Ferman
T. J.
Willis
F. B.
Petersen
R. C.
, et al.  . 
Mayo's Older African Americans Normative Studies: Norms for Boston Naming Test, Controlled Oral Word Association, Category Fluency, Animal Naming, Token Test, Wrat-3 Reading, Trail Making Test, Stroop Test, and Judgment of Line Orientation
The Clinical Neuropsychologist
 , 
2005
, vol. 
19
 (pg. 
243
-
269
)
McCaffrey
R. J.
Krahula
M. M.
Heimberg
R. G.
Keller
K. E.
Purcell
M. J.
A comparison of the Trail Making Test, Symbol Digit Modalities Test and the Hooper Visual Organization Test in an inpatient substance abuse population
Archives of Clinical Neuropsychology
 , 
1988
, vol. 
3
 (pg. 
181
-
187
)
Miller
G. A.
The magical number seven, plus or minus two: Some limits to our capacity for processing information
Psychological Review
 , 
1956
, vol. 
63
 (pg. 
81
-
97
)
Milner
B.
Interhemispheric differences in the localization of psychological processes in man
British Medical Bulletin
 , 
1971
, vol. 
27
 (pg. 
272
-
277
)
Milner
B.
Disorders of learning and memory after temporal lobe lesions in man
Clinical Neurosurgery
 , 
1972
, vol. 
19
 (pg. 
421
-
446
)
Mitrushina
M.
Boone
K. B.
Razani
J.
D'Elia
L. F.
Handbook of normative data for neuropsychological assessment
 , 
2005
2nd ed
New York
Oxford University Press
Mittenberg
W.
Seindenberg
M.
O'Leary
D. S.
DiGiuglio
D. V.
Changes in cerebral functioning associated with normal aging
Journal of Clinical and Experimental Neuropsychology
 , 
1989
, vol. 
11
 (pg. 
918
-
932
)
Mueller
J. H.
Overcast
T. D.
Free recall as function of test anxiety, concreteness, and instructions
Bulletin of the Psychonomic Society
 , 
1976
, vol. 
8
 (pg. 
194
-
196
)
Mungas
D.
Marshall
S. C.
Weldon
M.
Haan
M.
Reed
B. R.
Age and education correction of Mini-Mental State Examination for English and Spanish-speaking elderly
Neurology
 , 
1996
, vol. 
46
 (pg. 
700
-
706
)
Myerson
J.
Emery
L.
White
D. A.
Hale
S.
Effects of age, domain, and processing demands on memory span: evidence for differential decline
Aging, Neuropsychology, and Cognition
 , 
2003
, vol. 
10
 (pg. 
20
-
27
)
Olazarán
J.
Jacobs
D. D.
Stern
Y.
Comparative study of visual verbal short-term memory in English and Spanish speakers: testing a linguistic hypothesis
Journal of International Neuropsychological Society
 , 
1996
, vol. 
2
 (pg. 
105
-
110
)
Orsini
A.
Chiacchio
L.
Cinque
M.
Cocchiara
C.
Schiappa
O.
Grossi
D.
Effects of age, education and sex on two tests of immediate memory: a study of normal subjects form 20-90 years old age
Perceptual and Motor Skills
 , 
1986
, vol. 
63
 (pg. 
727
-
732
)
Orsini
A.
Grossi
D.
Capitani
E.
Laiacoma
M.
Papagno
C.
Vallar
G.
Verbal and spatial immediate memory span: normative data from 1355 adults and 1112 children
Italian Journal of Neurological Sciences
 , 
1987
, vol. 
8
 (pg. 
539
-
548
)
Osterrieth
P. A.
Le test de copie d'une figure complexe: Contribution è l’étude de la perception et la mémoire
Archives de Psychologie
 , 
1944
, vol. 
30
 (pg. 
286
-
356
)
Ostrosky-Solís
F.
Lozano
A.
Ramirez
M.
Ardila
A.
Same or different? Semantic verbal fluency across Spanish-speakers from different countries
Archives of Clinical Neuropsychology
 , 
2007
, vol. 
22
 (pg. 
367
-
377
)
Partington
J.
Leiter
R.
Partington's pathways test
The Psychological Service Center Bulletin
 , 
1949
, vol. 
1
 (pg. 
9
-
20
)
Pauker
J.
Constructing overlapping cell tables to maximize the clinical usefulness of normative test data: rationale and an example from neuropsychology
Journal of Clinical Psychology
 , 
1988
, vol. 
44
 (pg. 
930
-
933
)
Peña-Casanova
J.
Programa Integrado de Exploración Neuropsicológica. Test Barcelona-Revisado [Integrated program of neuropsychological assessment—Revised Barcelona Test]
 , 
2005
Barcelona
Masson
Peña-Casanova
J.
Blesa
R.
Aguilar
M.
Gramunt-Fombuena
N.
Gómez-Ansón
B.
Oliva
R.
, et al.  . 
for The Neuronorma Study Team.
Spanish Multicenter Normative Studies (NEURONORMA project): Methods and sample characteristics
Archives of Clinical Neuropsychology
 , 
2009
, vol. 
24
 (pg. 
307
-
319
)
Periáñez
J. A.
Ríos-Lago
M.
Rodríguez-Sánchez
J. M.
Adrover-Roig
D.
Sánchez-Cubillo
I.
Crespo-Farroco
B.
, et al.  . 
Trail Making Test in traumatic brain injury, schizophrenia, and normal ageing: Sample comparisons and normative data
Archives of Clinical Neuropsychology
 , 
2007
, vol. 
22
 (pg. 
433
-
447
)
Postle
B. R.
Working memory as an emergent property of the mind and brain
Neuroscience
 , 
2006
, vol. 
139
 (pg. 
23
-
38
)
Ramier
A. M.
Hécaen
H.
Role respectif des atteintes frontales et de la latéralisation lésionnelle dans les déficits de la fluence verbale
Revue Neurologique
 , 
1970
, vol. 
132
 (pg. 
17
-
22
)
Ramirez
M.
Ostrosky-Solís
F.
Fernández
A.
Ardila
A.
Fluidez verbal semántica en hispanohablantes: un análisis comparativo [Semantic verbal fluency in Spanish-speaking people: a comparative analysis]
Revista de Neurología
 , 
2005
, vol. 
41
 (pg. 
463
-
468
)
Rasmusson
D. X.
Zonderman
A. B.
Kawas
C.
Resnick
S. M.
Effects of age and dementia on the Trail Making Test
The Clinical Neuropsychologist
 , 
1998
, vol. 
12
 (pg. 
169
-
178
)
Reitan
R. M.
Wolfson
D.
The Halstead–Reitan neuropsychological test battery. Theory and clinical interpretation
 , 
1985
2nd ed.
Tucson, AZ
Neuropsychology Press
Reitan
R. M.
Wolfson
D.
The Halstead-Reitan neuropsychological test battery. Theory and clinical interpretation
1993
2nd. ed
Tucson, AZ
Neuropsychology Press
Rey
A.
L'examen psychologique dans les cas d'encéphalopathie traumatique
Archives de Psychologie
 , 
1941
, vol. 
28
 (pg. 
286
-
340
)
Richardson
E. D.
Marottoli
R. A.
Education-specific normative data on common neuropsychological indices for individuals older than 75 years
The Clinical Neuropsychologist
 , 
1996
, vol. 
10
 (pg. 
375
-
381
)
Ruff
R. M.
Evans
R.
Marshall
L. F.
Impaired verbal and figural fluency after head injury
Archives of Clinical Neuropsychology
 , 
1986
, vol. 
1
 (pg. 
87
-
101
)
Ryan
J. J.
Sattler
J. M.
Lopez
S. J.
Age effects on Wechsler Adult Intelligence Scale-III subtests
Archives of Clinical Neuropsychology
 , 
2000
, vol. 
15
 (pg. 
311
-
317
)
Salthouse
T. A.
Toth
J.
Daniels
K.
Parks
C.
Wolbrette
M.
Hocking
K. J.
Effects of aging on efficiency of task switching in a variant of the Trail Making Test
Neuropsychology
 , 
2000
, vol. 
14
 (pg. 
102
-
111
)
Schear
J. M.
Sato
S. D.
Effects of visual acuity and visual motor speed and dexterity on cognitive test performance
Archives of Clinical Neuropsychology
 , 
1989
, vol. 
4
 (pg. 
25
-
32
)
Sheridan
L. K.
Fitzgerald
H. E.
Adams
K. M.
Nigg
J. T.
Martel
M. M.
Puttler
L. I.
, et al.  . 
Normative symbol digit modalities test performance in a community-based sample
Archives of Clinical Neuropsychology
 , 
2006
, vol. 
21
 (pg. 
23
-
28
)
Shum
D. H. K.
McFarland
K. A.
Bain
J. D.
Construct validity of eight tests of attention: Comparison of normal and closed head injured samples
The Clinical Neuropsychologist
 , 
1990
, vol. 
4
 (pg. 
151
-
162
)
Silverberg
N. H.
Millis
S. R.
Impairment versus deficiency in neuropsychological assessment: implications for ecological validity
Journal of the International Neuropsychological Society
 , 
2009
, vol. 
15
 (pg. 
94
-
102
)
Smirni
P.
Villardita
G.
Zappala
G.
Influence of different paths on spatial memory performance in the Block Tapping Test
Journal of Clinical Neuropsychology
 , 
1983
, vol. 
5
 (pg. 
355
-
360
)
Smith
A.
Symbol Digit Modalities Test. Manual
 , 
1973
Los Angeles
Western Psychological Services
Smith
A.
[1st ed., 1973]. Symbol digit modalities test. Manual
 , 
1982
Los Angeles, CA
Western Psychological Services
Smith
A.
Test de símbolos y dígitos [Symbol and Digit Test]
 , 
2002
Madrid
TEA Ediciones S.A
Soukup
V. M.
Ingram
F.
Grady
J. J.
Schiess
M. C.
Trail Making Test: Issues in normative data selection
Applied Neuropsychology
 , 
1998
, vol. 
5
 (pg. 
65
-
73
)
Spitz
H. H.
Note on immediate memory for digits: invariance over the years
Psychological Bulletin
 , 
1972
, vol. 
78
 (pg. 
183
-
185
)
Steinberg
B. A.
Bieliauskas
L. A.
Smith
G. E.
Ivnik
R. J.
Mayo's Older Americans Normative Studies: Age- and IQ-Adjusted Norms for the Trail Making Test, the Stroop Test, and MAE Controlled Oral Word Association Test
The Clinical Neuropsychologist
 , 
2005
, vol. 
19
 (pg. 
329
-
377
)
Strauss
E.
Sherman
E. M. S.
Spreen
O.
A compendium of Neuropsychological Tests. Administration, norms, and commentary
 , 
2006
New York
Oxford University Press
Stroop
J. R.
Studies of interference in serial verbal reaction
Journal of Experimental Psychology
 , 
1935
, vol. 
18
 (pg. 
643
-
662
)
Stuss
D. T.
Stethem
L. L.
Poirier
C. A.
Comparison of three tests of attention and rapid information processing across six age groups
The Clinical Neuropsychologist
 , 
1987
, vol. 
1
 (pg. 
139
-
152
)
Stuss
D. T.
Stethem
L. L.
Hugenholtz
H.
Richard
M. T.
Traumatic brain injury: a comparison of three clinical tests, and analysis of recovery
The Clinical Neuropsychologist
 , 
1989
, vol. 
3
 (pg. 
145
-
156
)
Tombaugh
T. N.
Trail making test A and B: Normative data stratified by age and education
Archives of Clinical Neuropsychology
 , 
2004
, vol. 
19
 (pg. 
203
-
214
)
Warrington
E. K.
James
M.
Visual object and space perception battery
 , 
1991
Suffolk
Thames Valley Test Co
Wechsler
D.
Wechsler Memory Scale – Revised. Manual
 , 
1987
San Antonio, TX
The Psychological Corporation
Wechsler
D.
Wechsler Adult Intelligence Scale-Third Edition (WAIS-III). Administration and scoring manual
 , 
1997
San Antonio, TX
The Psychological Corporation
Wechsler
D.
Escala de memoria de Wechsler-III. Manual Técnico
 , 
2004
Madrid
TEA Ediciones
Wechsler
D.
Escala de memoria de Wechsler-III. Manual de aplicación y puntuación
 , 
2004
Madrid
TEA Ediciones
Wecker
N. S.
Kramer
J. H.
Wisniewski
A.
Delis
D. C.
Kaplan
E.
Age effects on executive ability
Neuropsychology
 , 
2000
, vol. 
14
 (pg. 
409
-
414
)

Author notes

Deceased.
For the NEURONORMA.ES Study Team members, see Appendix.