Five Impact-busting myths about Learning & Development

Back in 1994,  I wrote a book with colleague Steve Gill titled The Learning Alliance: Systems Thinking in Human Resource Development. The premise of this book is “…that learning adds value and improves human performance only when it is viewed and managed as an integral process within a larger system…”

In that book, we identified Five Myths about which we said “… the more that these myths are believed and practiced, the less likely it is that L&D will be producing value.” (p. 40).

Here are the myths and what we said about them back then. Fast forward now nearly 30 years. To what extent have we busted these myths? Are they still shaping practice in ways that they impede value? Or have we moved beyond them?

What do you think?

  1. Training makes a difference
    In our impact evaluation studies of training programs (leadership development, manager skills, etc., etc)  we always – always! – find that in the same program, some people used their training to produce worthwhile results, and some did not. But the training was nominally the same for all of them. What makes for the difference?  What makes the difference is almost always in the “before” and after” environment how were they prepared for and introduced to the training; what were expectations for their using it, or not; what kind of support did they get to apply their learning, and so forth.
  1. The purpose of training is to achieve learning objectives
    Nearly all the books and articles you can find about training design talk at great length about the need to express learning objectives in clear, concrete, and especially measurable terms. Good advice, as far as it goes; but too many practitioners let the story end there. New learning only provides the capability. What turns capability into value is behaviors – application of the learning in new or improved performance. A focus only or even mostly on learning frustrates value.
  1. The L&D professional’s job is to manage successful training programs
    The fallacy in this myth lies not in the word successful, but in the word programs. The training business is flooded to the gills with training programs and content – with more vendors selling more programs and content every day.  The myth extends to the habitual belief that processing people though these programs with efficiency is the L&D department’s job. Wrong, if it ends there. The job is to help the client organization use learning (the stuff that is presumably in these programs) to accelerate the execution of important change and strategic initiatives.
  1. Training is L&D’s job
    Most larger companies in the world have a training department. This fact attests to the emergence of training as a profession and the importance of the role in today’s organization. (Note: back then there was no such thing as a CLO). The implication of the name on the door is that the function therein is responsible for producing the performance improvement and results that are the reason for training’s existence. But turning learning into performance requires an alliance wherein trainees supervisors, their managers, and senior leadership all have a role to play in making sure that there is alignment, focus, intentionality, and accountability for the performance focus and support that must be embedded within the training initiative. In short, it takes a village to get results from training.  Delegating learning and performance accountability to the L&D function is a fool’s errand.
  1. Trainees should enjoy the training they receive.
    No quarrel with the premise that training is often (though not always) more effective when it is enjoyable, and we certainly do not promote learning designs that are on a par with root canals. But focusing on satisfaction (think the ubiquitous “level one” survey) is the value-buster.. At the root of this myth is confusion about who are the rightful customers of training. If training is meant to help the business perform, then the legitimate customer for training is senior leadership and the managers of trainees – those who are accountable for the goals that trainee performance should be helping to drive, that the training is presumably meant to impact.

Busted myths?

To what extent have we busted these myths? Please let us know your thoughts by voting at our mentimeter poll: VOTE HERE!

The results:

Increase ROI of Soft Skills training – and make it more measurable to boot

The beauty of soft skills – E.g., active listening, conflict management, giving and receiving feedback, etc. – is that they can be used in so many ways and places. The problem with soft skills is that they can be used in so many ways and places.  And this paradoxical conundrum lies at the heart of why we L&D folks struggle with evaluating soft skills training, and why so much soft skills training has earned a bad – but based in truth – rap that it doesn’t work very well.

Soft skills like those mentioned above can really pay off when they are used at the right time and place, or they can be nearly worthless if they are not used at all, or not at the right time. This is why those of us who subscribe to the High-Performance Learning Journey (HPLJ) principles always build an extra high-yield element into our learning journeys.

Deploying your new skills

Imagine for a moment that you have taken some training in listening skills – one of the softest of these so-called soft skills. So now that you have mastered some listening skills, what are you going to listen to better? A podcast? The conversation taking place in the cubicle next to yours? The football game you’re watching on TV while your domestic partner would like to have a word about your continuing predilection to leave your socks on the bedroom floor? Exactly when, and where, and especially why, are you going to deploy your new skills?

Or imagine this more concrete scenario: Your teen-aged child wants some advice from you about how to help a depressed school classmate, and at the same time your phone rings and it is a cold-call insurance sales representative who asks some questions about your financial security.  I’m going to go out on a limb here and bet that you will decide that talking with your teenager is a higher priority moment to deploy your new listening skills.

Moments that matter

So what makes this the better choice? It is all about the importance of the moment, and the extent to which it enables you to accomplish a goal that is worthwhile to you. This request of your teenager is what we call in our HPLJ lexicon a “moment-that-matters” (MTM).  And your ability to identify and prioritize what that moments-that-matter are in your life are the key to using soft skills to improve your performance.

Here are some likely MTMs in some different job roles where a listening skill might really payoff:

  • An HR member assigned to conduct exit interviews with disgruntled employees in an organization that is facing a talent drain and doesn’t understand why people are departing.
  • A large-account sales rep has been asked by a key sales prospect to meet to discuss a possible application of their high-margin product in a new venture.
  • A manager of a business unit with dropping performance is meeting with a group of employees who have some ideas on how to increase production.
  • A trusted colleague offers to give you some advice on how to motivate your new team member, a person with whom she has worked in the past.

A moment-that-matters is a scenario in a person’s job where, if that MTM is executed effectively, will help achieve a worthwhile goal, and afford an opportunity to use a newly learned skill.  These MTMs will vary, of course: among job roles, within daily variations in job circumstances, and according to different people’s natural skill strengths and weaknesses.

Soft skills need impact-assuring elements

For sure, the success of any soft-skill training program depends on whether your program is efficacious enough to build the soft skills it aims at. But in most programs worth their salt that efficacy is a given; it is the easy part.  The make-or-break part for payoff comes when participants are back into their jobs – using, or not using, their new skills. And given the poor track record of typical soft-skill training transfer, this means we need impact-assuring elements in our soft-skills initiatives.

This is the key to make sure you milk your soft-skill programs for every ounce of ROI it can produce. Build in plenty of tools and exercises that will help participants analyze their own job performance needs and circumstances and then identify their unique and key MTMs where their new soft-skill expertise can be deployed fruitfully. Structure practice opportunities so they can try them out; first in safer MTM-like circumstances, and later in increasingly more challenging actual MTMs. This makes soft skills “hard” – easy for participants to apply in ways that will pay off, and easy to measure and evaluate.

Låt inte kalendern avgöra vem som får vilken utbildning, när!

När vi genomför utvärderingsstudier kring effekt av utbildning, intervjuar vi alltid både de deltagare som fick bra resultat från att tillämpa sitt lärande, och även dem som fick lite eller inget värde.

Vi vet att framgången med utbildningsinsatser beror på mycket mer än bara kvalitéten på själva utbildningsinnehållet och träningsmetoderna. Med detta sagt försöker vi därmed alltid att identifiera de kontextuella faktorer som hjälpte till att stödja framgången för deltagaren och de faktorer som hindrade framgång. 

En uppenbar lärdom

Vi lär oss mycket om när utbildning fungerar, varför det fungerar och när det inte fungerar, vad som kommer i vägen med mera. Och en lärdom är så enkel och uppenbart att det är lätt att förbise den.Vad är det då för lärdom jag talar om? Läs följande två intervjuutdrag så kan du nog lista ut det själv.Bakgrund: Programmet vi utvärderade var en team-building och ledarskapsutbildning för högpotentialledare i ett mångsidigt, globalt Fortune 50 företag. 

Deltagare A: Använde utbildningen ofta under de senaste sex månaderna och satte ihop ett team som öppnade en ny marknad i Asien som är överträffar konkurrenter och rankas inom topp 15% av nyförsäljningen i hela företaget. 

Intervjuare: “Du har utan tvekan genomgått utbildningar i din karriär som inte riktigt hjälpt dig i ditt arbete, men den här, enligt dig, var enormt hjälpsam. Vad tror du var skillnaden? Varför visade sig denna vara så bra för dig?”

Deltagare A: “Det har du rätt i. Jag har tillbringat mycket tid i olika utbildningar tidigare som ärligt talat var ett slöseri med min tid. Men den här erbjöds mig vid exakt rätt tidpunkt. Det var inte som att innehållet var helt nytt för mig; Jag har en MBA och hade hört det mesta förut. Men, jag hade just fått en ny ledarroll inom en utmanande affärsenhet. Verktygen, övningarna, och den feedback jag fick från detta program var precis vad jag behövde för att minnas och använda mig av verktygen vid precis rätt tidpunkt för mig. Denna utbildning var min “stöttepelare” som fick mig genom de första tre månaderna med att sätta ihop ett nytt team och åter motivera de äldre gruppmedlemmarna. Utan denna utbildning vill jag knappt tänka på vad som kan ha hänt. Det kunde ha varit dåligt.”

Deltagare B:  Fick samma träning i samma grupp och tillfälle som deltagare A, men gjorde ingen nytta av den.

Intervjuare: “Vi ville prata med dig eftersom du, liksom några andra i detta program, inte verkade få något värde från det? Vad tror du gick snett?”

Deltagare B: “Ja, det var verkligen inget fel av varken utbildningsledare eller programmet. Det allt var rätt bra enligt min mening. Jag har verkligen sett värre i min karriär. Men på den tiden var jag tjänstledig i sex veckor för att försöka reda ut några familjeproblem. För att vara ärlig, var mina tankar någon annanstans, och jag hade bara ingen mental plats för att göra någon form av förändring. Lyckligtvis rullade mitt arbete på okej på egen hand. Vi var relativt stadiga i försäljning och marginaler, och mitt team var bra på att hålla status quo. I efterhand skulle jag aldrig ha anmält mig till programmet. Men, jag tänkte att jag har lite tid över, så varför inte göra något åtminstone. Så jag anmälde mig.”

Där har du det. Svaret på vår enkla lärdom. Under våra decennier med att göra dessa konsekvensstudier har deltagare A och deltagare B blivit väldigt bekanta!  Vi kan inte räkna de gånger, när vi frågar “Så, hur kom det sig att du deltog i detta program?” att vi hör något i stil med “Tja, det passar min kalender ganska bra – Jag hade lite tid och möjlighet, så jag anmälde mig.”

Vårt råd? Hitta några exempel på deltagare A och Deltagare B i din egen organisation. Berätta deras historia, och ge råd till dina beställare och kunder att om de vill få faktiskt nytta av sina utbildningsinvesteringar,  så låt behov och möjligheten att tillämpa utbildningen driva anmälningar – inte kalendrar! 

Utnyttja L&D investeringar till värdefull affärsnytta

En vis man påstås ha sagt att ju mer saker förändras, desto mer förblir de likadana. Den utmaning som utbildare står inför i dag är både densamma och samtidigt föränderlig. Vad som förblir detsamma är att utbildaren måste producera värdefulla affärsresultat. Förändringen är att de måste producera dem snabbare än någonsin, med större inverkan från minskande resurser. Skiftande globala marknader, nya tekniker och osäkra ekonomiska förhållanden kräver att organisationer utvecklar nya strategiska prioriteringar allt oftare.  Den ännu större utmaningen är att få anställda att genomföra dessa nya initiativ som införs allt oftare.

Men utbildning som en organisatorisk funktion är fortfarande fast med den grundläggande svaghet den har haft i årtionden. Forskning, och våra egna dussintals utvärderingsstudier, visar att mindre än 20 procent av utövarna tar vad de lärt sig på utbildningar tillbaka till jobbet och använder den på ett sätt som är i linje med strategiska mål. Därmed kommer mindre än 20 procent att använda kompetensen för att uppnå värdefulla resultat för sina företag.

Om vi ser på utbildning som bara ett slags personalförmån, då kanske dessa resultat är acceptabelt. Ett som är säkert är att lärande och utveckling har ett värde för personalen. Det är omöjligt att rekrytera, utveckla och behålla medarbetare utan den. Men att utforma utbildning som endast en personalförmån är ett ödesdigert fel, för det kommer alltid att vara bara en kostnad och en sårbar omkostnad.

Oundvikliga nya affärsscenarier – en sammanslagning, en ny produktlansering eller till exempel  en ny strategisk inriktning – kräver utbildning som fungerar för att uppnå 80 % och bättre effektfrekvens. Alltför många företag verkar satsa verksamhetens framgång på felaktig utbildning. Utbildning måste driva prestationsförändring och förbättring. Om den inte gör det dör strategiska initiativ av att inte bli verkställda. Vid en 20% effekt-takt av utbildning kommer strategin redan hunnit bli föråldrad innan den större massan faktiskt börjat verkställa den.

Goda nyheter och dåliga nyheter

Under de senaste åren har vi grävt djupt i orsakerna till dålig utbildning och utveckling.

Vi upptäcker nästan alltid att en viss andel av deltagarna tillämpar kritiska delar av sitt nya lärande i förbättrade arbetsprestationer som gör betydande bidrag till viktiga affärsmål och strategier. Den goda nyheten är att utbildning fungerar. Den dåliga nyheten är att den inte fungerar tillräckligt bra av tiden med tillräckligt många deltagare, vilket gör att det typiska utbildningsinitiativet lämnar en hel del effekt – och därigenom en massa pengar- kvar på bordet.

Det finns dock fler goda nyheter. Skälen till att denna större andel av deltagarna inte effektivt tillämpar sin utbildning är INTE att utbildningen i sig är ett misslyckande; vi vet redan att det fungerar för vissa människor mycket bra. Majoriteten av deltagarna som inte tillämpar sitt lärande (dvs. inte utför de strategiska beteenden som önskas) inte misslyckas eftersom de inte lär sig rätt saker. Istället misslyckades de med att tillämpa vad de lärt sig eftersom de alltför ofta stött på en eller flera negativa prestationsfaktorer. När vi gör ett bättre jobb med att hantera dessa viktiga prestationsfaktorer, ser vi dramatiskt förbättrade resultat: fler människor som använder sin utbildning precis som de få bästa gjorde.

Här är några av de viktigaste faktorerna vi stöter på som anledning till varför utbildning misslyckas:

  • Ledande befattningshavare förstod inte eller tror på affärsbehovet av utbildningen och därmed misslyckats med att stödja det rigoröst och grundligt
  • Deltagare skickades till utbildningen utan adekvata förberedelser; de hade inte en tydlig riktlinje om varför utbildningen var viktig, exakt vad de mest behövde lära sig, och hur de kunde använda den för att driva sina (och deras affärsenhets) prestation
  • Deltagarna fick utbildning vid fel tidpunkt, när de inte var i ett läge att göra det bästa av det i sitt arbete. Kalendern, inte deras behov, drev deras engagemang.
  • Chefer stöttade inte, förstärkte inte eller höll anställda ansvariga för att de använder sitt nya lärande i sina arbeten
  • Cheferna för deltagarnas chefer underlät att hålla sina direkta rapporterande ansvariga för coaching och stödja sina anställdas ansträngningar att tillämpa sin utbildning
  • Incitament och andra prestationsfaktorer var inte anpassade för att tillämpa kunskapen i nya jobb-beteenden

Observera att ingen av dessa felorsaker är centrerade i utbildningshändelserna och materialen; de är misslyckanden i “det operativa arbetet”. Och de kan relativt enkelt mildras och hanteras positivt, som våra högpresterande deltagare har visat, gång på gång.

Komma ut ur den onda cirkeln

Det finns två fronter där vi måste kämpa för att vända utbildningsresultaten. För det första måste vi utöka vårt tänkande utöver att bara leverera ett kraftfullt utbildningstillfälle, och hantera den större processen med att få ledande befattningshavare inblandade, få chefer att förbereda och stödja deltagarna, och så vidare. Detta hjälper oss att förbättra resultaten, för en stund.

Detta tar oss till den andra fronten. Vi måste börja en långsiktig strategi för att utbilda den större organisationen och förändra det sätt som utbildning uppfattas och hanteras. Att få effekt från utbildning är hela organisationens ansvar, eftersom det kritiskt faktorer för att lyckas ligger utanför L&D funktionen. Ansvaret för utbildningarnas inverkan och resultat kan inte delegeras till en L&D-avdelning/utbildningsavdelning. Att lära sig denna läxa och påbörja den kulturella omvandlingen ligger dock helt och hållet i våra knän. Utvärdering och mätning är de verktyg som bäst kan hjälpa oss att påbörja och slutföra resan.

Vi måste vara obevekliga när det gäller att mäta och utvärdera de resultat vi får; inte bara mäta verksamhetens effekt av utbildningen, men bedöma vem som gjorde vad som ska hjälpa (eller hindra) påverkan. Och vi måste ge feedback till alla intressenter i learning-to-performance-processen. Vi utvärderar inte utbildning; istället utvärderar vi hur väl organisationen använder utbildning för att få resultat, vad som fungerar, och vad som inte fungerar. Om till exempel vissa chefer verkligen gjorde sitt jobb med att förbereda deltagarna skulle vår utvärdering visa detta  och dokumentera det goda arbete de gjorde och de resultat det förde med detta, deras anställda och verksamheten. Och vi måste också visa vad som gick förlorat när kjedjan bröts, så att höga chefer kan se att det finns en sann affärsnytta för att hålla sina chefer ansvariga för att stödja utbildning och utveckling.

Receptet är enkelt:

  • Sluta bara “leverera” utbildning; börja bygga metoder och verktyg för organisationen att använda för att vara säker på att utbildningen används och får resultat
  • Utbilda seniora ledare och chefer om deras roll i att få utbildningsarbetet att fungera. Visa dem vad som står på spel när det fungerar, och vad som är i riskzonen när det inte gör det.
  • Obevekligt mäta de resultat du får, och visa hur prestationsfaktorer är make-or-break faktorer i framgång
  • Berätta sanningen om utbildningsresultat. När det inte fungerar, säg så tydligt. Var säker på att alla förstår vad skälen till misslyckande var, och vilka kostnader som uppstod av misslyckandet och vilka fördelar som inte realiserades.
  • Ge återkoppling till alla intressenter i värdekedjan så att de tydligt kan se hur deras stöd (eller brist på det) gör skillnad
  • Berätta historien högt och tydligt. När du gör ett starkt business case av att hantera utbildning som en process – och först då – kommer du att bygga organisationen som får genomgående bra resultat.

 

Flytta utbildningsprogram online? Lansera snabbt, förbättra senare!

Som alla andra i den nya Covid L&D-världen, har du utan tvekan pressats att starta och genomföra nya initiativ – och det fort. Men virtuell design borde inte handla om att ”konvertera” alla era klassrumsledda program för att genomföra dem online, det handlar om att skapa en ny design för att uppnå samma målsättningar och syfte som era klassrumsledda program.

Det tar tid att bygga riktigt professionellt designade virtuella program – troligtvis mer tid än vad du har råd att avsätta just nu. Den goda nyheten är att användbara designer som är “good enough” kan levereras mycket snabbare och istället förbättras på vägen.

”Över tid” är nyckeln

Kom ihåg att du skapar lärresor. Resor börjar med ett första steg och utvecklas från det – över tid. ”Över tid” är nyckelorden här. Du kan påbörja resan utan att ha alla delar av resans sista pusselbitar på plats. Lärresans design behöver inte vara en ”allt eller inget”-affär.

Utav alla nya, snabbt startade, virtuella program vi granskat de senaste månaderna, är det ingen som inte tillförde något – alla gav effekt. Å andra sidan, ingen av dem var lika bra från start som andra generationens program som följde – samtliga hade omfattande utvecklingspotential.

Effektiva förändringar vid online-program

Det fina med online programmen är att designförändringar kan göras effektivt utan negativa konsekvenser – under tidens gång. Till skillnad från den klassrumsledda världen där anteckningsböcker och annat tryckmaterial används blir en revidering av materialet ofta en större kostnad och insats – som helt ärligt alla helst slipper.

Så hur kan du komma igång?  Här är våra bästa tips utifrån vad vi sett under de senaste månaderna:

  • Prioritera: identifiera några program som är viktigast och få hjulen på den affären att snurra och som kommer vara till mest hjälp för aktörerna som kämpar med att anpassa sig till den nya världen. Börja med dem.
  • Se på ditt designarbete med de prestationsutvecklande glasögonen – vilka är de få sakerna som i störts utsträckning kommer att hjälpa människor att genomföra viktiga uppgifter bättre?
  • Prestationsutveckling är en iterativ process. Innan dina deltagare börjar, kan du inte hjälpa dem att anpassa sig med hjälp av mer avancerade övningar och feedback över tid som de behöver göra. De kommer inte att bli experter på prestation över en natt.
  • Applicera samma prestationsutvecklings-princip på ditt egna arbete. Du kommer inte heller att bli en expert på virtuell design över en natt. Du kan dock också lära dig på vägen och göra din design iterativt bättre. Men du behöver börja.
  • En iterativ prestationsutvecklingsprocess är omöjlig att vårda utan att utvärderas kontinuerligt. Bygg in feedbackslingor i din design och var lyhörd på vad dina deltagares upplevelse lär dig.
  • Hjälp dina deltagare att bli medvetna om vad som hjälper dem och vad som stoppar dem. Bygg uppgifter i din design som får deltagarna att rapportera de systematiska hindren (arbetsdesign, incitament osv) när de stöter på dem. Likasinnade som har kommit på ett sätt att övervinna dessa hinder kan hjälpa andra. Som kursledare kan du samla information om upptäckta hinder och vidarebefordra det till dem som kan lösa dem.
  • Utnyttja verktyg för digital inlärning där du kan. När du försöker skala upp utbildningsprogram är det extremt svårt att sätta upp, genomföra och särskilt spåra framsteg utan den data som dessa lärandeplattformar ger. Den iterativa designmetoden som vi främjar kan påskyndas kraftigt med en sådan plattform.

Lycka till – och kom ihåg att det bästa du kan göra är att börja!

 

HR: Behöver du designa en virtuell insats som driver beteendeförändring? Tänk prestation, inte lärande.

Mina kollegor och jag har nyligen genomfört en effektutvärdering på en stor studie (500+ deltagare), på ett missionskritisk globalt ledarskapsprogram för en väldigt stor organisation. Programmets intention, som genomfördes 100% online, var att hjälpa ledare att förändra sitt beteende för att bli mer innovativa på att: stötta innovation, ”learning by doing” och risktagande, kreativitet genom att prova på-idéer, innovation mot nya marknadsinitiativ, och så vidare.

Med mer än 500 ledare världen över, blev påverkansfaktorn (procenten av deltagare som tillämpade sina nya kunskaper efter utbildningen) högre än 90%. Ledarskapsförändringar som vi dokumenterade i just denna effektutvärderingen visade sig ha flera och väldigt värdefulla resultat: nya marknadsinitiativ, nya intäkter, ökad vinst, smalare organisationsförändringar och så vidare. Kortfattat, en blomstrande framgång som gladde intressenterna. MEN, tro det eller ej: färre än 10% av deltagarna trodde att programmet hade hjälp dem att lära sig några nya kunskaper som gjorde skillnad.

Så vad var skillnaden?

Här är faktorerna i programmet som deltagarna sa toppade deras lista över vad som hjälpte dem att förändra sig:

  • Exempel på praktiska, applicerbara åtgärder som kan tillämpas
  • Övertygande bevis och budskap om den höga prioriteten över behovet av förändring
  • Exempel på värdeskapande resultat som förändringsåtgärder kunde leda till
  • Närvaro och engagemang från en senior ledare som står bakom budskapet ”Det här är viktigt”
  • Dialog mellan deltagare och deras chefer gällande deras åtagande att agera diskuterades
  • Interaktioner mellan deltagarna som ökade känslan av ansvarsskyldighet och beslutsamhet

Enligt min åsikt finns det lärdomar för alla oss L&D människor som kämpar med att utnyttja online-möjligheter för påverkan och resultat att ta med sig från detta resultat.

Prestation vs. Lärande

All cred till programdesigners inom L&D som sett på deras utmaning genom en ’prestationsförändings’ -lins vs en ’lärandelins’. De kände igen sanningen att när det kommer till att genomföra nya saker, har de flesta människorna redan grundläggande kunskaper att genomföra dem, men att det är något annat som håller dem tillbaka från att förändras: brist på motivation, rädslan för misslyckande, brist på förtroende att det nya åtgärderna kan vara den avgörande skillnaden, brist på uppmuntran och så vidare.

Det skulle göra er som står inför en liknande designutmaning gott att ha det här exemplet i åtanke. Och säkerställa att er design är välfylld med uppgifter och andra programpunkter som adresserar områdena i punktlistan ovanför. Fokusera på prestationen som den lärande vägen istället för bara lärandet helt enkelt.

Being smart about measurement and evaluation in these pandemic times

Universities, schools, and L&D organizations everywhere are facing a pressing need to quickly transition face-to-face live group training efforts to virtual and on-line programming.

Inevitably, especially as we rush to make this transition, some of what we do will work, and some of it will not. We have to be able to figure out, quickly and on the fly, what is working and what is not, and make ongoing adjustments. This is the job of evaluation.  To do evaluation is not a choice, we have to, but we can choose to be smart about it. We cannot afford to spend time on measures that do not yield worthwhile and actionable data. We need valid actionability: barking up the trees that are most right for overall organization success – now.

Forget the questions of “business impact” or in Kirkpatrick terminology, Level 4, ROE, and other sorts of evaluation pursuits that will waste our precious time.  What is most important is doing more of the things that are helping our L&D participants make use of the learning we’re providing, and what is getting in the way if they are struggling to make good use of what we’re providing.

My advice: Leave the “business outcome” metrics to the people who own them, and instead focus most heavily on getting the behavior changes that, if enacted, will drive the metrics in the right direction. In this sense, the Kirkpatrick Level Three evaluation is most important. And, do not wait for the standard 3-6 months to investigate this. If people aren’t making changes in their behavior right away, something is wrong and needs to be fixed.

Here are the sorts of evaluation purposes and methods that will yield the greatest fruit as new virtual programs are launched, along with some notes about what kinds of useful actions these data can help drive. None of these requires sophisticated data methods or analyses – this is not rocket science.