コーディングに対して、一貫性のあるアプローチをチームが取っていることを確かめたいと考える場合、おそらくNVivo上で評価者間信頼性テストを実行していることでしょう。
この記事は、評価者間信頼性テストを実行する前に、一般的に見られる落とし穴を特定することを目的としています。評価者間信頼性テストのコンセプトを理解しており、なおかつその結果の理解と報告に苦労している方が対象です。
コーディング作業者を確実に記録する
NVivoではユーザーアカウントを設定できることに、気づいていない方がいます。
テスト実行前に、各コーディング作業者のユーザーアカウントを設定し、ユーザーにログインを求めるようにNVivoの初期設定を変更することが不可欠です。コーディング作業者同じ場所で作業するとは限らないので、テスト中に使用予定の各コンピュータにはこの設定をおこなわなければなりません。
設定は、「ファイル」から「アプリケーションオプション」を選択、下記の「起動時にユーザーに指示」にチェックを入れて設定変更します。
これにより、コーディングをおこなう前にNVivoがコーディング作業者を特定し記録します。新規ユーザーの追加は簡単で、その新規ユーザー名とイニシャルを入力するだけです。新規ユーザー名を設定しない場合、NVivoが初期設定のユーザーネームとイニシャルでWindowsにログインします。詳細については、ヘルプトピックの Manage Users in a Standalone Project(英語)をご覧ください。
これでコーディング作業者たちが一つのトランスクリプトに対しコーディングを開始する準備ができました。
コーディング比較クエリの設定
この例では、NVivoに標準で添付されているサンプルプロジェクト（マルチメソッド）を使用しますので、読者のNVivoユーザーはこのクエリが手元にあり、例を見ながら試すことができます。
ナビゲーションで「クエリ」に移動、「Coding comparison of Wanda to Effie and Henry for Thomas interview」というクエリ上で、右クリックします。
「クエリのプロパティ」を選択し、ダイアローグボックス内の「コーディング比較」タブをクリックします。クエリの設定は簡単です（Coding comparison queryをご覧ください）。
最初はクエリをシンプルにすることで、結果を理解しやすくなります。まずはコーディング作業者二人、一人分のトランスクリプト、そしてかなり少ない数のノードで十分です。
これで、テストを実行して結果を分析する準備ができました。
結果の理解とレポート
クエリ結果レポートは、「一致パーセンテージ」と「カッパ係数」を表示します。レポートするには同一ロジックが使用されていないため、これには混乱するかもしれません。「クエリのプロパティ」ダイアログボックス内で、いずれか一方または両方を表示させることを選択できます。
クエリの結果はこのようになります。
カッパ係数は0から1の間となり（一致/不一致のレベルによります）、パーセンテージレポートではさらに詳しく表示されます。
私にとってこのクエリ結果の最も良い部分は、どの列に対しても深く掘り下げることが可能で、一致/不一致レベルの詳細がビジュアル表示される点です。
クエリ結果の最初の列でダブルクリックすると、以下のようになります。
上のイラストは、コーディングされたソース内容に対するコーディング作業者の一致/不一致部分を示しています。各コーディング作業者のストライプ上でクリックすると、それぞれのコーディング状況が分かります。NVivoにより、それぞれがコーディングしたテキスト部分が正確にハイライトされるからです。
さらに、コーディングサブストライプをオンにすると、このコンテンツに対してコーディングされたノードが比較され、一致レベルがもっと全体的な視野でつかむことができます。これをおこなうには、コーディング作業者のストライプ上で右クリックして、「サブストライプ表示」から「さらにサブストライプを表示」を選択してください。このオプションを使うことでコーディングストライプが選別でき、その部分に対して各作業者がコーディングしたノードのすべて、もしくはその一部を見ることできます。
必要不可欠な注意事項
自分の間違いから学ぶことは、クエリに関しては良いアイデアではないかもしれません。クエリの設定が正確におこなわれずに失敗し、コーディング作業者に再度コーディングを依頼する必要があっても、彼らは非協力的になるかもしれません。そのため、トレーニング中やサポートの際に出くわす一般的な間違いや不備のいくつかを以下にまとめました。
するべきこと
- ユーザーにログインさせるために、初期設定を変更してください。
- 各コーディング作業者用ユーザーアカウントを設定してください。
- プロジェクトの中でなるべく早急にテストを実施し、考えをまとめてください。作業者が別の場所でコーディングをしている場合は、特にそうです。
- スタンドアロンプロジェクトで使用する場合は、プロジェクトファイルをコーディング参加者用にコピーしてください。
- 扱いやすい分量でのテストを繰り返しましょう。
- 別の場所にいる作業者から、プロジェクトファイルをインポートしてください（万一に備えて、まずバックアップを取りましょう）。
- インポートとマージ後に、必要な場合は重複ユーザーをチェックしてください（作業者のログイン方法が一貫していないで、例えば、私が今日はBM、明日は M.でログインすると発生します）。
- 結果について議論し、必要な場合は再テストをおこなってください。
してはいけないこと
- コーディング参加者に、彼らのNVivoのバージョンがあなたのものよりも新しいのかを聞いてください。彼らはあなたのファイルを開くことはできますが、NVivoは後方互換性がないので、その場合にはソフトウェアをアップグレードしないと、あなたは彼らの作業をインポートすることができません。
- コーディング参加者に、扱っているあなたのコーディングプロセスは最新のものであるかをお聞きください。コーディング中に何回か考えが変わって、あなたは再度コーディングをおこなっていると適切な結果が得られない場合があります。あなたの最初のコードに反してコーディングをするように依頼してください。
- 複数のトランスクリプト、コーディング作業者、ノードを使用しながらコーディング比較クエリを実行すると、理解できなくなるほど非常に大きなレポートになるかもしれません。サブセットを比較するためにクエリを分解すると、結果がより簡単に解釈、レポートできます。
- コーディングテスト中にソースを編集すると、インポートのソースが重複してテストがうまくいきません。この問題が起こったら、すべてのプロセスを繰り返してください。
著者 BEN MEEHANについて
Ben Meehanは教授職にあり、NVivoのトレーニングやコンサルティングを17年にわたり提供しています。彼の会社、QDA Trainingの顧客リストは、この分野における彼の経験の高さを物語るものです。
元記事 | Avoiding the pitfalls of Inter-rater reliability testing | The NVivo blog
