質的研究の信頼性をどのように評価するか？
学生であっても経験豊かな専門家であっても、質的研究プロジェクトに取り組んでいる最中に自信が揺らいでしまうのはよくあることです。
信頼性チェックリストで進むべき方向を確認しましょう。
1. 先行研究・文献と向き合っていますか？
そのトピックを熟知し信頼できる専門家の立場をとるためには、体系的な文献レビューが必要となります。
専門分野の重要文献を読み、報告しているかどうかを考えてみてください。また、異なる分野や領域に思い切って踏み出すことで、学術的な見識が広がることもあります。
研究プロセスのさまざまな段階で、文献に再度取り組む必要があるかもしれません。これは、最初一度だけ行えばよいというプロセスではありません。研究が進むにつれて文献をさらに深く読み直し、自分の研究との関連性を考えてみる必要が出てくるかもしれません。
研究開始当初には感知できなかった問題に取り組むため、他の文献を探してみたくなることもあるでしょう。
2. リサーチ・クエスチョンは適切ですか？
例えば、パーティーで誰かに自分の研究のことをきかれたとします。その人が退屈してバーカウンターへ向かわないように、日常の言葉で明確に説明できますか。
その答えがイエスなら、自身の研究の重要性を明確にし、だれがその結果に興味を持つかに言及していることを再確認しましょう。
リサーチ・クエスチョンは新たな知見を明らかにし、何等かの議論の進展を見せるべきですが、「画期的、前例がない、もしくはパラダイムシフト」(Golding & Sharmini & Lazarovitch, 2014, p. 569).でなければならないというわけではありません。
そして当然のことですが、最終的な論文やレポートの中では、リサーチ・クエスチョンに対する答えに言及する必要があります。
3. 透明性のある研究手法ですか？
結論に至ったステップを、査読者が容易に辿れる必要があります。彼らはデータがどのように収集、記録、コーディング、分析されたのか知ろうとしています。ここに至るまであなたがどのような選択をしてきたのかも理解しようとします。
例えば、フォーカスグループを行う理由次のように説明するかもしれません：
「フォーカスグループには、社会的な意味が共有されながらほとんど議論されていないトピックについて、参加者に働きかけるための効果がある」(Bailey, 2012, p. 3)
分析メモが透明性への鍵となります。
どのような種類のメモを記録すべきか迷うようなら、Birks, Chapman and Francis (2008)により展開された巧みな記憶術を思い出してください。
M - Mapping research activities: 研究活動記録（追跡記録として、研究計画と実行における意思決定プロセスを記したもの）
E - Extracting meaning from the data： データから意味を抽出(分析、解釈、コンセプト、主張、理論)
M - Maintaining momentum： 勢いの維持 (研究の革新的な道のりにおける研究者の見解と再帰性)
O - Opening communication： コミュニケーションの広がり (研究チームメンバーとの交流のため)
4. 自身の内面を省みていますか？
信頼性は誠実さと再帰性に依存しますので、自身が持つバイアスと社会文化的な立場について率直に認め対処する必要があります。以下の点を明確にしましょう。
- 既存知識と哲学的なフレームワークへの自己意識
- 研究参加者に対する自己の立場
- 手法の限界
- 反証に対する寛容さ
5. 適切な種類のデータを十分に収集していますか？
「研究の品質は信頼性同様、データから始まる。データの奥深さと範囲が影響を及ぼす。豊富で相当の量がある適切なデータに基づく研究は、卓越している」(Charmaz, 2014, Location No. 1275)
質的研究をどのようなアプローチで進める場合であっても、質的データを収集する目的は、詳細で綿密なデータが生み出されることです。そのため、インタビューをする場合は、回答者の発言を正確に理解したといえるまで十分に探索する必要があります。
アクティブ・リスニングと注意深く探索することは、質的研究者として成長していく上で重要なスキルになります。自身の理解とインタビューの間にギャップを感じたら、回答者に再度あたることもできますし、もしそれが可能でなければ、追加で数名にインタビューを行いギャップを埋めることもできます。
必ず問いかけられることは、十分なデータ収集がされているのかどうかということです。
その答えは、分析方法次第となります。混合研究法の場合にあり得ることですが、特定の集団に対する結果を一般化する必要がある場合、研究対象を代表するサンプルが求められます。
パブリック・コンサルテーションの場合、関与するすべてのステークホルダーに接触したかを確認する必要があります。
グラウンデッド・セオリーの場合は理論的サンプリングでサンプルが飽和するまで ? つまりデータ収集を続けても新しく明らかになることがなくなるまで ? データを収集します。それは8人にインタビューした時点かもしれませんし、もしくは50人のインタビュー後になるかもしれません。反復的なアプローチは、でデータ収集における欠点をを軽減することに役立ちます。
例えば、試験的にインタビューと予備コーディングをおこなうことで、質問の微調整が必要か、または参加者を拡大する必要があるかなど、判断することができるでしょう。インタビュー時間が過ぎてデータの奥深さについて心配なら、トライアンギュレーション（三角測量）による方法を使って検討してみましょう。
- 補足研究や代替理論を見つける
- 異なる方法論による見方で探る
- 他の研究者の見解を含める
データの限界に関しては、確実に理解（そして報告）しましょう。経験的根拠の裏付けをもつことだけを主張しましょう。
6. コーディングは水準に達していますか？
コーディングに関する著書で有名なJohnny Saldanaは、「研究の卓越性の大部分は、卓越したコーディングに基づく」(Saldana, 2016, p. 2)と述べています。
現実的な観点では以下のようになります。
- データ内で起きていることが適切に反映されるコードを作成する
- コーディングの一貫性を目指す(特に重要な用語について)
- 純粋に記述的なコードを超えた分析概念を導きだす
- 分析概念間の関連性を探る
- これらの分析概念が、自身の課題に新しい見識をもたらすことを確認する
- Johnny SaldanaのThe Coding Manual for Qualitative Researchers を読む
信頼性指標でさらに高いスコアを得るため、研究参加者に再度あたり、あなたの解釈に対する彼らのフィードバックを得てください(メンバーチェッキングと呼ばれることがあります)。
可能な限り、信頼できる同僚、スーパーバイザー、指導者にアドバイスを求めましょう。
7. 倫理的な卓越性を得ようと常に努力していますか？
機密性やインフォームド・コンセントを扱う関連委員会から、あなたは倫理的な承認を得ていますか。
信頼性とは、尊敬の念を持って参加者に対応し、学術的な品位を保って研究に取り組むことです。他人の研究を登用したり、根拠のない主張をしたり、自身の理論にそぐわない「問題ある」一節を無視したりしないよう、十分注意してください。
8. 力強いナラティブはありますか？
結局、信頼性とは課題に立ち向かい、新しいアイデアを提示する理路整然としたナラティブを作り上げることです。
「私が静かに考えたり、誰かの研究の結論に対して『おおっ！』と小声でつぶやいたりするときは、単に新たな知識を得ているだけでなく、新たな目覚めも感じて気分が高まっているのだ」 (Saldana, 2016, p. 289)
あなたの得た結果は信用できる方法で参加者の経験を表わし、リサーチ・クエスチョンに対する納得のいく答えであるべきです。
「信頼性」と共に、あなたは研究の質を評価するほかの指標についても考えることがあるかもしれません。例えば、確実性、説明責任、一致性、信ぴょう性、信用性、拡張性、共鳴、創造性、妥当性、明確さ、整合性、重要性、巧妙さ、確実性、致命度、鮮明度、徹底性、適合性、感度、真実性、完全性、出版価値、一般化可能性、移動性、反復可能性、厳密性など。
目が回りそうですね。
あなたはどのような基準で研究の質を評価していますか？あなたの考えを聞かせてください。
References
- Bailey, D. C. (2012). Women and Wasta: The Use of Focus Groups for Understanding Social Capital and Middle Eastern Women . The Qualitative Report, 17(33), 1-18. Retrieved from Nnsuworks.nova.edu
- Birks, M., Chapman, Y., & Francis, K. (2008) Memoing in qualitative research: Probing data and processes. Journal of Research in Nursing 13(1), 68?75.
- Charmaz, K. (2014). Constructing Grounded Theory (2nd ed.) [Kindle version]. Retrieved from Amazon.com
- Clinton Golding, Sharon Sharmini & Ayelet Lazarovitch (2014). What examiners do: what thesis students should know, Assessment & Evaluation in Higher Education, 39:5, 563-576, DOI: 10.1080/02602938.2013.859230
- Saldana, J. (2016). The Coding Manual for Qualitative Researchers (3rd ed.) [Kindle version]. Retrieved from Amazon.com
著者 KATH MCNIFFについて
Kath McNiff is on a mission to help researchers deliver robust, evidence-based results. If they’re drowning in a sea of data (or floods of tears) she wants to throw them an NVivo-shaped life raft. As an Online Community Manager at QSR, she knows that peers make the best teachers. So, through The NVivo Blog, Twitter and LinkedIn, she shares practical advice and connects researchers so they can help each other. When she’s not busy writing blog posts, swapping stories on social media or training the latest tribe of NVivo users, she can be found wrestling four feisty offspring for control of the remote.
元記事 | How do I assess the credibility of my qualitative research? | The NVivo blog
